講透大數(shù)據(jù)，我只需要一頓飯

時(shí)間：2018-07-31作者：中源數(shù)聚（北京）信息科技有限公司瀏覽：46

數(shù)據(jù)，似乎聽起來高深又高大上~但它是什么？又到底做些什么呢？今天，本文就用一頓飯淺顯易懂地來解答這個(gè)問題。（作者為大數(shù)據(jù)老司機(jī)，擁有**過15年的大數(shù)據(jù)/數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域從業(yè)經(jīng)驗(yàn)，對(duì)大數(shù)據(jù)/數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)規(guī)劃、架構(gòu)設(shè)計(jì)、技術(shù)體系、方法論及主流廠商的產(chǎn)品和解決方案，均有深入的研究和實(shí)踐。）


【開胃菜】


十五年前，剛開始工作，從**回老家。


某長(zhǎng)輩和藹的問我：“工作了啊，做什么的？”


我躊躇半天答曰：“挨踢（IT）?！?


長(zhǎng)輩不假思索的來了一句：“哦，在中關(guān)村賣光盤?。　?


我......我.....我......（叔叔，你知道的太多了）


【副菜】


五年前，一夜之間，“大數(shù)據(jù)”一詞開始紅遍大江南北，再碰到別人問我時(shí)，我終于可以用一個(gè)網(wǎng)紅詞來輕松回答：“做大數(shù)據(jù)的！”


（感謝移動(dòng)互聯(lián)網(wǎng)的發(fā)展，感謝各大IT廠商的炒作，感謝國(guó)家的重視和規(guī)劃，感謝所有TV和AV）


但就在上個(gè)周末，跟老媽電話聊家常時(shí)，她突然很好學(xué)的問了我一個(gè)很有深度的問題: “我知道你是做大數(shù)據(jù)的，但你們大數(shù)據(jù)到底都在做些什么？”


我一時(shí)詞窮，不知道該從何說起。而類似的問題在知乎上也經(jīng)常被一些即將面臨就業(yè)、被“大數(shù)據(jù)”三個(gè)字圈粉、希望成為數(shù)據(jù)人的莘莘學(xué)子們所追問，因?yàn)槿藨校旧隙紱]有好好回答過。


于是，為了給普及“大數(shù)據(jù)”貢獻(xiàn)點(diǎn)綿薄之力，為了讓邊緣人士們對(duì)大數(shù)據(jù)多一點(diǎn)基本理解，也是為了能回答老媽的問題，我決定寫篇文章（省點(diǎn)電話費(fèi)）來介紹一下大數(shù)據(jù)以及數(shù)據(jù)人的日常工作。


大數(shù)據(jù)雖然已經(jīng)是大家耳熟能詳?shù)臒嵩~，但數(shù)據(jù)領(lǐng)域里的許多術(shù)語和概念仍然會(huì)讓人不明就里，所以我準(zhǔn)備從“做飯”這個(gè)普通人應(yīng)該都有基本了解，老媽較是熟稔于心的領(lǐng)域來切入。


【主菜】


正所謂“巧婦難為無米之炊”，做飯首先得有食材，大數(shù)據(jù)也一樣，沒有數(shù)據(jù)說什么都是扯淡，所以數(shù)據(jù)就是數(shù)據(jù)人的食材（只要有數(shù)據(jù)，我不用吃飯）。


做飯通常都要包括“買菜~洗菜~配菜~炒菜”這幾個(gè)必須環(huán)節(jié)，無論你是開飯店還是家里一日三餐，做飯的規(guī)模大小會(huì)有不同，但流程卻是一樣的。而這幾個(gè)環(huán)節(jié)其實(shí)正好對(duì)應(yīng)了數(shù)據(jù)人的日常工作內(nèi)容：買菜（數(shù)據(jù)采集）~洗菜（數(shù)據(jù)清洗）~配菜（數(shù)據(jù)建模）~炒菜（數(shù)據(jù)加工）。


1、買菜（數(shù)據(jù)采集）


買菜，出門首先要考慮去哪里買，到地之后溜達(dá)溜達(dá)看看買什么食材，看中一個(gè)之后討價(jià)、還價(jià)、交錢，肉、蛋、青菜，各種要買的食材都得按這個(gè)流程來一遍，買齊之后就走人回家了。


對(duì)于數(shù)據(jù)人來說，我們把這個(gè)買菜的過程叫做數(shù)據(jù)采集。


菜市場(chǎng)就是我們通常所說的數(shù)據(jù)源。


買菜的選擇很多：超市（種類較少，質(zhì)量上乘），農(nóng)貿(mào)市場(chǎng)（種類較多，菜品一般），露天早市（啥都可能有，運(yùn)氣好還能吃到**）等。


數(shù)據(jù)源其實(shí)也一樣，數(shù)據(jù)庫(kù)（超市）中存儲(chǔ)了結(jié)構(gòu)化的業(yè)務(wù)數(shù)據(jù)、交易數(shù)據(jù)，傳感器（農(nóng)貿(mào)市場(chǎng)）產(chǎn)生大量半結(jié)構(gòu)化日志數(shù)據(jù)、機(jī)器數(shù)據(jù)，網(wǎng)絡(luò)上（早市）充斥著各種參差不齊的非結(jié)構(gòu)化數(shù)據(jù)。


到了菜市場(chǎng)我們得選菜，所有的食材我都想吃，但錢永遠(yuǎn)是不夠的，所以我只能有選擇性的買，這個(gè)過程叫數(shù)據(jù)調(diào)研，哪些數(shù)據(jù)是有用的，哪些數(shù)據(jù)用得起，得有個(gè)篩選。


溜達(dá)了一圈，確定要買豬肉、雞蛋和黃瓜，得跟賣家挑肥揀瘦、討價(jià)還價(jià)、敲定斤兩，這個(gè)過程叫數(shù)據(jù)接口規(guī)范。


費(fèi)勁口舌，勞心勞力把菜買齊之后提菜回家，這個(gè)過程叫數(shù)據(jù)傳輸。


根據(jù)買菜方式、習(xí)慣的的不一樣，數(shù)據(jù)采集還可以細(xì)分出很多類型：


?肉類保質(zhì)期長(zhǎng)，一次買一周的量，可以叫全量采集。



?青菜講究新鮮，每次只買當(dāng)天的菜，可以叫增量采集。



?每天早上都得去買菜的，可以叫批量采集。



?賣家每次上了新菜都主動(dòng)給你往家送的（土豪**），可以叫流式采集。



2、洗菜（數(shù)據(jù)清洗）


洗菜就很好理解了，無論哪里來的食材，都多少存在衛(wèi)生或者質(zhì)量問題，買回來后都得洗干凈、摘清楚才能吃，不然小則影響口感，大則損害健康。


數(shù)據(jù)也是一樣，拿回來之后得檢查一下，數(shù)據(jù)內(nèi)容有沒有缺斤少兩，數(shù)據(jù)值里有沒有爛菜葉，不然后面的報(bào)表、分析出來的結(jié)果就全是錯(cuò)誤結(jié)論了，我們把這個(gè)檢查、糾正數(shù)據(jù)本身錯(cuò)誤的過程叫做數(shù)據(jù)清洗。


由于數(shù)字世界里各種數(shù)據(jù)源的多樣性、復(fù)雜度遠(yuǎn)遠(yuǎn)**現(xiàn)實(shí)生活里的菜市場(chǎng)，數(shù)據(jù)清洗流程需要面對(duì)和處理的問題也就遠(yuǎn)遠(yuǎn)多于洗菜，為了解決和防范數(shù)據(jù)產(chǎn)生、使用過程中出現(xiàn)的各方面問題，數(shù)據(jù)領(lǐng)域細(xì)分出了一個(gè)專門的研究方向叫數(shù)據(jù)治理，比如：


?為了了解各個(gè)菜市場(chǎng)的情況，我們需要記錄每個(gè)菜市場(chǎng)、每個(gè)賣家的豬肉、雞蛋、黃瓜等各種食材的大小、顏色、價(jià)格等特點(diǎn)，這個(gè)叫元數(shù)據(jù)管理。



?記錄完之后發(fā)現(xiàn)每家的特點(diǎn)都不一樣，完全沒有可比性，于是我們決定對(duì)豬肉、雞蛋、黃瓜的大小、顏色、價(jià)格進(jìn)行統(tǒng)一規(guī)定、統(tǒng)一定價(jià)，這個(gè)叫數(shù)據(jù)標(biāo)準(zhǔn)管理。



?定完標(biāo)準(zhǔn)之后，我們得定期對(duì)各個(gè)菜市場(chǎng)進(jìn)行檢查，看看他們有沒有按標(biāo)準(zhǔn)辦事，這個(gè)叫數(shù)據(jù)質(zhì)量管理。



3、配菜（數(shù)據(jù)建模）


配菜指的是根據(jù)要炒什么菜，將需要的各種食材事先搭配好放在一起，比如說我們要炒木須肉，那就把豬肉、雞蛋、黃瓜都洗凈、切好放在一個(gè)碗里，這樣在炒菜的時(shí)候可以手到擒來，*到處找食材，能夠很好的提升炒菜的效率。


一般家庭做飯可能不會(huì)嚴(yán)格這么做，但對(duì)于餐飲行業(yè)來說，這是*環(huán)節(jié)，想想買回來一車的食材，洗凈、切好之后，如果沒有一定的擺放規(guī)律，不能充分保證大廚炒菜時(shí)的效率，客戶半天吃不到菜，那這個(gè)飯店的翻臺(tái)率和回頭率**高不了，還是趁早關(guān)門大吉。（老媽是個(gè)統(tǒng)籌規(guī)劃能力很強(qiáng)的精細(xì)人，無論是宴請(qǐng)賓客還是一日三餐，都會(huì)在炒菜之前把各個(gè)菜所需要的食材進(jìn)行事先搭配，所以讓我得以了解）


而在數(shù)據(jù)工程里，也同樣有個(gè)專業(yè)性很強(qiáng)甚至被**的配菜流程，這就是傳說中的數(shù)據(jù)建模。數(shù)據(jù)建模就是建立數(shù)據(jù)存放模型，把各個(gè)數(shù)據(jù)源過來的各種數(shù)據(jù)根據(jù)一定的業(yè)務(wù)規(guī)則或者應(yīng)用需求對(duì)數(shù)據(jù)重新進(jìn)行規(guī)劃、設(shè)計(jì)和整理。


配菜這個(gè)流程也許在做飯過程中不起眼，有時(shí)候可有可無，但是在數(shù)據(jù)工程里，數(shù)據(jù)建模卻是個(gè)非常關(guān)鍵的環(huán)節(jié)，所以多說兩句。


數(shù)據(jù)的種類之多、復(fù)雜度之高遠(yuǎn)遠(yuǎn)**過食材，比如一個(gè)銀行，內(nèi)部和業(yè)務(wù)、流程、管理相關(guān)的IT系統(tǒng)一般都**過100個(gè)，這也就是100多個(gè)菜市場(chǎng)，而每個(gè)菜市場(chǎng)能夠提供的食材少則數(shù)百個(gè)，多則成千上萬個(gè)，這都放在一起就是幾十萬個(gè)食材，再加上外部較加復(fù)雜的其他數(shù)據(jù)源，這么多不同類型、不同標(biāo)準(zhǔn)的食材放在一起，怎么才能讓后面的炒菜較加高效和科學(xué)，其復(fù)雜度和可研究性也的確遠(yuǎn)遠(yuǎn)**真正的配菜。


正因?yàn)槿绱耍跀?shù)據(jù)發(fā)展史上出現(xiàn)了不少專業(yè)的建模（配菜）方法論：


?比如說按食材種類進(jìn)行擺放的（豬肉放一堆，雞蛋放一堆，黃瓜放一堆），我們叫范式建模，你要是開個(gè)火鍋店或者準(zhǔn)備吃火鍋，那肯定是采用范式建模來配菜了。



?比如按菜品種類進(jìn)行擺放的（炒木須肉的放一堆，炒宮保雞丁的放一堆），我們叫維度建模，你要是吃個(gè)家常炒菜，那采用維度建模方法來配菜就較合理了。



各種方法論都有其產(chǎn)生背景、適用場(chǎng)景和支持者，為了不引起戰(zhàn)爭(zhēng)，這里就不做深入討論了。


在這些方法論基礎(chǔ)上，經(jīng)過不斷的實(shí)踐和研究，一些良好的數(shù)據(jù)廠商推出了標(biāo)準(zhǔn)的行業(yè)數(shù)據(jù)模型，什么叫行業(yè)數(shù)據(jù)模型呢，因?yàn)槊總€(gè)行業(yè)的業(yè)務(wù)特點(diǎn)不一樣，比如說銀行業(yè)、電信業(yè)、零售業(yè)的業(yè)務(wù)模式就有很大差異，數(shù)據(jù)也是不一樣的，所以不**業(yè)的數(shù)據(jù)怎么擺放，數(shù)據(jù)模型怎么設(shè)計(jì)，有著很強(qiáng)的行業(yè)*特性，所以每個(gè)行業(yè)都需要自己特定的數(shù)據(jù)模型，這叫術(shù)業(yè)有專攻。


上面這段話沒看懂？沒事。簡(jiǎn)單來說，行業(yè)數(shù)據(jù)模型就是“飯店籌備攻略”。


比如說你覺得川菜很賺錢，想開個(gè)川菜館，但你只是個(gè)標(biāo)準(zhǔn)吃貨，只吃過豬肉沒看過豬跑，怎么辦？沒事，我這有本“川菜開店籌備攻略”，里面什么都有：


?首先，攻略里會(huì)告訴你川菜里有哪些**、流行、**的菜品（比如水煮肉、毛血旺等等），定期較新，圖文并茂，這樣菜單有了。



?其次，每個(gè)菜品應(yīng)該用什么樣的食材，分別的配比是什么樣的，攻略里已經(jīng)終結(jié)出來了，而且是來自各大名廚的經(jīng)驗(yàn)和終結(jié)，于是菜譜也有了。



?再次，每種食材在后廚的擺放位置是什么樣的，這么擺放能夠在廚房的有限空間里較大化的提高大廚們工作效率，詳細(xì)的設(shè)計(jì)圖紙攻略里也給你畫好了，這樣廚房設(shè)計(jì)圖也有了。



?最后，我還告訴你每種食材去哪里能買到，哪里較經(jīng)濟(jì)實(shí)惠，連供應(yīng)鏈都幫你打通了。



所以，萬事具備，只欠東風(fēng)，你只要找個(gè)門面，雇兩個(gè)藍(lán)翔畢業(yè)生，我們就可以開業(yè)大吉，財(cái)源滾滾了。什么，找門面很麻煩，沒事，我們連店面都可以提供，歡迎加入我們的*連鎖計(jì)劃，我們不但提供攻略，連店面也一起提供，帶精裝修的、鍋碗瓢盆一應(yīng)俱全。（傳說中的一體機(jī)要出場(chǎng)了，當(dāng)然，這是另外一個(gè)故事，先不展開了）


當(dāng)然，如果不想開川菜店，我這里還有粵菜、湘菜、魯菜......嗯，“八大菜系開店攻略”我這里都有。


（以上內(nèi)容稍微有點(diǎn)夸大，開個(gè)飯店不是一本攻略可以搞定的，做大數(shù)據(jù)也不是只有模型就可以的。不過很多時(shí)候，外人眼里的數(shù)據(jù)模型就是這么一本“葵花寶典”。）


說點(diǎn)題外話，由于數(shù)據(jù)建模的專業(yè)性太強(qiáng)，非常需要經(jīng)驗(yàn)的積累，于是在數(shù)據(jù)行業(yè)里衍生了一個(gè)專門負(fù)責(zé)配菜的工種叫“模型設(shè)計(jì)師”，某****廠商T公司的模型設(shè)計(jì)師就是業(yè)內(nèi)各大獵頭和甲方的香餑餑，T公司一度被挖成重災(zāi)區(qū)。


4、炒菜（數(shù)據(jù)加工）


炒菜相信大家都不陌生，如果配菜是個(gè)藝術(shù)活，那炒菜就**是個(gè)技術(shù)活了。各位大廚不但要有能力把各種食材組合起來炒熟，還得靈活運(yùn)用油、鹽、醬、醋等多種配料，保證菜品的色香味俱全。而且既然是開門迎客，各種消費(fèi)者的需求都要能夠響應(yīng)，而且要響應(yīng)的既快又好。


數(shù)據(jù)加工就是在炒菜，是個(gè)將各種數(shù)據(jù)進(jìn)行計(jì)算、匯總、準(zhǔn)備的流程，是為最后的數(shù)據(jù)應(yīng)用和數(shù)據(jù)消費(fèi)者服務(wù)的。客戶的要求總是千奇百怪的，所以根據(jù)數(shù)據(jù)消費(fèi)者的需求不同，數(shù)據(jù)加工的形式也是百花齊放。


?老板們時(shí)間寶貴，注重宏觀，所以一般只看重要指標(biāo)，并且要求圖文并茂、簡(jiǎn)單易懂。這就好比皇帝每天都吃滿漢全席，所有菜品都是固定的，但是菜品得色香味俱全、上菜速度得快。所以大廚們得事先把數(shù)據(jù)加工成儀表盤、可視化大屏等讓人對(duì)關(guān)鍵指標(biāo)一目了然、并且賣相高大上的數(shù)據(jù)應(yīng)用，并且采用各種技術(shù)手段保證數(shù)據(jù)應(yīng)用的性能（上菜的速度），不然皇帝餓了的時(shí)候不能及時(shí)上菜，誰都背不起這個(gè)鍋。



?官員們各管一攤，每天都要面對(duì)各種日常工作和突發(fā)情況，所以他們對(duì)數(shù)據(jù)的要求是既要有常規(guī)菜品能滿足日常管理需要，也要能有額外菜品來應(yīng)對(duì)突發(fā)情況，而且上菜速度也不能慢，縣官不如現(xiàn)管嘛。所以參考自助餐的模式，數(shù)據(jù)大廚們可以將數(shù)據(jù)加工成多維分析、自助分析這類數(shù)據(jù)應(yīng)用，根據(jù)經(jīng)驗(yàn)和官員們的口味愛好，將有可能用到的菜品通通提供出來，官員們餓了的時(shí)候可以根據(jù)需要隨意品嘗，貼心又暖胃。



?員工們也有數(shù)據(jù)需求，但通常需求簡(jiǎn)單，難點(diǎn)在于人多、需求量大，所以將數(shù)據(jù)加工成報(bào)表這種類似于快餐的數(shù)據(jù)應(yīng)用就是是較好的方式。



數(shù)據(jù)加工除了滿足以上各種數(shù)據(jù)需求，還有個(gè)不同不提的職責(zé)就是數(shù)據(jù)創(chuàng)新。這就好比為了保證飯店的競(jìng)爭(zhēng)力和消費(fèi)者們的新鮮感，不時(shí)推出新菜品也是大廚們的職責(zé)所在。而在數(shù)據(jù)圈里，通過數(shù)據(jù)進(jìn)行創(chuàng)新已經(jīng)成為潮流和共識(shí)，于是，數(shù)據(jù)分析師、數(shù)據(jù)科學(xué)家這些角色開始粉末登場(chǎng)。


他們的工作就是通過通過嘗試各種數(shù)據(jù)（食材）和參數(shù)（調(diào)料）的組合方式來探索和發(fā)掘新的業(yè)務(wù)機(jī)會(huì)。而由于食材的量實(shí)在太大，配料比例的波動(dòng)范圍就較是無止境，難以靠人力把各種組合方式進(jìn)行窮盡。于是，隨著數(shù)學(xué)理論和技術(shù)發(fā)展，通過算法讓計(jì)算機(jī)自動(dòng)進(jìn)行食材組合、調(diào)料配比從而產(chǎn)生新的發(fā)現(xiàn)成為可能，也就是我們現(xiàn)場(chǎng)經(jīng)常聽到的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)了。


中源數(shù)聚（北京）信息科技有限公司專注于大數(shù)據(jù),數(shù)據(jù)管理,大數(shù)據(jù)管理,數(shù)據(jù)咨詢,大數(shù)據(jù)服務(wù)等

• 詞條

  詞條說明

• 傳統(tǒng)咨詢?nèi)死现辄S、擁抱大數(shù)據(jù)才是未來

  管理咨詢業(yè)發(fā)展至今，從技術(shù)咨詢到信息咨詢，從信息咨詢到管理咨詢，從管理咨詢到it咨詢，幾乎沒有發(fā)生過主動(dòng)性的變革，即使經(jīng)歷了技術(shù)大爆發(fā)的三十年，管理咨詢對(duì)于技術(shù)使用仍然停留在三十年前。 移動(dòng)互聯(lián)網(wǎng)時(shí)代，產(chǎn)品服務(wù)都在快速迭代，對(duì)顛覆式創(chuàng)新有著較高的要求。大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算、人工智能等技術(shù)應(yīng)用的日新月異，對(duì)傳統(tǒng)咨詢業(yè)服務(wù)方式帶來**的挑戰(zhàn)。較重要的是，咨詢業(yè)的競(jìng)爭(zhēng)優(yōu)勢(shì)也在逐漸消失，很難再滿足

• 打造品牌溢價(jià)能力的六大策略

  一、什么是品牌溢價(jià) 品牌是可以溢價(jià)的。換句話說，拿皮爾·卡丹來做比喻：同樣的服裝，同樣的西服，沒有品牌的西服和皮爾·卡丹去比較，你可能情愿多花幾千塊錢買皮爾·卡丹，而事實(shí)上穿在身上跟沒品牌的也差不多，但是這里邊有一個(gè)情感**在這里面，這就是消費(fèi)者的消費(fèi)心理決定的。由于有了這樣的消費(fèi)心理，所以你必須把你這個(gè)品牌塑造成在消費(fèi)者心目中**其它品牌的形象，有了這個(gè)形象以后，品牌的溢價(jià)就變成了很自然的事情。

• 看世界名企如何做新員工培訓(xùn)

  P&G新員工培訓(xùn)之術(shù) P＆G新員工培訓(xùn)的形式—— 以課堂培訓(xùn)為主：寶潔有一個(gè)特別大的培訓(xùn)室，能容納100—150人，大家都在這里面接受培訓(xùn)。 有趣的畢業(yè)典禮：寶潔在文化宣導(dǎo)方面有一套*特的做法，特別注重儀式。例如，在一次培訓(xùn)課程結(jié)束后，很多新員工濟(jì)濟(jì)一堂，這時(shí)會(huì)有一個(gè)當(dāng)時(shí)中國(guó)區(qū)域的較高職位的**主持這個(gè)畢業(yè)典禮。他會(huì)很興奮的說一段祝酒辭：“在座的1 0 0多位大學(xué)的精英們，歡迎你們成為寶潔未來的領(lǐng)

• “管理”與“**”的理解誤區(qū)

  ??對(duì)“管理”與“**”這兩個(gè)詞語，有相當(dāng)多的人存在模糊認(rèn)知，不能正確區(qū)分兩者的涵義與聯(lián)系；還有一些人對(duì)其存在錯(cuò)誤認(rèn)知。 ?? ??比較經(jīng)典的錯(cuò)誤認(rèn)知認(rèn)為，管理與**存在四點(diǎn)本質(zhì)區(qū)別：管理是解決確定性的問題，而**是解決不確定性的問題；管理是解決當(dāng)下的問題，而**是解決將來的問題；管理可以標(biāo)準(zhǔn)化，而**只有個(gè)性化；管理是具體的，**是宏觀的。 ?? ??請(qǐng)問，你認(rèn)同以上四點(diǎn)本質(zhì)區(qū)別嗎？ ?? ??