大數(shù)據(jù)(big data)目前已然成為IT行業(yè)中最時(shí)髦的詞匯，然而真正了解大數(shù)據(jù)的人卻不多。大數(shù)據(jù)的含義可不是僅僅數(shù)據(jù)量大，很多人對(duì)大數(shù)據(jù)的概念有所誤解，想要從概念上把大數(shù)據(jù)講清楚就得從理論上講大數(shù)據(jù)的特征，比如4V（數(shù)據(jù)體量巨大Volume、數(shù)據(jù)類型繁多Variety、價(jià)值密度低Value、處理速度快Velocity），那就要用到很多理論性和學(xué)術(shù)性的語(yǔ)言和詞匯，相信會(huì)把大家越說(shuō)越糊涂，我在寫大數(shù)據(jù)應(yīng)用開發(fā)工程師專業(yè)課程的時(shí)候，就想寫一篇文章來(lái)告訴大家大數(shù)據(jù)是什么，卻總是組織不起那種能讓外行人秒懂的語(yǔ)言，就先把技術(shù)上的學(xué)習(xí)內(nèi)容給發(fā)了，沒(méi)有學(xué)過(guò)編程的同學(xué)直接看Hadoop學(xué)些什么Spark學(xué)些什么應(yīng)該難以理解。我是技術(shù)出身并不善寫作，我決定就寫一些我知道的大數(shù)據(jù)在方方面面的應(yīng)用實(shí)例來(lái)向大家說(shuō)明大數(shù)據(jù)的含義，在這里還請(qǐng)大家諒解我的寫作水平。
在我們?nèi)粘Ｉ町?dāng)中，我們所做的一切事，不論在線上還是線下，都會(huì)留下數(shù)字腳印。每一次刷卡購(gòu)物，每一次網(wǎng)絡(luò)搜索，手機(jī)上的每一次點(diǎn)擊，乃至社交網(wǎng)絡(luò)上的每一個(gè)點(diǎn)贊，都會(huì)被記錄下來(lái)。形成的這些數(shù)據(jù)被稱作非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)的存儲(chǔ)分析計(jì)算提取處理的一系列行為就是我們說(shuō)的大數(shù)據(jù)，就像聽歌軟件會(huì)分析我們的播放記錄向我們推薦我們愛聽的歌曲一樣，我們打開吃飯穿衣的APP也會(huì)看到我們喜愛的菜單和衣著搭配。
在出行方面大數(shù)據(jù)已經(jīng)體現(xiàn)得更是淋漓盡致，網(wǎng)約車已經(jīng)成為了新的產(chǎn)業(yè)，傳統(tǒng)的出租車行業(yè)已然被顛覆，打車軟件通過(guò)對(duì)出行和車輛數(shù)據(jù)的收集和分析，在司機(jī)的APP上顯示哪里有潛在乘客，在乘客的APP上顯示哪里可以打到車。滴滴優(yōu)步這些公司徹底的改革了一個(gè)行業(yè)。就在前段時(shí)間，一元單車APP風(fēng)靡各大城市，大街小巷的人們都騎著黃色、綠色一模一樣的自行車，類似這樣的公司做這樣的事情實(shí)際上就是用錢來(lái)砸數(shù)據(jù)，實(shí)現(xiàn)原始的數(shù)據(jù)積累，由此可見大數(shù)據(jù)的非凡魅力和巨大價(jià)值。
在零售方面，全球最大零售連鎖超市沃爾瑪引入大數(shù)據(jù)技術(shù)之后，在大數(shù)據(jù)分析了大量的零售數(shù)據(jù)之后發(fā)現(xiàn)，啤酒與尿不濕經(jīng)常出現(xiàn)在同一張銷售小票上，啤酒和尿不濕在人類正常思維當(dāng)中是沒(méi)有關(guān)聯(lián)的兩件商品，為什么會(huì)有一定的關(guān)聯(lián)度呢，經(jīng)過(guò)調(diào)查發(fā)現(xiàn)給寶寶購(gòu)買尿不濕的通常是爸爸，買完尿不濕之后通常要買啤酒。所以沃爾瑪現(xiàn)在的尿不濕貨架旁邊就是各種啤酒。當(dāng)然這只是其中的一個(gè)小小的例子，很多大數(shù)據(jù)給出的商品擺放位置在最有經(jīng)驗(yàn)的沃爾瑪?shù)陠T看來(lái)都是驢頭不對(duì)馬嘴的，沃爾瑪就是按照大數(shù)據(jù)分析的結(jié)果以人類思維看來(lái)是匪夷所思的方式安排各種商品的擺放，靠這種利用大數(shù)據(jù)技術(shù)分析商品關(guān)聯(lián)度的方式大幅提高了零售營(yíng)業(yè)額。
在體育賽事方面，我要說(shuō)一說(shuō)我喜愛的NBA球隊(duì)——金州勇士隊(duì)，還有我最喜愛的球星之一庫(kù)里。勇士隊(duì)崛起和庫(kù)里成名的原因，就要?dú)w功于球隊(duì)的管理者和教練相信并且使用了大數(shù)據(jù)技術(shù)所分析的結(jié)果。大數(shù)據(jù)在分析了有史以來(lái)所有的籃球比賽數(shù)據(jù)發(fā)現(xiàn)最有效的進(jìn)攻不是突破和扣籃，而是傳球和投籃。在這個(gè)思想的指導(dǎo)下，勇士隊(duì)引進(jìn)了像庫(kù)里這樣的三分球命中率球員并且瘋狂練習(xí)投籃，勇士隊(duì)利用大數(shù)據(jù)制定戰(zhàn)略并且利用實(shí)時(shí)數(shù)據(jù)制定現(xiàn)場(chǎng)戰(zhàn)術(shù)，才得以短時(shí)間里從倒數(shù)第二成為NBA冠軍，被奧巴馬戲稱為籃球界里的Google。里.jpg)
說(shuō)完籃球再講一個(gè)足球界的實(shí)例，在2014年世界杯的時(shí)候，谷歌通過(guò)自己的大數(shù)據(jù)平臺(tái)成功預(yù)測(cè)了16強(qiáng)比賽的每場(chǎng)比賽的勝利者，預(yù)測(cè)準(zhǔn)確率100%，秒殺章魚保羅和貝利，我都后悔沒(méi)跟著谷歌的預(yù)測(cè)買足彩……谷歌是靠網(wǎng)絡(luò)上搜集的數(shù)據(jù)，包括搜索引擎、微博和新聞報(bào)道綜合分析這些數(shù)據(jù)得出的結(jié)論，據(jù)說(shuō)著名的物理學(xué)家霍金也參與到這個(gè)預(yù)測(cè)算法的設(shè)計(jì)。
在農(nóng)業(yè)方面，比如以色列人的滴灌技術(shù)，采用計(jì)算機(jī)進(jìn)行自動(dòng)化控制，灌溉系統(tǒng)中的傳感器能夠檢測(cè)植物變化和濕度，來(lái)決定對(duì)植物的灌溉量，節(jié)省人力和水資源，由于有大量的傳感器在采集數(shù)據(jù)，這種自動(dòng)滴灌系統(tǒng)會(huì)分析這些水量和產(chǎn)量的大數(shù)據(jù)，從而改進(jìn)灌溉方法，大數(shù)據(jù)+農(nóng)業(yè)讓這個(gè)嚴(yán)重缺水國(guó)土面積還很小的國(guó)度成為農(nóng)業(yè)大國(guó)。再說(shuō)一個(gè)事，大家都知道美國(guó)的家庭通常都有院落和草地的，在美劇當(dāng)中我們經(jīng)�？吹饺藗兡弥茉跐菜@兩年美國(guó)出現(xiàn)了自動(dòng)噴水機(jī)器人，不但可以通過(guò)草地濕度調(diào)整水量還可以與天氣預(yù)報(bào)相連，如果明天會(huì)下雨就會(huì)停止?jié)补�。�?jù)說(shuō)這種自動(dòng)噴水機(jī)器人可以節(jié)省95%的用水量。
在商業(yè)金融方面，算法交易越來(lái)越流行，金融機(jī)構(gòu)紛紛利用大數(shù)據(jù)和算法來(lái)實(shí)現(xiàn)交易自動(dòng)化，以人類無(wú)法匹敵的速度和頻率創(chuàng)造利潤(rùn)。高頻交易就是建立在龐大數(shù)據(jù)集的基礎(chǔ)之上，通過(guò)分析多個(gè)市場(chǎng)，根據(jù)當(dāng)前的市場(chǎng)環(huán)境來(lái)執(zhí)行交易指令。雖然這創(chuàng)造了巨大的利潤(rùn)空間，但也讓許多證券經(jīng)紀(jì)人丟了飯碗。
在教育方面，百度2014年推出一個(gè)百度高考的應(yīng)用，預(yù)測(cè)押中了當(dāng)年全國(guó)18套作文考題中的12套，今年參加高考的同學(xué)們可以留意一下百度高考，沒(méi)準(zhǔn)可以提前知道今年的高考考題。
在媒體方面，《洛杉磯時(shí)報(bào)》已經(jīng)開發(fā)了機(jī)器人寫作技術(shù)，那里的記者正在同一堆機(jī)器人進(jìn)行競(jìng)爭(zhēng)。在這背后，就是大數(shù)據(jù)技術(shù)的進(jìn)一步發(fā)展。 記者的許多工作現(xiàn)在已經(jīng)可以利用機(jī)器學(xué)習(xí)工具自動(dòng)完成，就連許多公司的財(cái)務(wù)報(bào)表都是大數(shù)據(jù)直接寫出，只需一個(gè)會(huì)打字的人，輸入關(guān)鍵信息，大數(shù)據(jù)自動(dòng)匹配出相應(yīng)風(fēng)格的稿件。而大數(shù)據(jù)的寫法，一定更受歡迎，因?yàn)樗诘氖俏覀兇罅康拈喿x數(shù)據(jù)。
在法律方面，在訴訟案的發(fā)現(xiàn)階段，律師及其助手們需要篩選成千上萬(wàn)份與案件有關(guān)的文件。而現(xiàn)在，復(fù)雜的數(shù)據(jù)庫(kù)可以利用大數(shù)據(jù)技術(shù)，比如同步分析、關(guān)鍵詞識(shí)別等，以更少的時(shí)間完成同樣的工作。而在傳統(tǒng)上，這些工作都是律師事務(wù)所充當(dāng)律師助手的人類完成。但是不要認(rèn)為只有律師助手的工作處于危險(xiǎn)中，就連拿著高薪、可預(yù)測(cè)案件結(jié)果的大律師也無(wú)法幸免。據(jù)說(shuō)IBM研發(fā)的訴訟案件算法已經(jīng)能夠準(zhǔn)確預(yù)測(cè)70%以上的法官判決結(jié)果。
在醫(yī)療方面，目前美國(guó)大部分癌癥已被攻破，其做法就是利用了大數(shù)據(jù)。我們都知道“舉一反三”很了不起，但是美國(guó)攻破癌癥用的就是“舉上百萬(wàn)反一”的推算法，用好多病歷算法來(lái)推進(jìn)病情發(fā)展。目前國(guó)內(nèi)的趨勢(shì)是盡早實(shí)現(xiàn)病歷大數(shù)據(jù)共享，這將是一比巨大的財(cái)富，中國(guó)人多，如果所有患者的病歷上傳云端實(shí)現(xiàn)大數(shù)據(jù)共享，那么中國(guó)的醫(yī)療診斷準(zhǔn)確率將是世界第一的。到時(shí)候我們看病只需要輸入自己的癥狀，大數(shù)據(jù)會(huì)馬上給出最好的治療方案。
最重要的是在國(guó)家政策方面，“十二五”以來(lái),國(guó)務(wù)院和相關(guān)部門先后印發(fā)了《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》、《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-2020年)》等指導(dǎo)性文件。特別提出加快推進(jìn)大數(shù)據(jù)產(chǎn)業(yè)應(yīng)用能力，相信各位看官也已經(jīng)不止一次在央視的新聞聯(lián)播、在習(xí)大大和李克強(qiáng)主席那里聽到“大數(shù)據(jù)”這個(gè)詞了吧，所以請(qǐng)你們相信：大數(shù)據(jù)的發(fā)展前途無(wú)量！
