作為理性的人類,我們不會僅僅滿足于感情的宣泄,而是希望通過數據掌握更多的事實,進行理性思考。
在當今時代,最不缺乏的就是信息。信息消費了什么,這是很明顯的:它消費的是信息接受者的注意力。信息越豐富,就會導致注意力越匱乏……
當今,信息并不匱乏,匱乏的是我們處理信息的能力,我們有限的注意力是組織活動的主要瓶頸。卡內基梅隆大學的赫伯特·西蒙指出,人類的理性是有限的,因此所有的決策都是基于有限理性的結果。他繼而提出,如果能利用存儲在計算機里的信息——即數據來輔助決策,人類理性的范圍將會擴大,決策的質量就能提高。
在大數據時代,人類社會面臨的問題之一是如何更好的利用數據來輔助決策。
對小數據而言,最基本最重要的要求就是減少錯誤,保證質量。因為收集的信息量比較少,所以我們必須確保記下來的數據盡量精確。
無論是確定天體的位置還是觀測顯微鏡下物體的大小,為了使結果更加準確,很多科學家都致力于優化測量的工具。在采樣的時候,對精確度的要求就更苛刻了。因為收集信息的有限意味著細微的錯誤會被放大,甚至有可能影響整個結果的準確性。
然而,在不斷涌現的新情況里,允許不精確性的出現已經成為一個新的亮點,而非缺點。因為放松了容錯的標準,人們掌握的數據也多了起來,還可以利用這些數據做更多新的事情。這樣就不是大量數據優于少量數據那么簡單了,而是大量數據創造了更好的結果。
谷歌的翻譯更好并不是因為它擁有一個更好的算法機制,是因為谷歌翻譯增加了各種各樣的數據。2006年,谷歌發布的上萬億的語料庫,就是來自于互聯網的一些廢棄內容。
谷歌將其作為“訓練集”,可以正確地推算出英語詞匯搭配在一起的可能性。谷歌的這個語料庫是一個質的突破,使用龐大的數據庫使得自然語言處理這一方向取得了飛躍式的發展。
同時,我們需要與各種各樣的混亂做斗爭。混亂,簡單的說就是隨著數據量的增加,錯誤率也會相應增加。所以,如果采集的數據量增加1000倍的話,其中采集的部分數據就可能是錯誤的,而且隨著數據量的增加,錯誤率可能也會繼續增加。
在整合來源不同的各類信息的時候,因為他們通常不完全一致,所以也會加大混亂程度。雖然如果我們能夠下足夠多的功夫,這些錯誤是可以避免的,但在很多情況下,與致力于避免錯誤相比,對錯誤的包容會帶給我們更多好處。
如果將傳統的思維模式——精確性運用于數據化、網絡化的21世紀,就會錯過重要的信息,執迷于精確性是信息缺乏時代的產物。當我們掌握了大量新型數據時,精確性就不那么重要了,不因為依賴精確性,我們同樣可以掌握事情的發展趨勢。
大數據不僅讓我們不再期待精確性,也讓我們無法實現精確性。然而,除了一開始會與我們的直覺相矛盾之外,接受數據的不精確和不完美,我們反而能更好地進行預測,也能更好的理解這個世界。
相比依賴于小數據和精確性的時代,大數據因為更強調數據的完整性和混雜性,幫助我們進一步接近事實的真相。“部分”和“確切”的吸引力是可以理解的。但是,當我們的視野局限在我們可以分析和能夠確定的數據上時,我們對世界的整體理解就可能產生錯誤和偏差。
不僅失去了去盡力收集一切數據的動力,也失去了從各個不同角度來觀察事物的權利。所以,局限于狹隘的小數據中,我們可以自豪于對精確性的追求,但是,就算我們可以分析的到細節中的細節,也依然會錯過事物的全貌。
就像印象派的畫風一樣,近看畫中的每一筆都感覺是混亂的,但是退后一步你就會發現這是一副偉大的作品,因為你退后一步的時候就能看出畫作的整體思路了。
這是大數據時代,思維方式的一個改變,不執著于對精確性的追求,擁抱混亂。另外一個思維方式的轉變則是,更加重視相關關系,而不偏執于基于假設基礎上對因果關系的追尋。
在小數據的世界中,相關關系也是有用的,但在大數據的背景下,相關關系大放異彩。通過應用相關關系,我們可以比以前更容易、更便捷、更清楚地分析事物。
相關關系的核心是量化兩個數據值之間的數理關系。相關關系強是指一個數據增加時,另一個數據值很有可能也會隨之增加。比如谷歌的流感趨勢:在一個特定的地理位置,越多的人通過谷歌搜索特定的詞條,該地區就有更多的人患了流感。
相反,相關關系弱就意味著當一個數據值增加,另一個數據值幾乎不會發生變化。例如,我們可以尋找關于個人的鞋碼和幸福的相關關系,但會發現它們幾乎扯不上什么關系。
相關關系通過識別有用的關聯物來幫助我們分析一個現象,而不是通過揭示其內部的運作機制。當然,即使是很強的相關關系也不一定能解釋每一種情況,比如兩個事物看上去行為相似,但很有可能只是巧合。相關關系沒有絕對,只有可能性。
也就是說,不是亞馬遜推薦的每本書都是顧客想買的書。但是,如果相關關系強,一個相關鏈接成功的概率是很高的。我們理解世界不再需要建立在假設的基礎上,這個假設是針對現象建立的有關其生產機制和內在機理的假設。
因此,我們也不需要建立這樣一個假設,關于哪些詞條可以表示流感在何時何地傳播;我們不需要了解航空公司怎樣給機票定價;我們不需要知道沃爾瑪的顧客的烹飪喜好。取而代之的是,我們可以對打數據進行相關關系分析,從而知道哪些檢索詞條是最能顯示流感的傳播的,飛機票的價格是否會飛漲,哪些食物是颶風期間待在家里的人最想吃的。
我們用數據驅動的關于大數據的相關關系分析法,取代了基于假想的易出錯的方法。大數據的相關關系分析法更準確、更快,而且不易受偏見的影響。建立在相關關系分析法基礎上的預測是大數據的核心。這種預測發生的頻率非常高,以至于我們經常忽略了它的創新性。當然,它的應用會越來越多。
在社會環境下尋找關聯物只是大數據分析法采取的一種方式。同樣有用的一種方式是,通過找出新種類數據之間的相互聯系來解決日常需要。比方說,一種稱為預測分析法的方法就被廣泛的應用于商業領域,它可以預測實踐的發生。
比如車的某個零部件出故障。因為一個東西要出故障,不會是瞬間的,而是慢慢地出問題的。通過收集所有的數據,我們可以預先捕捉到事物要出故障的信號,比方說發動機的嗡嗡聲、引擎過熱都說明它們可能要出故障了。
系統把這些異常情況與正常情況進行對比,就會知道什么地方出了毛病。通過盡早的發現異常,系統可以提醒我們在故障之前更換零件或者修復問題。通過找出一個關聯物并監控它,我們就能預測未來。
在小數據時代,相關關系分析和因果分析都不容易,都耗資巨大,都要從建立假設開始。然后我們會進行實驗——這個假設要么被證實要么被推翻。但由于兩者都始于假設,這些分析都有受偏見影響的可能,而且極易導致錯誤。
與此同時,用來做相關關系分析的數據很難得到,收集這些數據時也耗資巨大。現今,可用的數據如此之多,也就不存在這些難題了。
通過找出可能相關的事物,我們可以在此基礎上進行進一步的因果關系分析,如果存在因果關系的話,我們再進一步找出原因。
這種便捷的機制通過嚴格的實驗降低了因果分析的成本。我們也可以從相互聯系中找到一些重要的變量,這些變量可以用到驗證因果關系的實驗中去。相關關系很有用,不僅僅是因為它能為我們提供新的視角,而且提供的視角都很清晰。
在小數據時代,我們會假想世界是怎么運作的,然后通過收集和分析數據來驗證這種假想。在不久的將來,我們會在大數據的指導下探索世界,不再受限于各種假想。我們的研究始于數據,也因為數據我們發現了以前不曾發現的聯系。
總之,除了糾結于數據的準確性、正確性和嚴格度之外,我們也應該容許一些不精確的存在。數據不可能是完全正確或完全錯誤的,當數據的規模以數量級增加時,這些混亂也就算不上問題了。
事實上,它可能是有好處的,因為它可能提供一些我們無法想到的細節。又因為我們用更快更便宜的方式找到數據的相關性,并且效果往往更好,而不必努力去尋找因果關系。
當然,在某些情況下,我們依然要靜心做因果關系研究和試驗。但是,在日常很多情況下,我們知道“是什么”就夠了,而不必非要弄清楚“為什么”。
版權聲明