數(shù)據量增加遠超摩爾定律 大數(shù)據時代需要“智能遺忘”
任天 | 2016-06-13 13:12
【數(shù)據猿導讀】 據國外媒體報道，在經濟領域和人類行為的大量數(shù)據采集中，存在著一個違反直覺的弊端，而這會使我們忽略歷史的教訓
你或許很熟悉這樣一個統(tǒng)計結論：世界90%的數(shù)據是過去幾年里產生的。事實上，過去三十年中，全世界的數(shù)據量大約每兩年增加10倍——遠遠超過了計算機領域的摩爾定律。
這樣的信息增長速率會帶來一些問題，其中之一便是現(xiàn)時的數(shù)據量總是遠遠超過即使最近的過去。想象你正在通過一本相片簿回顧人生的頭18年，假設在兩歲時你有兩張照片，如果信息增長速率與世界數(shù)據量相同，那么在你6到8歲時，你會有驚人的2000張照片;10到12歲時有20萬張照片;而在16到18歲時，照片數(shù)量會達到2億張，相當于在最后兩年中，每秒有3張以上的照片。
當然，這并非是全球數(shù)據增長情況的完美類比。首先，世界大部分數(shù)據的增長源于有更多的人創(chuàng)造出了更多的信息來源，同時伴隨更大、更精細的格式。不過，有關比例的觀點還是成立的。如果你像前述的例子那樣回顧以往的記錄，或者試圖進行分析，那距離越久遠的過去就會變得越無關緊要。
這就是目前采集和分析大數(shù)據時所面臨的問題。當你開始以更長遠的視角往前回溯時，會發(fā)現(xiàn)近期的事情太多，而以前的事情太少。短視是結構性的，對短期趨勢的過度估計是壓倒性的，同時卻忽略了歷史的經驗教訓。
為了理解這個問題的重要性，需要考慮社會科學中有關“近期偏差”(recency bias，又稱近因效應)的研究發(fā)現(xiàn)。近期偏差是指在判斷趨勢時，認為未來事件與近期體驗更加類似。這可以說是某種“可利用性法則”(availability heuristic) ——不恰當?shù)匾宰钊菀妆恢X到的信息來作為思考的基礎。這還是一種普遍的心理學特征。舉例來說，如果在你居住的地方，過去幾年中夏季都異乎尋常地寒冷，你 可能會認為夏天正在變得更冷——或者說你當?shù)氐臍夂蛘谧兝洹Ｊ聦嵣?，你不應當把任何東西都塞到數(shù)據里分析。你需要有一個長遠的視角，才能認識真正有意義的氣候趨勢。在短時期內，你最好不進行任何猜測。不過，我們之中又有誰能真正做到這點呢?
現(xiàn)實生活中大部分復雜的趨勢正是如此：股票市場、經濟發(fā)展、企業(yè)的成功或失敗、戰(zhàn)爭或和平、國家關系、帝國的崛起和衰落等等。短期分析不僅不夠扎實，而且毫無益處甚至會帶來誤導。看看2009年金融危機即將到來的時候，還有那么多經濟學家信誓旦旦地宣稱這一事件不會發(fā)生。認為從那種時間尺度的數(shù)據就能做出扎實的預測，本身就有很大的問題。
我們還應當記住，在決定哪些數(shù)據是保存還是刪除的時候，新穎性往往會成為主要的考慮因素。舊的淘汰，新的進來，在這個搜索算法本質上偏向于新鮮事物的數(shù)字世界中，這是明顯的趨勢。從高等法院的裁決，到所有的社交媒體服務平臺上，我們到處都可以看到已經失效的網址。對當前的偏好已經滲透到我們身邊幾乎所有的技 術中，大多數(shù)人已經習慣用個四五年就把原本光鮮亮麗的機器拋棄。
怎么辦?這不僅是一個如何更好保存舊數(shù)據的問題——盡管這并不是個壞主意，想想我們現(xiàn)在還有什么東西能保留10年的。更重要的是，這個問題關系到確定哪些東西值得優(yōu)先保存，如何在知識的名義下，確定哪些信息最有意義。
或許我們需要的是“智能遺忘”：讓我們的工具變得更會放棄最近的過去，從而在整體視角上保持更大的連續(xù)性。這有點像是重新組織一本相片簿，盡管加上了更多的 數(shù)學方法。什么時候兩百萬張照片的價值比兩千張照片更低?什么時候較大的樣品覆蓋的范圍反而較小?什么時候細節(jié)水平能提供有用的質疑證據，而不是虛假的自信?
許多數(shù)據集是無法縮減的，而且在完整的情況下才最寶貴，比如，基因序列、人口統(tǒng)計學數(shù)據、地理和物理學的原始觀測數(shù)據等?？茖W性越弱，數(shù)據規(guī)模與數(shù)據的質量更可能呈現(xiàn)負相關，此時時間本身就成為更加重要的過濾工具。我們如果不仔細選擇過去保存下來的有價值、有意義的東西，那它們就會悄無聲息地淹沒在如今日益增長的噪音之中。
今天的企業(yè)、個人和政府機構都能夠獲得比以往(甚至就在幾年前)大許多數(shù)量級的數(shù)據，但這些數(shù)據并沒有獲得更多的處理時間。利用越來越高效的工具，董事會成員、首席執(zhí)行官、政府官員等決策者可以就已有的信息提出更有意義的問題。單純的堆積不是問題的答案。在一個數(shù)據量越來越大的時代，如何選擇不知道哪些事情，與選擇做什么事情一樣重要。
來源：新浪科技
刷新相關文章
我要評論
活動推薦more >
- 2018 上海國際大數(shù)據產業(yè)高2018-12-03
- 2018上海國際計算機網絡及信2018-12-03
- 中國國際信息通信展覽會將于2018-09-26
- 第五屆FEA消費金融國際峰會62018-06-21
- 第五屆FEA消費金融國際峰會2018-06-21
- “無界區(qū)塊鏈技術峰會2018”2018-06-14
