国产精品高潮呻吟久久AV无码,在线观看亚洲糸列,888奇米亚洲影视四色,中文字幕动漫精品第1页,国产大屁股视频免费区,半夜他强行挺进了我的体内,免费看国产曰批40分钟,国产女人片最新视频,要做AV在线播放,欧美韩日精品一区二区三区

DataMesh CEO李劼：美國總統(tǒng)大選，大數(shù)據(jù)究竟是贏了還是輸了？

大數(shù)據(jù) 大數(shù)據(jù)預(yù)測美國大選

李劼 | 2017-02-09 08:20

【數(shù)據(jù)猿導(dǎo)讀】很多人之前都認(rèn)為希拉里已經(jīng)贏定了，在各種預(yù)言帝使用各種模型所做的大數(shù)據(jù)分析預(yù)測中，川普都沒有任何勝算。結(jié)果出現(xiàn)黑天鵝事件，希拉里不僅敗北，而且是數(shù)學(xué)上的慘敗，選舉人票上輸?shù)囊凰?，毫無翻盤可能性

DataMesh CEO李劼：美國總統(tǒng)大選，大數(shù)據(jù)究竟是贏了還是輸了？

來源：數(shù)據(jù)猿作者：李劼

本文為數(shù)據(jù)猿年關(guān)策劃活動《大數(shù)據(jù)的2016，我的2016》系列稿件，感謝本文作者 DataMesh CEO 李劼 先生的投稿。

敬請期待2月16日，由數(shù)據(jù)猿與中歐商學(xué)院、騰訊視頻共同舉辦的高端領(lǐng)袖線下演講欄目中歐微論壇之《超聲波》。

我們?nèi)シ此?016年大數(shù)據(jù)的發(fā)展時，總會提起一個最重要的事件，那就是川普大帝的當(dāng)選以及希拉里團(tuán)隊的覆滅。很多人，包括我自己在這之前都認(rèn)為希拉里已經(jīng)贏定了，在各種預(yù)言帝使用各種模型所做的大數(shù)據(jù)分析預(yù)測中，川普都沒有任何勝算。結(jié)果出現(xiàn)黑天鵝事件，希拉里不僅敗北，而且是數(shù)學(xué)上的慘敗，選舉人票上輸?shù)囊凰?，毫無翻盤可能性。

在這之前，希拉里數(shù)據(jù)團(tuán)隊的副CTO，前Optimizely和奧巴馬競選班組成員Kyle Rush還在炫耀自己的成績：

50個后端服務(wù)，20個前端應(yīng)用，237個Git Repo，15TB的數(shù)據(jù)以及大量數(shù)據(jù)科學(xué)家、分析師，大量AB測試提升捐款額，大量數(shù)據(jù)驅(qū)動的體驗改進(jìn)推進(jìn)用戶投票，提高希拉里的投票率。

相比之下川普團(tuán)隊被譽(yù)為拒絕使用科技手段，只是不停到農(nóng)村宣講的土人。“不懂大數(shù)據(jù)”，“只雇了一家外國公司打打廣告，一共才花了五百萬美元”……所有的數(shù)據(jù)似乎都指出川普輸在科技上了，希拉里團(tuán)隊一共募集了14億美元（包括DNC和Super PAC），而川普團(tuán)隊只募得一半，高下立判？

圖：“投給希拉里”專用App

在大選前幾天，無論是Nate Silver的538還是NYT，還是你能想到的幾乎所有大數(shù)據(jù)預(yù)言帝們，全都認(rèn)為希拉里幾乎穩(wěn)贏，問題只在于七點(diǎn)能不能開始慶功了。

結(jié)果不僅希拉里全盤崩潰，民主黨也丟掉了所有能丟的一切。Nate Silver甚至和NYT在預(yù)測結(jié)果上公開撕逼，搞得相當(dāng)難看。

我們不僅要問，大數(shù)據(jù)預(yù)測失敗了嗎？

在深入討論這個問題之前，我們先來看一段有趣的真實(shí)經(jīng)歷。五年前我在微軟Office 365團(tuán)隊剛剛接手?jǐn)?shù)據(jù)驅(qū)動體驗的產(chǎn)品經(jīng)理時，身上背的任務(wù)是如何使用活動用戶數(shù)據(jù)做灰度發(fā)布和AB測試。我們的Office大數(shù)據(jù)團(tuán)隊負(fù)責(zé)提供所有用戶訪問日志（PII哈希過），根據(jù)自動化工具顯示，這些數(shù)據(jù)的完整度一般保持在96%~99%以上，總量超過六個月，來自三萬多臺服務(wù)器，這在我們看起來應(yīng)該是非常理想的原始數(shù)據(jù)。理論上來說，我們將這些用戶哈希后隨機(jī)分配給不同的組，就可以開始嘗試做一些最簡單的AB測試了。但在此之前，我們需要有一些追蹤活躍度的指標(biāo)要做。

我們試著跑了一個最簡單的模型……跑完之后，團(tuán)隊成員都無話可說，感覺程序哪里錯了，用戶的增長率雖然好的一塌糊涂，但一除上總用戶數(shù)就似乎無跡可尋，月活低的可憐，曲線畫出來是浪的可以。我的Test是一個平時說話很沖的黑人兄弟，當(dāng)時臉色都有點(diǎn)發(fā)青（感覺，實(shí)際看不太出來）說回頭研究。幾天之后他拿出一份報告，大家大開眼界：

大數(shù)據(jù)團(tuán)隊所提供的數(shù)據(jù)完整度其實(shí)是自動化工具的部署發(fā)生率，而不是實(shí)際部署率，更不代表數(shù)據(jù)上傳和完整度。
實(shí)際部署率沒有追蹤，很多情況下工具遠(yuǎn)程部署之后并沒有成功安裝，所以數(shù)據(jù)沒有被正確歸集。
實(shí)際上傳率沒有追蹤，有些情況下甚至服務(wù)器與大數(shù)據(jù)倉庫（COSMOS）之間的VLAN都是不通的，即使正確部署工具也無法上傳。
實(shí)際數(shù)據(jù)完整度只有13%。

部署發(fā)生率實(shí)際和最終數(shù)據(jù)完整度沒有任何相關(guān)性！可想而知，這樣的數(shù)據(jù)怎么能被用來做計算分析的基礎(chǔ)？后來我們團(tuán)隊花了四個月的時間才勉強(qiáng)修復(fù)數(shù)據(jù)管道，原定的灰度發(fā)布啟動時間也拖了半年之久。

讓我們回到川普和希拉里的對決中來。從結(jié)果看問題的話，我們會發(fā)現(xiàn)各位預(yù)言帝的數(shù)據(jù)集和剛才我們說的失敗案例很類似，他們所使用的是各類民意抽樣調(diào)查結(jié)果，總結(jié)起來三種人會導(dǎo)致數(shù)據(jù)失真，而數(shù)據(jù)失真可能會讓你預(yù)測分析的結(jié)果變得毫無意義：

民調(diào)不會去調(diào)查的人
有意識或無意識說謊，或是到最后階段變卦的人
號稱支持某人卻沒有投票的人

第一類人，在四年前平淡的大選中并沒有注冊為Voter，這次看到兩家掐的熱血沸騰，決定也來湊湊熱鬧。這樣的人由于不在Voter Database里面，在民調(diào)里通常是不會被調(diào)查的。我們并不知道這樣的比例有多大，但年輕人沒有被統(tǒng)計的比例較高是正常的（因年齡問題此前沒有投票權(quán)）。

第二類人，美國當(dāng)代精神癌癥的體現(xiàn)。由于政治正確和極左派經(jīng)常不分青紅皂白的指鹿為馬，導(dǎo)致很多人在公開場合并不會表達(dá)自己的真實(shí)想法。由于懼怕極端者的攻擊，很多美國人選擇的是閉口不言、模棱兩可，甚至直接違背想法和人交流。一些左派精英創(chuàng)立了一種刻板印象，就是不支持希拉里的人都是“男權(quán)”、“低收入者”、“智力低下”、“草根”、“極端保守”、“種族主義”，卻不知這樣亂劃線的做法一時是嘴爽了，結(jié)果把很多不相信政治正確的中間派推向偏右。

另外，希拉里的郵件門到最后被FBI再翻出來，也讓不少人感覺很差。這些人被民調(diào)時所說的和最后投票的結(jié)果往往有差異，會不投或者投川普。事后統(tǒng)計全美有240萬人參加了投票，但沒有投總統(tǒng)。

第三類人，左派支持者，而且也是注冊的Voter，但實(shí)際到投票的日子卻沒有投票。這些人很可能是這次的決定因素，我們后面分析。

你可能要問了，前幾次大選不也是這樣算出來的？模型不是從過往的經(jīng)驗中推導(dǎo)的嗎？這三種人怎么這次就決定了勝負(fù)呢？當(dāng)這三類人都在你的數(shù)據(jù)里無法體現(xiàn)但占比又發(fā)生突變時，你用任何舊數(shù)據(jù)產(chǎn)生的模型去做分析，最后的結(jié)果都是可笑的。

Nate Silver事后不停地硬解釋自己的模型如何有先見之明，比其他模型好那么一點(diǎn)點(diǎn)……但別忘了，真正對競選有信心的，其實(shí)是川普團(tuán)隊自己。Peter Thiel這個被左派開除Gay籍的硅谷叛徒在最后階段還自捐一百萬美元給川普投名狀 – 你相信一個能先搞出Paypal，后來又創(chuàng)造Palantir這樣的大數(shù)據(jù)公司的怪物會盲目下注嗎？

別忘了，Palantir的核心理念：將海量不完整的數(shù)據(jù)有效表達(dá)出來，讓人腦來分析，從而解決一個實(shí)際應(yīng)用問題。（不要提AI，除非你在融資toVC）所以關(guān)鍵點(diǎn)在于，你分析的角度是否真的是從解決實(shí)際問題去出發(fā)的。如果是的話，作為數(shù)據(jù)科學(xué)家第一個需要提出的問題就是“我手里的數(shù)據(jù)是否足以描述應(yīng)用所面臨的場景？”接下來就是“當(dāng)前數(shù)據(jù)中的缺陷是否大到需要其他數(shù)據(jù)做補(bǔ)充？”

如果不從數(shù)據(jù)角度去看被選舉人的話，我們先從人的角度評判一下這次競選的主要參與者特點(diǎn)：

民主黨，希拉里：中左派，財閥利益，女性，有多個被攻擊的弱點(diǎn)（前期班加西、后期兩個郵件門）。支持者年齡偏大。
民主黨，三德子：左派社會主義，自由派的最愛，支持者年輕化。
共和黨，川普：可以有任何丑聞，能做出任何意料之外的事。核心支持者是紅脖子白人，明顯疏離少數(shù)族裔。
共和黨，科魯茲：他不是川普。

在民主黨的黨代會一錘定音前，三德子和希拉里之爭已經(jīng)讓左派選民割裂，而此后DNC打壓三德子的郵件丑聞又讓很多三德子支持者憎恨希拉里，雖然這些人并不會投右派，但突然一下哥倆好讓他們投希拉里的可能性也并不大。即使是最后選舉人票，也有多人拒投希拉里。

川普則是一個異類，由于有核心保守派的支持他保住了共和黨傳統(tǒng)選區(qū)，同時集中巡回戰(zhàn)場州。在民主黨和希拉里用兩倍于川普團(tuán)隊的在線、電視廣告進(jìn)行“大數(shù)據(jù)精準(zhǔn)投放”狂轟濫炸時，川普團(tuán)隊精準(zhǔn)地把他本人投放到了選民們面前，最后的結(jié)果是川普贏得了絕大多數(shù)的戰(zhàn)場州，而希拉里在這些戰(zhàn)場州的票數(shù)都遠(yuǎn)少于奧巴馬兩次拿下的票數(shù)。并不是川普拿到的票更多，而是我們剛才說的第三類人，這次沒有被“精準(zhǔn)投放”忽悠到，不投票了。事后分析更顯示所謂的黑人、拉美裔對希拉里的支持遠(yuǎn)不如想象中的那么高。

這時候讓我們翻回來，再看川普團(tuán)隊五百萬公開雇傭的那家英國數(shù)據(jù)分析公司——Cambridge Analytica，這家公司所做的是對社交媒體用戶畫像，對他們進(jìn)行精準(zhǔn)投放。你可能覺得奇怪，剛剛民主黨的精準(zhǔn)投放不是不起作用嗎？注意這家公司的背景和極右翼媒體Breitbart有關(guān)系，曾參與Brexit，而且據(jù)說是唯一愿意幫川普團(tuán)隊做投放和監(jiān)測的大數(shù)據(jù)公司。他們的目標(biāo)非常直接，就是提高投票率，動員更多的川普支持者去投票。而相反，希拉里花了大量的廣告投放在了如何噴川普上，這樣的廣告能起多大作用，可想而知。

最后大數(shù)據(jù)還是贏了，贏的是在正確的時間點(diǎn)、正確使用大數(shù)據(jù)去處理正確問題的團(tuán)隊，而不是呆板地使用大數(shù)據(jù)，靠量堆的那個。

說到最后，2016年這個引發(fā)世界格局改變的大事件中能直接教育我們大數(shù)據(jù)從業(yè)者的是：用好大數(shù)據(jù)，最重要的是理解你要解決什么問題，在正確的時間用正確的手段解決正確的問題，而不是看你現(xiàn)有的數(shù)據(jù)能畫出什么曲線，更不是把簡單問題復(fù)雜化。把現(xiàn)有數(shù)據(jù)所表達(dá)的（偽）現(xiàn)象和要解決的問題強(qiáng)行捆綁，最后的結(jié)果就是自欺欺人。而所產(chǎn)生的蝴蝶效應(yīng)，有可能最后造成災(zāi)難性后果。

關(guān)于作者：

李劼，DataMesh CEO，目前專注于混合現(xiàn)實(shí)與數(shù)據(jù)科學(xué)結(jié)合的企業(yè)服務(wù)及應(yīng)用。回國創(chuàng)業(yè)前在微軟總部長期工作，為世界五百強(qiáng)企業(yè)提供云計算服務(wù)，并作為Office 365大數(shù)據(jù)團(tuán)隊產(chǎn)品經(jīng)理設(shè)計了平臺的灰度發(fā)布與AB測試。

注：本文由李劼投稿數(shù)據(jù)猿發(fā)布。

歡迎更多大數(shù)據(jù)企業(yè)、愛好者投稿數(shù)據(jù)猿，來稿請直接投遞至：tougao@datayuan.cn

更多大咖“干貨”，請小主“親啟”

TalkingData首席布道師鮑忠鐵：我眼中的大數(shù)據(jù)產(chǎn)業(yè)2016年終總結(jié)