今日頭條技術(shù)副總裁楊震原：攻城獅如何應(yīng)對大數(shù)據(jù)挑戰(zhàn)？

大數(shù)據(jù) 今日頭條數(shù)據(jù)實驗

董老師 | 2016-02-26 17:15

【數(shù)據(jù)猿導(dǎo)讀】工程師在大數(shù)據(jù)時代，應(yīng)如何擁抱變革、改變思路。詮釋頭條等都是如何根據(jù)各種收到的數(shù)據(jù)進行調(diào)整產(chǎn)品的，在數(shù)據(jù)越來越多、硬件進步速度減慢、應(yīng)用越來越多的情況下如何應(yīng)對

今日頭條技術(shù)副總裁楊震原：攻城獅如何應(yīng)對大數(shù)據(jù)挑戰(zhàn)？

旅美科技協(xié)會硅谷分會邀請到今日頭條技術(shù)副總裁楊震原先生做客硅谷，聊一聊他眼中的大數(shù)據(jù)和數(shù)據(jù)背后的故事。他介紹工程師在大數(shù)據(jù)時代，應(yīng)如何擁抱變革、改變思路。詮釋頭條等都是如何根據(jù)各種收到的數(shù)據(jù)進行調(diào)整產(chǎn)品的。在數(shù)據(jù)越來越多、硬件進步速度減慢、應(yīng)用越來越多的情況下如何應(yīng)對。

本文由董飛老師翻譯并投稿至36大數(shù)據(jù)，轉(zhuǎn)載必須獲得原文作者、譯者和本站的同意。拒絕任何不標明作者和出處的轉(zhuǎn)載。

今日頭條是什么?

下面就是楊先生的演講實錄：

大數(shù)據(jù)下記錄“樣本=總體”

先給大家講網(wǎng)上段子。我們把大數(shù)據(jù)比作什么呢?高中生的初夜!問問大家，有誰的初夜是在高中的呢?凡是舉手的人都有做大數(shù)據(jù)的潛力，現(xiàn)在每個人都在討論大數(shù)據(jù)，就像高中生都在討論性，你做過嗎?沒有人做過，每個人都以為自己做過，每個人都聲稱自己做成，這是一個很有意思的事情，用這個來比喻大數(shù)據(jù)非常的恰當。

而我們要把以前沒有辦法記錄的數(shù)據(jù)都要記錄下來，以前無法分析的數(shù)據(jù)都要去進行分析。比如大家的點擊行為，所有的交互行為，所有行為的時長，都記錄下來。之前采樣的目的就是用最少的數(shù)據(jù)得到最多的信息。當我們可以獲得海量數(shù)據(jù)的時候，它就沒有什么意義了。數(shù)據(jù)處理技術(shù)已經(jīng)發(fā)生了翻天覆地的改變，但我們的方法和思維卻沒有跟上這種改變。但是在很多領(lǐng)域，從收集部分數(shù)據(jù)到收集盡可能多的數(shù)據(jù)的轉(zhuǎn)變已經(jīng)發(fā)生了。如果可能的話，我們會收集所有的數(shù)據(jù)，即“樣本=總體”。

再給大家舉一個例子，這是一個按鈕平均觸摸的時間分布，差不多是在44-112毫秒，每個按鈕觸摸時間是不一樣的，大家覺得這個信息有用嗎?也許沒有什么用，但有一個研究機構(gòu)表明，從一個用戶接觸的時間和面積的分布，我們可以推斷用戶按這個按鈕時的情況。比如說一篇文章放了一個按鈕，通過這個按鈕的行為就知道有多少人是喜歡還是討厭，像這樣的記錄很多人是之前沒有想過的。

還有個美國的研究機構(gòu)實驗，通過手指來按壓攝像頭，就是把手機做在線的課程，手機的背后都有LED燈，把燈打開之后用手指遮擋住攝像頭和燈可以記錄你的心跳，甚至知道血液顏色的變化，間接獲得心跳圖。這樣就可以知道學(xué)生是否在看這個圖，是不是感興趣還是開小差。

大數(shù)據(jù)的收益

回到今日頭條，對于閱讀行為，我們以前會記錄每篇文章在頭條閱讀的時間，而現(xiàn)在我們換一種記錄方法去看某一頁停了多少秒，又停留了多少秒，我們會把這個序列記錄下來，可以推斷這個用戶是否讀懂這個文章。這些行為的記錄都是非常有價值的，在新的時代大家要去知道以前不能夠記錄的東西，沒有用的東西，當這些都記錄下來，未來某一天都會很有用的。

我們的分析的方法發(fā)生了變化，主要兩方面因素，第一，產(chǎn)品應(yīng)用越來越廣泛了，有場景能夠去用到這些數(shù)據(jù);第二，我們分析數(shù)據(jù)的方法也越來越多。舉例：搜索展示量與點擊數(shù)是千億量級的，在早期大家怎么樣來用?就是要點擊調(diào)權(quán)，如果說一個問題點擊的次數(shù)很高就往前排，當分析方法沒有那么進步的時候我們就用這種方法來做，這個方法有局限性，對于這一塊有效，但是對于頻次低的就沒有效了。

現(xiàn)在隨著神經(jīng)網(wǎng)絡(luò)算法發(fā)展，系統(tǒng)可以去訓(xùn)練100億、甚至1000億的用戶瀏覽、點擊行為數(shù)據(jù)，去主動學(xué)習(xí)用戶查詢與文章題目的內(nèi)在關(guān)聯(lián)，我們?nèi)〉玫氖找媸鞘裁茨?整個團隊34%的收益來自與這個項目，這是非常重大的改進，就是通過了計算方法的變化，使得我們能夠去分析這么大規(guī)模的數(shù)據(jù)。

數(shù)據(jù)爆炸和硬件紅利結(jié)束

再舉一個今日頭條閱讀時長變化的數(shù)據(jù)，我們?yōu)槭裁纯梢愿倪M閱讀時長呢?我們通過數(shù)據(jù)的分析，把用戶的行為數(shù)據(jù)全部都記錄下來了，我們知道用戶點了什么內(nèi)容，將用戶的行為和行為特征進行組合，最后僅30天的數(shù)據(jù)就達到了1.5PB，這樣的數(shù)據(jù)對今日頭條來說需要大量計算資源才能夠處理。

通過充分的對數(shù)據(jù)的使用提高了用戶的使用時長，更多的數(shù)據(jù)、更多的分析方法和應(yīng)用的領(lǐng)域，這些就構(gòu)成了大數(shù)據(jù)時代。

如何迎接大數(shù)據(jù)挑戰(zhàn)?

數(shù)據(jù)越來越多，應(yīng)用越來越多，硬件進步的趨勢減慢，這就構(gòu)成了大數(shù)據(jù)時代工程師面臨的挑戰(zhàn)。如何面對?

我的應(yīng)對思路是，工程師要變成一個個全棧研發(fā)，要通過更加廣泛的學(xué)習(xí)，成為全棧研發(fā)才是未來的解決之道。當局部可以大幅度的改進時，更細的分工才會顯示出優(yōu)勢，否則只有全棧綜合考量才能找到突破點。

成為全棧研發(fā)的學(xué)習(xí)建議

在之前IT時代，有人去做CPU，有人去做UI的改進，大家的分工非常的細，比如說像以前做手機，從硬件，芯片，操作系統(tǒng)，交互，應(yīng)用每一個都要去關(guān)注和打磨，這種很細的分工還能前進是因為每一塊都有大幅提升空間。而現(xiàn)在CPU過一年就淘汰了，手機一年已經(jīng)更新?lián)Q代了，如果我們還是保持更細的分工不能夠把握整體提高，這要求我們必須要不斷學(xué)習(xí)才能夠帶來突破。

從CPU指令集到操作系統(tǒng)，從Hadoop到統(tǒng)計原理，從機器學(xué)習(xí)到產(chǎn)品應(yīng)用，只有通過學(xué)習(xí)才能夠找到突破點。下面舉三個例子來詳細說明。

第一個例子，先介紹背景：今日內(nèi)容推薦很重要的一部分就是針對你可能感興趣的候選集進行排序，這部分核心就是建模，將用戶各種組合偏好記錄下來。哪些keyword表達了該用戶的特點。

那如何解決特征爆炸的問題。這個問題在機器學(xué)習(xí)領(lǐng)域解決思路有多種，比如通過Sample數(shù)據(jù)，1 可以L1正則，2 稀疏化特征，3 特征過濾，4 Hash，5 做16 bit的壓縮。

我們來看第二個方案，內(nèi)存的HASH表，當走過一遍數(shù)據(jù)，維護一個內(nèi)容的表。每次去查一下，如果說出來6次了，現(xiàn)在第7次了，我們把超過了7次的全部都統(tǒng)計下來，其他的都扔掉，這里有一個就是規(guī)模問題，一個HASH的結(jié)構(gòu)，一個Key要占用40 bytes，40 bytes會有指針消耗和對齊問題。如果我們有200臺機器，單機需要600G的內(nèi)存，現(xiàn)在很多的機器都不支持這個內(nèi)存，那么怎么樣來做?

(二)理論研究和實踐的結(jié)合

特別是做在線學(xué)習(xí)，應(yīng)用LR(Logistic Regression)是最廣泛的。但是批量處理超大規(guī)模的數(shù)據(jù)集和在線數(shù)據(jù)流時就遇到了問題，離線機器學(xué)習(xí)方法在每次迭代計算的過程中，需要把全部的訓(xùn)練數(shù)據(jù)加載到內(nèi)存中計算(計算全局梯度)，傳統(tǒng)batch算法中每次迭代對全體訓(xùn)練數(shù)據(jù)集進行計算(計算全局梯度)，優(yōu)點是精度和收斂還可以，缺點是無法有效處理大數(shù)據(jù)集(此時全局梯度計算代價太大)，且沒法應(yīng)用于數(shù)據(jù)流做在線學(xué)習(xí)。

對于一個LR Model來講，使用不同的學(xué)習(xí)速率、正則項系數(shù)導(dǎo)致收斂的效果是不同的。這當中初始的學(xué)習(xí)速率還是會帶來很大的影響。除了Weight的參數(shù)之外，還有學(xué)習(xí)率、L1等的超參數(shù)。總之手工調(diào)參是非常困難的問題。

由于頭條的訓(xùn)練樣本很大，不同特征之間的頻次相差非常大，有多大的?會相差7個數(shù)量級，有些頻次是幾千萬次，而有的出現(xiàn)頻次只有20、30次。所以針對不同類型的特征我們有不同的超參數(shù)。特征的類型我們是按照特定的規(guī)則來分有上百個，每個特征的類型都有正則率和特征參數(shù)，這樣我們就幾百個參數(shù)，這個是沒有辦法調(diào)整的，這個事情是不能夠訓(xùn)練的，這是一個很痛苦的問題，有什么解決的方法呢?

在這一塊我們是有創(chuàng)新的。大家想一下，超參數(shù)的本質(zhì)是什么?就是要去尋找過擬合和訓(xùn)練不足之間的最佳的平衡點，我們訓(xùn)練是在一個訓(xùn)練集之中去做優(yōu)化，在線上的集合之中去測試，而這兩個數(shù)據(jù)集的分布是不同的，超參數(shù)優(yōu)化主要用在自動搜索模型的參數(shù)，要做到在上線的情況下最優(yōu)。我們把數(shù)據(jù)分為訓(xùn)練集驗證集和測試集，我們在訓(xùn)練集之中去優(yōu)化參數(shù)，在驗證集中去優(yōu)化超參數(shù)，目標是降低驗證集的Loss(簡單的在線梯度下降很難產(chǎn)生真正稀疏的解，稀疏性在機器學(xué)習(xí)中是很看重的事情，尤其我們做工程應(yīng)用，稀疏的特征會大大減少predict時的內(nèi)存和復(fù)雜度)，這是更加的接近線上的分布，我們找到最優(yōu)點，同時這個方法是服務(wù)做好的。

學(xué)習(xí)中的驗證怎么調(diào)?

這個項目不僅僅有一個很好的實際效果，在算法的領(lǐng)域上也有一定的突破，我們之后也打算把這個整理一下，在期刊上去發(fā)一個Paper。

(三)算法和產(chǎn)品，UI的結(jié)合

第三個例子，算法和產(chǎn)品，UI的結(jié)合。頭條不僅僅有文章還有視頻，視頻的低質(zhì)內(nèi)容的控制是很重要的，我們有很多的辦法去改進這個問題，比如一些賬號去評級，通過賬號訂閱的比例，效果都不好，之后我們用了一個很簡單辦法，效果會大幅度的提升，我們在視頻播放的列表頁放出了頂踩按鈕，通過簡單的加入頂踩的數(shù)據(jù)的統(tǒng)計，會對低質(zhì)的打擊效果明顯提高。這就是一個很簡單的，就是和產(chǎn)品結(jié)合，技術(shù)的方案就是要解決問題。你有簡單的方法去解決問題這才是更有意義的創(chuàng)新。

大數(shù)據(jù)實驗方法 A/B 測試

就是做A/B測試，把實驗對象隨機分組，把一個或多個測試組的表現(xiàn)與對照組比較，進行測試。

怎么做A/B測試，第一步我們線上流量進行分流，正常用戶還是走正常的流量，一部分流量我們要保證樣本無偏，通過科學(xué)方法去劃分出一些流量做實驗，還要進行分組，分出對照組和實踐組，對照組和線上的策略完全一樣，實驗組我們做一些小小的改變。

比如頭條網(wǎng)頁版的首頁，新版加了一個鏈接，老版加了一個任務(wù)評論。我們看哪個好呢?通過A/B測試的方式，一部分人看到新版的結(jié)果，一部分是老版效果。事后統(tǒng)計分析，看到底哪個版本效果好。

大家印象中人比機器靠譜的，從大的面上來說，機器比人更靠譜，機器不求回報。在互聯(lián)網(wǎng)公司，審核和評估投入這塊肯定比工程師低很多，這就造成兩個后果，第一個就是審核人員敬業(yè)或者他的能力上可能跟工程師相比，他會有一定的差距，這是客觀存在的。因為我們的人力成本也比較低。

第二個就是他的流動性可能比較大，另外標準經(jīng)常變來變?nèi)?。我們一定要用機器去監(jiān)控人的工作怎么樣，需要有一個預(yù)警。這塊我們需要引入一個雙盲的交叉驗證，幫助我們?nèi)タ催@些運營同學(xué)他們工作的穩(wěn)定性怎么樣，同時去激勵不斷提升自己的判斷力，得到機器更好的評估。

數(shù)據(jù)實驗是怎么分析的?

最后在大數(shù)據(jù)領(lǐng)域還有哪些技術(shù)可以交叉呢?

比如說硬件的交叉，在新的硬件領(lǐng)域還有非常多創(chuàng)新的點。比如說現(xiàn)在的傳感器的技術(shù)，比如說神經(jīng)網(wǎng)絡(luò)很多的做法是嵌入到芯片之中去的，分布式架構(gòu)和機器學(xué)習(xí)算法的交叉，商業(yè)智能分析與新算法的交叉，這是一種用語言來畫圖做引擎，和我們做一些編譯器和新的語言都有關(guān)系，有一些交叉。

這些交叉是誕生新想法非常重要的一部分。最重要的一個交叉就是什么呢?把技術(shù)和人們的需求的痛點相結(jié)合，進而產(chǎn)生更多的產(chǎn)品，所以每個創(chuàng)業(yè)者是更棒的創(chuàng)新家。在大數(shù)據(jù)的時代下，有太多的需要學(xué)習(xí)的，現(xiàn)在最難的就是找到優(yōu)秀的工程師，這說明工程師的不可替代性和行業(yè)的繁榮，我想這就是工程師的時代也是在座每一個人的機會!

來源：36大數(shù)據(jù)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責。