從世界冠軍到數(shù)據(jù)科學家他是如何煉成的？

世界冠軍數(shù)據(jù)科學家大數(shù)據(jù)

宗仁 | 2016-09-29 10:30

【數(shù)據(jù)猿導讀】大數(shù)據(jù)這個詞我們聽得太多了，可是很少有人意識到，隨著互聯(lián)網的發(fā)展，今時今日的這些“大”字究竟已經意味著一種什么樣的量級

大數(shù)據(jù)這個詞我們聽得太多了，可是很少有人意識到，隨著互聯(lián)網的發(fā)展，今時今日的這些“大”字究竟已經意味著一種什么樣的量級。除去少數(shù)嘩眾取寵的使用這個詞的公司外，那些真正擁有大數(shù)據(jù)的企業(yè)，經手和處理的都是一些普通人可能窮極一生也接觸不到的數(shù)字：微信朋友圈每天會上傳10億張圖片，支付寶日交易額峰值超過200億元人民幣，京東每天上傳幾百萬張新的商品信息圖……

這些數(shù)字對于急需數(shù)據(jù)訓練的人工智能算法來說是莫大的好消息。也意味著數(shù)據(jù)對于人工智能的重要性正在隨著計算能力、算法的發(fā)展而呈直線上升。但是怎么在浩如煙海的數(shù)據(jù)中篩選出對我們真正有用的那些？又如何通過分析這些數(shù)據(jù)做出對自身有利的決策？這就是數(shù)據(jù)科學家們做的事了。

本期公開課，我們邀請到了iPIN的首席科學家潘嶸，他于2004年底獲得中山大學理學博士學位后，分別于2005年2月~2007年8月在香港科技大學，以及2007年8月~2009年9月在美國惠普實驗室，進行數(shù)據(jù)挖掘、人工智能等方面的研究。2009年10月通過百人計劃進入中山大學，任職于計算機系。2014年起任iPIN首席科學家。

潘嶸博士在2005年，參加美國計算機學會（ACM）舉辦的數(shù)據(jù)挖掘國際比賽（KDDCup：數(shù)據(jù)挖掘方面每年全球最重要的比賽）。當年比賽的主題是搜索引擎查詢的分類。最終獲得全部三個項目（包括查詢分類算法的精確度、性能以及創(chuàng)新性）的第一名。已獲兩項美國專利授權。已在相關領域的國際一流學術會議、期刊和雜志上發(fā)表超過二十篇學術論文，其中包括Artificial Intelligence, IEEE Transactions on Knowledge Discovery and Data Engineering, ACM Transactions on Information Systems, AAAI, IJCAI, ACM SIGKDD, UAI, ICDM等等。并且是多個雜志、會議的審稿人（程序委員），包括IEEE Transactions on Knowledge Discovery and Data Engineering，IEEE/ACM……AAAI，IJCAI，ICDM，WSDM，CIKM，ECML，ACML，BMWT，AAIM，PRICAI，WI，WINE等等。

▎學界

你博士畢業(yè)后，先去了香港科技大學，你的的核心研究方向是什么？

這里先要感謝我的博士導師李磊教授和姚正安教授，雖然他們原來都不是數(shù)據(jù)挖掘和機器學習領域的，但是他們對我博士研究方向的寬容度和實際指導都是讓我非常感激的。我的博士研究方向是基于核（Kernel）的機器學習算法的研究。之后，到了香港科大，在楊強老師的指導下，我把核方法運用到基于案例推理（Case-based reasoning）。

同時，我們也在做搜索引擎的查詢分類；并且與NEC公司合作，我們研究了半監(jiān)督的序列關系學習算法并將其應用到室內無線定位。其中，查詢分類的問題來自于像Google、百度、Yahoo、微軟這些做搜索引擎的大公司的需求，目標是要提升廣告投放的精準度和搜索結果的排序質量。在港科大的經歷，我要感謝楊強教授對我的指導和幫助，在那段時間里，鍛煉和提升了我在數(shù)據(jù)挖掘、機器學習方面的研究能力，例如：選方向、發(fā)現(xiàn)研究點、論文寫作能力。

后面去了惠普實驗室。因為什么拿到入場券？

很幸運的在港科大我們參加了2005 ACM KDDCup比賽并且獲得全部三項的第一。的確對我的研究方向和成果產生了很大影響，也因此使我在后面獲得了惠普實驗室工作的機會。

在惠普實驗室你的核心研究方向是什么？

我到惠普實驗室參與的項目是一個叫變色龍項目，實際上是個性化推薦算法的研究項目，當時還是PC時代，全球市場中5臺個人電腦就有一臺是HP生產的，在美國，這個份額更加是1/4，只要在用戶許可的情況下，就跟今天的移動互聯(lián)網類似，HP是可以收集到用戶在PC上的各種行為數(shù)據(jù)，然后為用戶提供個性化推薦服務，從而更好的提升用戶體驗，在當時，推薦系統(tǒng)算法使用的數(shù)據(jù)主要是用戶打分數(shù)據(jù)，也就是說，用戶在消費完某個產品或服務后，打了評分，推薦系統(tǒng)才能比較的有效工作。在我參與變色龍項目的過程中，我們發(fā)現(xiàn)大部分用戶行為都缺少打分這個過程，這其實也很合理，很多人消費或體驗完也不一定會打分，所以我提出來如何在沒有用戶打分的情況下，照樣能做推薦，后來我提出了One-Class Collaborative Filtering (OCCF) 算法，發(fā)表在ICDM’08上，之后為了解決計算效率的問題，我又提出了新的OCCF的加速算法，被KDD’09接受了。

在惠普實驗室工作的經歷進一步加強了我進入相對陌生研究領域的能力和信心，包括：解決應用問題的能力、數(shù)學基礎、算法分析能力、工程能力。

為什么當時從惠普回來后又選擇去學校任教？

一個是我自己個性的原因：喜歡獨立、有自主性的做研究，也不喜歡處理復雜人際關系。另外一個是家庭和工作地點的原因，還有就是中山大學的寬松、自由的學術氣氛，良好的研究條件和環(huán)境，學生也非常的優(yōu)秀。

在中大任教的經歷對iPIN首席科學家的工作有什么影響和幫助？

回到中山大學后，結合我過往在港科大和HP實驗室的工作經歷，我實驗室的研究主要研究方向協(xié)同過濾、信息檢、自然語言處理等。幾年下來，使得我在相關領域的研究經驗有進一步的積累，同時，我在挑選和培養(yǎng)學生方面也積累了一定的經驗。還記得我剛進入研究生階段，我的導師姚正安教授就跟我們說這樣一句話，“沒有不好的學生，只有不好的老師”。

當時我覺得姚老師怎么這么敢說，不過的確他對我的幫助非常的大，同時我們的博士同學的研究方向的確也不太一樣，姚老師的話我一直記得，到我自己當老師的時候也用他的這句話來要求自己，恰好，我是做個性化算法研究的，因此，我希望盡量做到因材施教，這鍛煉我的人才培養(yǎng)方面的能力。

在中山大學，我主要講數(shù)據(jù)庫、數(shù)據(jù)挖掘、信息檢索等課程，結合自己的研究方向，每年我都希望在一些課程里添加一些新的內容，希望讓同學們了解到比較前沿的知識，同時也有利于我梳理自己的研究。

▎產界

顏水城這樣的學術大牛在談到自己剛從學界轉到工業(yè)界時都不免感到忐忑，您2014年時投入工業(yè)界，成為一家創(chuàng)業(yè)公司的CDO，決心來自于哪里？

其實我自己也同樣忐忑，不過由于我自己前面一些經歷的緣故，喜歡解決實際應用問題，或者說以解決實際問題為導向。另外，在目前的大環(huán)境下，大學里碰到的現(xiàn)實問題是工業(yè)界才有真實的大數(shù)據(jù)和更加真實的應用問題。

您第一次覺得可以勝任產業(yè)界首席科學家這個Title是什么時候？因為哪個標志性事件？

說實話，我不覺得我勝任這個title，或許這個問題應該由我的partner或者將來再說，謝謝！

在學術界做和產業(yè)界做，具體哪里不一樣？哪里一樣？

我目前的方向是數(shù)據(jù)挖掘、機器學習、自然語言處理，嚴重依賴大規(guī)模數(shù)據(jù)。在問題提出的方面，工業(yè)界更實際、更直接；學術界則更注重基礎研究。

在問題解決的方面：工業(yè)界更多的會關注解決方案的成本與效果之間要取得好的平衡。學術界更多的會在算法的創(chuàng)新方面。

從學術里的青年科學家到創(chuàng)業(yè)公司首席科學家，成長過程中有遇到什么困難沒？

其實并不一定是叫成長過程，可能是如何適應角色的轉變。

首先是要有好的合作伙伴，必須在人品、價值觀取得比較一致的看法，同時角色上要有互補。另外，在大學里，主要是培養(yǎng)人才，輸送給社會。比如在iPIN，組建團隊是核心要務，必須同時抓人才選拔和人才培養(yǎng)兩個方面。同時，上面也說到了，企業(yè)是非常注重成本的（包括：金錢、人力、時間），你的任務就不是僅僅為了發(fā)paper，更重要是考慮你的解決方案是否可以落地，如何落地的問題。

一個真正的公司，對于一個首席科學家的要求是怎樣的？

我目前是達不到的，我覺得首先是個人學術水平要有足夠的深度和廣度。同時要不斷的學習，能理解實際的應用問題。并能夠轉化為機器學習的問題，提出、篩選各種解決問題的方案，還要了解學術界、工業(yè)界發(fā)展趨勢，洞察未來的研究、技術發(fā)展方向，有自己的判斷力，提前布局。

作為大數(shù)據(jù)方向的研究者，選擇產業(yè)落地方向時如何下手？

首先我想簡單介紹一下iPIN的幾個產品：

完美志愿，HaoHR和羅盤。完美志愿是一款能為高考生量身定制志愿方案、提前了解就業(yè)前景的高考志愿填報應用。通過分析過去4000萬大學生使用獨家數(shù)據(jù)庫及創(chuàng)新算法，幫助考生更科學更高效地選擇合適的大學和專業(yè)。

haoHR是一款全智能匹配更多合適簡歷，釋放HR簡歷甄選工作的產品。利用語義分析解讀職位需求智能人才畫像，幫助HR在短時間找到更多與職位描述相似經驗的人才。從而簡化HR簡歷尋找和甄選工作，讓HR把時間花在更有價值的工作上。

羅盤是一款根據(jù)用戶工作經歷自動匹配機會并進行職業(yè)規(guī)劃的產品。通過人工智能語義分析技術深度解讀求職者過往經歷，全面、精準、快速地幫助求職者找到更多更好的工作機會。利用大數(shù)據(jù)分析上億人職業(yè)歷程及市場趨勢，及時、省心地幫助求職者做出職業(yè)方向決策判斷

以上就是這三款產品，其實，這幾款產品雖然在產品形態(tài)上很不一樣，但是它們的內核都是職場人才數(shù)據(jù)的分析與挖掘，在2013年，我們就確定了利用人才大數(shù)據(jù)，構建首張中國經濟圖譜。并在2014年初步完后，之后我們才不斷研發(fā)相關的產品，例如以上的例子。

請以一個具體例子舉例，數(shù)據(jù)挖掘做到何種程度，才能真正產生價值？————這些數(shù)據(jù)如何經過采集、聚合、構架，到機器學習、自然語言處理、復雜數(shù)據(jù)分析、預測模型、大規(guī)模運算、可視化、數(shù)據(jù)應用等步驟成為最終用戶覺得有價值的數(shù)據(jù)。

我具體說說完美志愿，它是2015年最多人使用的高考志愿填報工具，能量身定制志愿方案、提前了解全國2500多所大學10萬多個院系的詳細就業(yè)信息，被諸多用戶稱為高考志愿神器。完美志愿由人工智能公司iPIN的科學家團隊傾力打造，采用志愿填報黃金法則，采取“錄取概率預測-個人偏好篩選-性格職業(yè)匹配-就業(yè)前景分析-志愿策略選擇”五個步驟，這五個方面是我們根據(jù)用戶調研情況進行分析后得到的用戶真正的需求，實現(xiàn)這些，完美志愿這個產品才能幫助高考學生和家長更科學更合理地選擇志愿，真正做到為夢想導航。

是一套方法論通用還是有一些獨家心得？

首先，自己要熟悉或有類似經驗，要有相關的數(shù)據(jù)、有市場、競爭程度適中（教育市場和市場競爭都要有很大的代價），要學會順勢而為，因為在實際創(chuàng)業(yè)的過程中有偶然因素、要會變通。

學生提問：怎么想出來某個算法的。我常常看論文會發(fā)現(xiàn)一些很巧妙的算法，除了考慮算法的應用場景之外，更想知道一個算法怎么誕生的？

其實這是個可能很長的過程，我們常說站在巨人的肩膀上邁出一小步。首先，我們要爬上巨人的肩膀，爬得上去，邁一小步才有意義。所以我們要了解某個（或某些）領域過往的工作，領域內的主要的、有影響力的研究人員有哪些。頂級的會議、期刊有哪些，現(xiàn)在互聯(lián)網這么發(fā)達，了解這些應該不是太難。這里頭過去的大量的書籍、文獻需要我們去閱讀、吸收、消化的。

這個過程中涉及到選方向、發(fā)現(xiàn)研究點（或問題），這可以在大量的論文閱讀中訓練這方面的能力，你不但要學習到文獻中的優(yōu)點的部分，同時自己要習慣質疑，論文中有哪些假設不合適，哪些算法有改進空間

另外，在這個過程中也應該結合實際的應用提出你具體的研究問題，發(fā)現(xiàn)問題后（等于是爬上巨人的肩膀，準備邁出一小步了）。通常我們認為提出解決算法并驗證算法有效性的這個過程相對而言是比較容易的，當然，這里頭涉及到很多細節(jié)，就不展開了，有興趣的話，可以參考Eamonn Keogh 2012年在KDD上的關于如何做數(shù)據(jù)挖掘研究的tutorial。

學生提問：數(shù)據(jù)挖掘目前不是一個定義清晰的學科，如果選了這個方向，應該必修什么課程？選修什么課程？

必修：（前置課程有程序設計、數(shù)據(jù)結構與算法、組成原理、計算機網絡等）數(shù)據(jù)庫、概率與統(tǒng)計、機器學習與模式識別。

選修：GPU/并行計算、數(shù)據(jù)倉庫、數(shù)據(jù)可視化、深度學習、商業(yè)智能（BI）、群體智能（CI），一些面向不同應用領域的課程，例如：信息檢索、NLP、語音、圖像方面。

來源：AI科技評論

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關內容都會注明來源與作者；轉載我們原創(chuàng)內容時，也請務必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責。