面試干貨！讓你在HR面前“偽裝”成數(shù)據(jù)科學家（上篇）

面試 HR 數(shù)據(jù)科學家大數(shù)據(jù)

數(shù)盟 | 2016-03-03 14:33

【數(shù)據(jù)猿導讀】最近KDnuggets上發(fā)的“20個問題來分辨真假數(shù)據(jù)科學家”這篇文章非常熱門，獲得了一月的閱讀量排行首位。但是這些問題并沒有提供答案，今天小編就將答案給各位奉上~讓你辨別真假科學家

Q1.解釋什么是正則化，以及它為什么有用。

回答者：Matthew Mayo

正則化是添加一個調(diào)優(yōu)參數(shù)的過程模型來引導平滑以防止過擬合。(參加KDnuggets文章《過擬合》)

這通常是通過添加一個常數(shù)到現(xiàn)有的權(quán)向量。這個常數(shù)通常要么是L1(Lasso)要么是L2(ridge)，但實際上可以是任何標準。該模型的測算結(jié)果的下一步應該是將正則化訓練集計算的損失函數(shù)的均值最小化。

Xavier Amatriain在這里向那些感興趣的人清楚的展示了L1和L2正則化之間的比較。

正則化

圖1: Lp球:p的值減少,相應的L-p空間的大小也會減少。

Q2.你最崇拜哪些數(shù)據(jù)科學家和創(chuàng)業(yè)公司?

回答者：Gregory Piatetsky

這個問題沒有標準答案，下面是我個人最崇拜的12名數(shù)據(jù)科學家，排名不分先后。

數(shù)據(jù)科學家

Geoff Hinton, Yann LeCun, 和 Yoshua Bengio-因他們對神經(jīng)網(wǎng)絡(luò)的堅持不懈的研究，和開啟了當前深度學習的革命。

Demis Hassabis，因他在DeepMind的杰出表現(xiàn)——在Atari游戲中實現(xiàn)了人或超人的表現(xiàn)和最近Go的表現(xiàn)。

來自datakind的Jake Porway和芝加哥大學DSSG的Rayid Ghani因他們讓數(shù)據(jù)科學對社會產(chǎn)生貢獻。

DJ Patil，美國第一首席數(shù)據(jù)科學家，利用數(shù)據(jù)科學使美國政府工作效率更高。

Kirk D. Borne，因其在大眾傳媒中的影響力和領(lǐng)導力。

Claudia Perlich，因其在廣告生態(tài)系統(tǒng)的貢獻，和作為kdd-2014的領(lǐng)頭人。

Hilary Mason在Bitly杰出的工作，和作為一個大數(shù)據(jù)的明星激發(fā)他人。

Usama Fayyad，展示了其領(lǐng)導力，為KDD和數(shù)據(jù)科學設(shè)立了高目標，這幫助我和成千上萬的人不斷激勵自己做到最好。

Hadley Wickham，因他在數(shù)據(jù)科學和數(shù)據(jù)可視化方面的出色的成果，包括dplyr，ggplot2，和RStudio。

數(shù)據(jù)科學領(lǐng)域里有太多優(yōu)秀的創(chuàng)業(yè)公司，但我不會在這里列出它們，以避免利益沖突。

Q3.如何驗證一個用多元回歸生成的對定量結(jié)果變量的預測模型。

回答者：Matthew Mayo

模型驗證方法：

如果模型預測的值遠遠超出響應變量范圍，這將立即顯示較差的估計或模型不準確。

如果值看似是合理的，檢查參數(shù);下列情況表示較差估計或多重共線性：預期相反的跡象，不尋常的或大或小的值，或添加新數(shù)據(jù)時觀察到不一致。

利用該模型預測新的數(shù)據(jù)，并使用計算的系數(shù)(平方)作為模型的有效性措施。

使用數(shù)據(jù)拆分，以形成一個單獨的數(shù)據(jù)集，用于估計模型參數(shù)，另一個用于驗證預測。

如果數(shù)據(jù)集包含一個實例的較小數(shù)字，用對折重新采樣，測量效度與R平方和均方誤差(MSE)。

Q4.解釋準確率和召回率。它們和ROC曲線有什么關(guān)系?

回答者：Gregory Piatetsky

這是kdnuggets常見問題的答案：精度和召回

計算精度和召回其實相當容易。想象一下10000例中有100例負數(shù)。你想預測哪一個是積極的，你選擇200個以更好的機會來捕捉100個積極的案例。你記錄下你預測的ID，當你得到實際結(jié)果時，你總結(jié)你是對的或錯的。以下是正確或錯誤的四種可能：

TN/真負數(shù)：例負數(shù)且預測負數(shù)

TP/真正數(shù)：例正數(shù)且預測正數(shù)

FN/假負數(shù)：例負數(shù)但是預測負數(shù)

FP/假正數(shù)：例負數(shù)但是預測正數(shù)

意義何在?現(xiàn)在你要計算10000個例子中有多少進入了每一個bucket：

計算10000個例子中有多少進入了每一個bucket

現(xiàn)在，你的雇主會問你三個問題：

1.你的預測正確率有幾成?

你回答：確切值是(9760+60)除以10000=98.2%

2.你獲得正值的例子占多少比例?

你回答：召回比例為60除以100=60%

3.正值預測的百分比多少?

你回答：精確值是60除以200=30%

看一個維基上的精度和召回的優(yōu)秀范例。

維基上的精度和召回的優(yōu)秀范例

圖4.精度和召回

ROC曲線代表了靈敏度(召回)與特異性(不準確)之間的關(guān)系，常用來衡量二元分類的性能。然而，在處理高傾斜度的數(shù)據(jù)集的時候，精度-召回(PR)曲線給出一個更具代表性的表現(xiàn)。見Quora回答：ROC曲線和精度-召回曲線之間的區(qū)別是什么?。

Q5.如何證明你對一個算法的改進確實比什么都不做更好?

回答者：Anmol Rajpurohit. .

我們會在追求快速創(chuàng)新中(又名“快速成名”)經(jīng)?？吹?，違反科學方法的原則導致誤導性的創(chuàng)新，即有吸引力的觀點卻沒有經(jīng)過嚴格的驗證。一個這樣的場景是，對于一個給定的任務(wù)：提高算法，產(chǎn)生更好的結(jié)果，你可能會有幾個關(guān)于潛在的改善想法。

人們通常會產(chǎn)生的一個明顯沖動是盡快公布這些想法，并要求盡快實施它們。當被問及支持數(shù)據(jù)，往往是共享的是有限的結(jié)果，這是很有可能受到選擇偏差的影響(已知或未知)或一個誤導性的全局最小值(由于缺乏各種合適的測試數(shù)據(jù))。

數(shù)據(jù)科學家不讓自己的情緒操控自己的邏輯推理。但是確切的方法來證明你對一個算法的改進確實比什么都不做更好將取決于實際情況，有幾個共同的指導方針：

確保性能比較的測試數(shù)據(jù)沒有選擇偏差

確保測試數(shù)據(jù)足夠，以成為各種真實性的數(shù)據(jù)的代表(有助于避免過擬合)

確保“受控實驗”的原則，即在比較運行的原始算法和新算法的表現(xiàn)的時候，性能、測試環(huán)境(硬件等)方面必須是完全相同的。

確保結(jié)果是可重復的，當接近類似的結(jié)果出現(xiàn)的時候

檢查結(jié)果是否反映局部極大值/極小值或全局極大值/最小值

來實現(xiàn)上述方針的一種常見的方式是通過A/B測試，這里面兩個版本的算法是，在隨機分割的兩者之間不停地運行在類似的環(huán)境中的相當長的時間和輸入數(shù)據(jù)。這種方法是特別常見的網(wǎng)絡(luò)分析方法。

Q6.什么是根本原因分析?

回答者：Gregory Piatetsky

根據(jù)維基百科,

根本原因分析(RCA)是一種用于識別錯誤或問題的根源的解決方法。一個因素如果從problem-fault-sequence的循環(huán)中刪除后，阻止了最終的不良事件重復出現(xiàn)，則被認為是其根源;而一個因果因素則影響一個事件的結(jié)果，但不其是根本原因。

根本原因分析最初用于分析工業(yè)事故，但現(xiàn)在廣泛應用于其他領(lǐng)域，如醫(yī)療、項目管理、軟件測試。

這是一個來自明尼蘇達州的實用根本原因分析工具包。

本質(zhì)上，你可以找到問題的根源和原因的關(guān)系反復問“為什么”，直到找到問題的根源。這種技術(shù)通常被稱為“5個為什么”,當時涉及到的問題可能比5個更少或更多。

五個為什么

圖 5個為什么分析實例，來自《根本原因分析的藝術(shù)》

Q7.你是否熟悉價格優(yōu)化、價格彈性、庫存管理、競爭情報?舉例說明。

回答者：Gregory Piatetsky

這些問題屬于經(jīng)濟學范疇，不會經(jīng)常用于數(shù)據(jù)科學家面試，但是值得了解。

價格優(yōu)化是使用數(shù)學工具來確定客戶會如何應對不同渠道產(chǎn)品和服務(wù)的不同價格。

大數(shù)據(jù)和數(shù)據(jù)挖掘使得個性化的價格優(yōu)化成為可能?，F(xiàn)在像亞馬遜這樣的公司甚至可以進一步優(yōu)化，對不同的游客根據(jù)他們的購買歷史顯示不同的價格，盡管有強烈的爭論這否公平。

通常所說的價格彈性是指

需求的價格彈性，價格敏感性的衡量。它的計算方法是：

需求的價格彈性=需求量變動%÷價格變動%。

同樣，供應的價格彈性是一個經(jīng)濟衡量標準，顯示了產(chǎn)品或服務(wù)的變化如何響應價格變化。

庫存管理是一個企業(yè)在生產(chǎn)過程中使用的產(chǎn)品的訂購、儲存和使用的監(jiān)督和控制，它將銷售的產(chǎn)品和銷售的成品數(shù)量進行監(jiān)督和控制。

維基百科定義

競爭情報：定義、收集、分析和分發(fā)有關(guān)產(chǎn)品、客戶、競爭對手和所需環(huán)境的任何方面的情報，以支持管理人員和管理者為組織做出戰(zhàn)略決策的環(huán)境。

像Google Trends, Alexa, Compete這樣的工具可以用來確定趨勢和分析你的競爭對手的網(wǎng)站。

下面是一些有用的資源：

競爭情報的報告指標，by Avinash Kaushik

37款監(jiān)視你的競爭對手的最好的營銷工具from KISSmetrics

來自10位專家的10款最佳競爭情報工具

Q8.什么是統(tǒng)計檢定力?

回答者：Gregory Piatetsky

維基百科定義二元假設(shè)檢驗的統(tǒng)計檢定力或靈敏度為測試正確率拒絕零假設(shè)的概率(H0)在備擇假設(shè)(H1)是真的。

換句話說，統(tǒng)計檢定力是一種可能性研究，研究將檢測到的效果時效果為本。統(tǒng)計能力越高，你就越不可能犯第二類錯誤(結(jié)論是沒有效果的，然而事實上有)。

這里有一些工具來計算統(tǒng)計功率。

Q9.解釋什么是重抽樣方法和它們?yōu)槭裁从杏谩２⒄f明它們的局限。

回答者：Gregory Piatetsky

經(jīng)典的統(tǒng)計參數(shù)檢驗比較理論抽樣分布。重采樣的數(shù)據(jù)驅(qū)動的，而不是理論驅(qū)動的方法，這是基于相同的樣本內(nèi)重復采樣。

重采樣指的是這樣做的方法之一

估計樣本統(tǒng)計精度(中位數(shù)、方差、百分位數(shù))利用可用數(shù)據(jù)的子集(折疊)或隨機抽取的一組數(shù)據(jù)點置換(引導)

在進行意義測試時，在數(shù)據(jù)點上交換標簽(置換測試)，也叫做精確測試，隨機測試，或是再隨機測試)

利用隨機子集驗證模型(引導，交叉驗證)

維基百科里關(guān)于bootstrapping, jackknifing. 。

見How to Check Hypotheses with Bootstrap and Apache Spark

這里是一個很好的概述重采樣統(tǒng)計。

Q10.有太多假陽性或太多假陰性哪個相比之下更好?說明原因。

回答者：Devendra Desale

這取決于問題本身以及我們正在試圖解決的問題領(lǐng)域。

在醫(yī)學檢驗中，假陰性可能會給病人和醫(yī)生提供一個虛假的安慰，表面上看它不存在的時候，它實際上是存在的。這有時會導致不恰當?shù)幕虿怀浞值闹委煵∪撕退麄兊募膊　Ｒ虼?，人們會希望希望有很多假陽性?/p>

對于垃圾郵件過濾，當垃圾郵件過濾或垃圾郵件攔截技術(shù)錯誤地將一個合法的電子郵件信息歸類為垃圾郵件，并影響其投遞結(jié)果時，會出現(xiàn)假陽性。雖然大多數(shù)反垃圾郵件策略阻止和過濾垃圾郵件的比例很高，排除沒有意義假陽性結(jié)果是一個更艱巨的任務(wù)。所以，我們更傾向于假陰性而不是假陽性。

Q11.什么是選擇偏差，為什么它是重要的，你如何避免它?

回答者：Matthew Mayo

選擇偏差，一般而言，是由于一個非隨機群體樣本造成的問題。例如，如果一個給定的樣本的100個測試案例是一個60 / 20/ 15/ 5的4個類，實際上發(fā)生在在群體中相對相等的數(shù)字，那么一個給定的模型可能會造成錯誤的假設(shè)，概率可能取決于預測因素。避免非隨機樣本是處理選擇偏差最好的方式，但是這是不切實際的?？梢砸爰夹g(shù)，如重新采樣，和提高權(quán)重的策略，以幫助解決問題。

來源：數(shù)盟

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責。