想成為數(shù)據(jù)科學(xué)家？你得是個(gè)博聞強(qiáng)識(shí)，又對(duì)新鮮事物保持好奇心的人。正因?yàn)槿绱?，?shù)據(jù)科學(xué)家會(huì)掌握幾乎所有的常見算法，并精通其中一門，這樣可以快速適應(yīng)新領(lǐng)域的問題。
 
今天我們就來聊聊，每一位數(shù)據(jù)科技家都應(yīng)該了解的10大機(jī)器學(xué)習(xí)算法。下面是關(guān)于普遍機(jī)器學(xué)習(xí)算法和快速資源的風(fēng)暴之旅，準(zhǔn)好了嗎？燒腦挑戰(zhàn)開始：

1. 主成分分析（PCA）／奇異值分解（SVD）

PCA是一種非監(jiān)督學(xué)習(xí)，用來理解由向量組成的數(shù)據(jù)集的全局特性的方法。這里分析了數(shù)據(jù)點(diǎn)的協(xié)方差模型，用來了解哪些維度（大部分）/數(shù)據(jù)點(diǎn)（有時(shí)）更重要，即在它們自身之間具有高方差，但與其他變量時(shí)協(xié)方差較低。
 
這種思考模型主要用于考量具有最高特征值的特征向量。此外，SVD本質(zhì)上也是一種計(jì)算有序成分的方法，但你不需要通過獲取數(shù)據(jù)點(diǎn)的協(xié)方差矩陣來實(shí)現(xiàn)它。

這種算法通過獲取已縮減維度的數(shù)據(jù)點(diǎn)，有助于解決多維度產(chǎn)生的沖擊。

Libraries:https://docs.scipy.org/doc/scipy/reference/generated/scipy.linalg.svd.html

http://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html

Introductory Tutorial:https://arxiv.org/pdf/1404.1100.pdf

 2.1 最小二乘法和多項(xiàng)式擬合

還記得你在大學(xué)里學(xué)的數(shù)值分析編碼嗎？通過擬合直線和曲線得到一個(gè)方程?，F(xiàn)在，你可以使用它們來適配機(jī)器學(xué)習(xí)中的曲線，用于非常小的低維數(shù)據(jù)集。對(duì)于大數(shù)據(jù)或多維度的數(shù)據(jù)集，你可能會(huì)需要過度擬合，所以不用費(fèi)心。普通最小二乘法（OLS）具有封閉形式的解決方案，因此你不需要使用復(fù)雜的優(yōu)化技術(shù)。

很明顯，你可以使用這種算法擬合簡(jiǎn)單曲線/回歸。

Libraries:

https://docs.scipy.org/doc/numpy/reference/generated/numpy.linalg.lstsq.htmlhttps://docs.scipy.org/doc/numpy-1.10.0/reference/generated/numpy.polyfit.html

Introductory Tutorial:

https://lagunita.stanford.edu/c4x/HumanitiesScience/StatLearning/asset/linear_regression.pdf

2.2 約束性線性回歸

最小二乘法可能會(huì)被數(shù)據(jù)中的離群點(diǎn)、假維度和噪聲干擾。因此，我們需要用約束來減少數(shù)據(jù)集上擬合的線的方差。正確的方法是擬合一個(gè)權(quán)重可控的線性回歸模型。模型可以用L1正則（LASSO）或L2正則（Ridge Regression）或二者混合（elastic回歸）。經(jīng)過正則處理后對(duì)均方損失進(jìn)行優(yōu)化。

使用這些算法擬合具有約束性的回歸線，避免從模型中過度擬合和掩藏干擾維度。

Libraries:http://scikit-learn.org/stable/modules/linear_model.html

Introductory Tutorial(s):https://www.youtube.com/watch v=5asL5Eq2x0A

https://www.youtube.com/watch v=jbwSCwoT51M

3. K-均值聚類

這是所有人都喜歡的非監(jiān)督學(xué)習(xí)聚類算法。給定一組矢量形式的數(shù)據(jù)點(diǎn)，我們可以基于它們之間的距離生成數(shù)據(jù)點(diǎn)群。它是一種期望最大化的算法，反復(fù)地移動(dòng)群組的中心，然后聚集每個(gè)群組中心點(diǎn)。此算法所采用的輸入是生成群組的數(shù)量，并且它將嘗試匯集群組的迭代次數(shù)。

從名稱中就可以看出，你可以使用這種算法在數(shù)據(jù)集中創(chuàng)建K集群。

Library:http://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html

Introductory Tutorial(s):https://www.youtube.com/watch v=hDmNF9JG3lo

https://www.datascience.com/blog/k-means-clustering
 
4. 邏輯回歸

邏輯回歸是一種約束線性回歸，它的結(jié)果進(jìn)行了非線性變換(常用的是sigmoid函數(shù)，或者tanh也可以)，因此把輸出限制成了+/-類的輸出（在sigmoid中是1和0）。

交叉熵?fù)p失函數(shù)（Cross-Entropy Loss）用梯度下降法（Gradient Descent）優(yōu)化。對(duì)初學(xué)者來說，邏輯回歸用于分類，而不是回歸。你也可以把邏輯回歸看作一層神經(jīng)網(wǎng)絡(luò)。邏輯回歸通過使用梯度下降法或者L-BFGS算法優(yōu)化。NLP自然語言處理者們通常把它稱之為最大熵分類器。

使用LR來訓(xùn)練非常簡(jiǎn)單，卻是十分強(qiáng)有力的分類器。

Library:http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html

Introductory Tutorial(s):https://www.youtube.com/watch v=-la3q9d7AKQ

5.SVM（支持向量機(jī)）

SVM（支持向量機(jī)）是線性模型，類似線性/邏輯回歸。不同之處在于它們具有不同的基于邊際損失函數(shù)（支持向量的推導(dǎo)是我所看到過的最美的數(shù)理成果之一，和特征值的計(jì)算可以媲美）。你可以使用諸如B-FGS甚至SGD等優(yōu)化方法來優(yōu)化損失函數(shù)。

SVMs的另一個(gè)創(chuàng)新是，在特征工程中kernel使用。如果你有很好的領(lǐng)域洞察力，你可以用更好的kernel來代替舊的RBF kernel，并從中受益。
 
SVMs獨(dú)一無二的特性就是可以學(xué)習(xí)一個(gè)類別的分類器，SVMs可以用來訓(xùn)練分類器（甚至回歸函數(shù)）。

Library:http://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html

Introductory Tutorial(s):https://www.youtube.com/watch v=eHsErlPJWUU

6. 前饋神經(jīng)網(wǎng)絡(luò)

這些基本上是多層邏輯回歸分類器。許多層權(quán)重由非線性（SigMOID，TANH，Relu+SULTMax和cool new SELU）分隔。它另一個(gè)比較知名的名字是多層感知器。前饋神經(jīng)網(wǎng)絡(luò)作為自動(dòng)編碼器，可用于分類和非監(jiān)督特征學(xué)習(xí)。

前饋神經(jīng)網(wǎng)絡(luò)作為自動(dòng)編碼器，可用于訓(xùn)練分類器或提取特征。

Libraries:http://scikit-learn.org/stable/modules/generated/
sklearn.neural_network.MLPClassifier.html#sklearn.neural_network.MLPClassifier

http://scikit-learn.org/stable/modules/generated/sklearn.neural_network.MLPRegressor.html

https://github.com/keras-team/keras/blob/master/examples/reuters_mlp_relu_vs_selu.py

Introductory Tutorial(s):

http://www.deeplearningbook.org/contents/mlp.html

http://www.deeplearningbook.org/contents/autoencoders.html

http://www.deeplearningbook.org/contents/representation.html

7. 卷積神經(jīng)網(wǎng)絡(luò)(Convnets)

當(dāng)今，世界上幾乎所有基于視覺的機(jī)器學(xué)習(xí)成果，都已經(jīng)通過卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。它們可以用于圖像分類、目標(biāo)檢測(cè)甚至圖像分割。

這是Yann Lecun在上世紀(jì)80年代末90年代初的發(fā)明，其特征在于卷積層充當(dāng)分層特征提取器。你也可以在文本中使用它們（甚至是圖形）。

convnets用于最先進(jìn)的圖像和文本分類、目標(biāo)檢測(cè)、圖像分割。

Libraries:

https://developer.nvidia.com/digits

https://github.com/kuangliu/torchcv

https://github.com/chainer/chainercv

https://keras.io/applications/

Introductory Tutorial(s):http://cs231n.github.io/

https://adeshpande3.github.io/A-Beginner%27s-Guide-To-Understanding-Convolutional-Neural-Networks/

8.  遞歸神經(jīng)網(wǎng)絡(luò)（RNNs）

RNN通過在聚合狀態(tài)下，遞歸的使用同樣的權(quán)重，來對(duì)一個(gè)序列建模。前提是這個(gè)序列在0..t..T時(shí)間點(diǎn)上有輸入，并且在時(shí)間t有從RNN的t-1步輸出的隱含層。

現(xiàn)在純的RNN已經(jīng)很少使用了，取而代之的是代表序列建模最前沿的，與它對(duì)應(yīng)的LSTMs和GRUs。

RNN（如果有緊密連接和非線性，現(xiàn)在f通常是LSTMs和GRUs的）。在純的RNN中，LSTM單元取代了緊密連接層。

使用RNNs去完成序列建模的任務(wù)，如文本分類、機(jī)器翻譯、語言建模。

Library:

https://github.com/tensorflow/models (Many cool NLP research papers from Google are here)

https://github.com/wabyking/TextClassificationBenchmark

http://opennmt.net/

Introductory Tutorial(s):

http://cs224d.stanford.edu/

http://www.wildml.com/category/neural-networks/recurrent-neural-networks/

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

9. 條件隨機(jī)場(chǎng)(CRFs)

CRFS可能是概率圖形模型家族（PGMs）中最常用的模型。它們被用于像RNNs這樣的序列建模，也可以與RNNs結(jié)合使用。它是神經(jīng)機(jī)器翻譯系統(tǒng)進(jìn)入CRFs之前最先進(jìn)的技術(shù)，并且在許多序列中用小的數(shù)據(jù)集標(biāo)記任務(wù)。

目前，CRFS仍然比RNNs這樣需要大量數(shù)據(jù)量支撐的算法更有優(yōu)勢(shì)。它們也可用于其他結(jié)構(gòu)化預(yù)測(cè)任務(wù)，如圖像分割等。CRF對(duì)序列中的每一個(gè)元素（例如一個(gè)句子）進(jìn)行建模，使得其序列中某個(gè)組件的標(biāo)簽相互影響，而不是所有的標(biāo)簽彼此獨(dú)立。
 
使用CRFs標(biāo)記序列（文本、圖像、時(shí)間序列、DNA等）。

Library:https://sklearn-crfsuite.readthedocs.io/en/latest/

Introductory Tutorial(s):http://blog.echen.me/2012/01/03/introduction-to-conditional-random-fields/

10. 決策樹

假如，我得到一份關(guān)于各種水果數(shù)據(jù)的Excel表格，并需要告知哪些是蘋果時(shí)，會(huì)拋出這么幾個(gè)問題：

第一個(gè)問題：“哪些水果是紅色+圓形的？”

并用“是”和“否”來區(qū)分所有水果。

不過，所有的紅色+圓形水果可能不是蘋果，所有的蘋果都不會(huì)只是紅色+圓形的。

第二個(gè)問題：在所有的紅色+圓形水果中“哪些有紅色or黃色的特征？”

同時(shí)我也會(huì)問，在所有非紅色的圓形水果中“哪些是綠色+圓的。”

基于這些問題，我可以準(zhǔn)確地分辨出哪些是蘋果。
 
這一連串的問題就是決策樹。
 
但是，這是一個(gè)基于我們直覺的決策樹。直覺并不能在高維和復(fù)雜的數(shù)據(jù)上工作。我們必須通過查看標(biāo)記數(shù)據(jù)來自動(dòng)提出這一連串的問題。這就是基于決策樹的機(jī)器學(xué)習(xí)技術(shù)所要做的。

早期的版本如CART樹，曾經(jīng)被用于處理簡(jiǎn)單的數(shù)據(jù)，但隨著數(shù)據(jù)集越來越大，權(quán)衡方差與偏差需要用更好的算法來解決。如今正在使用的兩種常用決策樹算法是隨機(jī)森林（在屬性的隨機(jī)子集上建立不同的分類器，并將它們組合成輸出）和提升樹（它不停地訓(xùn)練上層，用于糾正下層的錯(cuò)誤）
 
決策樹可以用來對(duì)數(shù)據(jù)點(diǎn)進(jìn)行分類（甚至回歸）。

Librarieshttp://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html

http://scikit-learn.org/stable/modules/generated/sklearn.ensemble.GradientBoostingClassifier.html

http://xgboost.readthedocs.io/en/latest/

https://catboost.yandex/

Introductory Tutorial:

http://xgboost.readthedocs.io/en/latest/model.html

https://arxiv.org/abs/1511.05741

https://arxiv.org/abs/1407.7502

http://education.parrotprediction.teachable.com/p/practical-xgboost-in-python

（圖片來源于網(wǎng)絡(luò)）

TD算法（值得擁有）

如果你還想知道上述任何一種算法，是如何做到像Deepmind Go那樣擊敗世界冠軍，很遺憾它們做不到。

在這之前我們討論的所有10種算法都是模式識(shí)別，而不是策略學(xué)習(xí)。要通過學(xué)習(xí)策略解決一個(gè)多步驟的問題，比如贏得國(guó)際象棋游戲或玩雅達(dá)利游戲機(jī)，我們需要反復(fù)訓(xùn)練并從獎(jiǎng)懲制度中學(xué)習(xí)。

這部分機(jī)器學(xué)習(xí)技術(shù)我們稱之為深度強(qiáng)化學(xué)習(xí)。在這一領(lǐng)域的許多成功案例是融合了Convent或LSTM的感知能力產(chǎn)生的結(jié)果，這一些列算法稱之為時(shí)間差異學(xué)習(xí)。

這里面包括Q-Learning, SARSA和一些其它變型。這些算法在Bellman’s equations貝爾曼方程中非常智能，它可以通過從環(huán)境中獲得的獎(jiǎng)勵(lì)訓(xùn)練，從而獲取損失函數(shù)。

這些算法大多用于自動(dòng)玩游戲，以及其他與語言生成和目標(biāo)檢測(cè)有關(guān)的應(yīng)用。

10大機(jī)器學(xué)習(xí)算法，你看懂了幾個(gè)呢？
 
相關(guān)資料

Top 20 Deep Learning Papers, 2018 Edition

Hierarchical Classification – a useful approach for predicting thousands of possible categories

The 10 Deep Learning Methods AI Practitioners Need to Apply

編譯：沈宇琪，原作者 |  Muktabh Mayank, ParallelDots.

原文鏈接 | https://www.kdnuggets.com/2018/04/10-machine-learning-algorithms-data-scientist.html

來源：友盟全域數(shù)據(jù)