筆者5月15日參加了“中國云計(jì)算技術(shù)大會(huì)”中的“中國Spark技術(shù)峰會(huì)”，一天12場(chǎng)干貨滿滿的演講聽下來，有兩點(diǎn)深刻的感受：

Spark生態(tài)圈正在越來越深刻和廣泛地影響和改造大數(shù)據(jù)應(yīng)用行業(yè)。

Spark本身也正以飛快的速度發(fā)展，在功能和性能方面穩(wěn)步發(fā)展。

下面就筆者比較感興趣的兩個(gè)領(lǐng)域，Spark應(yīng)用實(shí)例和Spark自身發(fā)展，和大家分享一下自己的見聞。

Spark應(yīng)用實(shí)例

騰訊廣點(diǎn)通

來自騰訊廣點(diǎn)通的同學(xué)介紹了Spark Streaming在廣點(diǎn)通上的應(yīng)用。該分享重點(diǎn)介紹了Spark Streaming的幾個(gè)特性及其針對(duì)性的應(yīng)用，包括excatly-once保證、可靠狀態(tài)和快速batch調(diào)度三個(gè)特性。

其中exactly-once特性對(duì)于廣告計(jì)費(fèi)和反作弊這種對(duì)一致性要求很高的場(chǎng)景非常的合適，可以讓使用者專心于業(yè)務(wù)，而不用操心數(shù)據(jù)是否一致。而由于可靠狀態(tài)特性的存在，使得我們可以將一個(gè)業(yè)務(wù)放心地根據(jù)需要分批次(batch)做處理，而不用擔(dān)心批次之間的聚合一致性問題，該特性將廣點(diǎn)通原本實(shí)現(xiàn)復(fù)雜的微額記賬功能大大簡化了。最后介紹了一個(gè)利用Spark Streaming進(jìn)程常駐特點(diǎn)來進(jìn)行快速調(diào)度的特性，巧妙地繞過了MapReduce一級(jí)調(diào)度時(shí)無法規(guī)避的overhead和最小時(shí)間間隔限制，將調(diào)度間隔從10分鐘減少到了秒級(jí)別，提高了調(diào)度的靈活性。

此外廣點(diǎn)通的演講還介紹了一些實(shí)戰(zhàn)得來的Spark優(yōu)化經(jīng)驗(yàn)，包括內(nèi)存限流，無編譯增加特性，盡量使用SparkSQL替代RDD，以及遠(yuǎn)程調(diào)試等等。

新浪微博

來自新浪微博的同學(xué)介紹了Spark在微博feed排序中的應(yīng)用，該演講介紹了在當(dāng)下火熱的feed排序場(chǎng)景中如何使用Spark來提升效率，解決問題。微博Feed排序是一個(gè)典型的推薦+機(jī)器學(xué)習(xí)應(yīng)用，其主要流程可簡單分為以下幾部分：

候選物料生成和召回

排序模型訓(xùn)練

訓(xùn)練樣本、特征實(shí)時(shí)抽取收集。

模型訓(xùn)練。

排序模型預(yù)測(cè)

預(yù)測(cè)樣本、特征實(shí)時(shí)抽取。

模型預(yù)測(cè)。

具體可見下圖：

可以看出，在整個(gè)流程中，很多地方都可以使用Spark來進(jìn)行處理，其中Spark MLLib中的各種算法可以用來做召回和模型訓(xùn)練，Spark Streaming可以用來做實(shí)時(shí)的特征處理和物料生成?？梢哉fSpark和這樣一個(gè)應(yīng)用框架是非常的契合，如果算上家族里的Hadoop和HDFS，幾乎可以滲透到流程中的每一個(gè)環(huán)節(jié)。而這一切并非偶然，參考該次大會(huì)上的其他分享演講，我們有理由相信，這種緊貼大數(shù)據(jù)+機(jī)器學(xué)習(xí)應(yīng)用的特性風(fēng)格，是Spark一個(gè)刻意努力的發(fā)展方向。

此外該演講還介紹了Spark Streaming與Storm這兩個(gè)實(shí)施大數(shù)據(jù)分析平臺(tái)的差異：

從這些對(duì)比中，可以大致得出如下結(jié)論：Storm適用于延遲要求高而計(jì)算邏輯簡單的應(yīng)用，例如之前春節(jié)時(shí)大家見到的春運(yùn)地圖;而Spark Streaming更適用于對(duì)延遲要求沒那么高，但是計(jì)算邏輯較復(fù)雜，對(duì)一致性要求較高的應(yīng)用，典型的如廣告計(jì)費(fèi)系統(tǒng)和大規(guī)模機(jī)器學(xué)習(xí)系統(tǒng)。當(dāng)然Spark Streaming還有一個(gè)明顯的優(yōu)勢(shì)就是與Spark&Hadoop生態(tài)圈的無縫結(jié)合，使得數(shù)據(jù)依賴和復(fù)雜流程的問題可以更好地得到解決。

AdMaster

AdMaster介紹了他們對(duì)Spark、Yarn和Elasticsearch的應(yīng)用實(shí)踐。Spark應(yīng)用方面，介紹了實(shí)時(shí)數(shù)據(jù)監(jiān)控的案例，可以做到13萬個(gè)事件/秒的處理能力，但是要充分發(fā)揮Spark的計(jì)算能力，需要對(duì)Kafka等上游系統(tǒng)和Spark本身都做針對(duì)性調(diào)優(yōu)，例如將數(shù)據(jù)盡量打散，以及使用網(wǎng)卡獨(dú)占一個(gè)CPU等等。此外還介紹了使用Spark和Elasticsearch做跨屏分析的案例，使用Spark將通過多種數(shù)據(jù)源(微博、微信、新聞、論壇等)，多種方式(流式、實(shí)時(shí)、離線)匯總來的海量數(shù)據(jù)進(jìn)行聚合、處理、分析，之后用Spark來進(jìn)行NLP和機(jī)器學(xué)習(xí)等算法服務(wù)，用Elasticsearch來提供數(shù)據(jù)分析和報(bào)表服務(wù)。

值得注意的是，Spark/Hadoop和Elasticsearch的結(jié)合使用的模式已經(jīng)漸漸浮現(xiàn)，多個(gè)演講中都進(jìn)行了針對(duì)性的分析，典型的分工就是用Spark/Hadoop來進(jìn)行復(fù)雜計(jì)算，而用Elasticsearch來進(jìn)行分析和報(bào)表服務(wù)。

小結(jié)

通過以上幾家公司的分享不難看出，Spark已經(jīng)成為大數(shù)據(jù)處理，尤其是廣告、推薦這樣的復(fù)雜邏輯大數(shù)據(jù)處理應(yīng)用的事實(shí)標(biāo)準(zhǔn)平臺(tái)，尤其是在Spark Streaming被引入之后，Spark已經(jīng)可以滲透到大數(shù)據(jù)處理的各個(gè)環(huán)節(jié)中，連同其他生態(tài)伙伴一起逐漸重塑著大數(shù)據(jù)處理的行業(yè)標(biāo)準(zhǔn)流程。

Spark功能/性能增強(qiáng)

來自Databricks和Hortonworks的幾位技術(shù)專家分別介紹了Spark的若干更新和改進(jìn)，改進(jìn)涵蓋了Yarn，Dataset，機(jī)器學(xué)習(xí)庫以及實(shí)時(shí)計(jì)算等多個(gè)方面，代表了Spark未來版本的發(fā)展方向。

Yarn

雖然Mesos等其他調(diào)度工具都可以用來調(diào)度管理Spark，但是Yarn無疑是目前最為廣泛使用的，某種程度上也算是一種事實(shí)標(biāo)準(zhǔn)了。來自Hortonworks的工程師在本次大會(huì)上介紹了用Yarn來管理Spark的若干優(yōu)勢(shì)，包括：

基于CGroups的容器資源隔離技術(shù)，該技術(shù)可以阻止某些應(yīng)用占據(jù)過多的CPU資源，導(dǎo)致其他應(yīng)用無法正常運(yùn)行。

Yarn支持基于label的指定調(diào)度，通過label的方式將節(jié)點(diǎn)和應(yīng)用進(jìn)行匹配，可以讓某些應(yīng)用運(yùn)行在指定的節(jié)點(diǎn)上，例如可以將計(jì)算密集的作業(yè)指定到高性能機(jī)器上去運(yùn)行。

Yarn支持根據(jù)應(yīng)用的運(yùn)行情況來動(dòng)態(tài)分配資源，減少資源浪費(fèi)，例如一些長期運(yùn)行的Spark Shell可以在其不活躍的時(shí)候減少其Executor資源占用。此外Yarn還可以根據(jù)數(shù)據(jù)存放位置來盡量將計(jì)算資源分配到數(shù)據(jù)存儲(chǔ)所在的節(jié)點(diǎn)，雖然只是一種best-effort的方式，仍然可以通過減少數(shù)據(jù)移動(dòng)來加快計(jì)算速度。

通過Yarn調(diào)度的任務(wù)在ResourceManager或NodeManager重啟/失敗后都可以自動(dòng)恢復(fù)，這極大地增強(qiáng)了Spark在異構(gòu)集群環(huán)境下的健壯性。

其他特性。

Dataset

在Spark的早期版本中，RDD一直是程序操作的主要對(duì)象，所有的操作都是圍繞RDD上定義的各種函數(shù)來進(jìn)行的。這種自由度給了剛從Hadoop冗長的計(jì)算流程中解放出來的程序員們耳目一新的感覺，但是慢慢地RDD的問題也在不斷曝露出來，例如：

RDD處理的數(shù)據(jù)多為非結(jié)構(gòu)化數(shù)據(jù)，導(dǎo)致中間數(shù)據(jù)多為各種形式的tuple。

RDD上面的各種Lambda操作對(duì)Spark不可見，導(dǎo)致Spark無法優(yōu)化運(yùn)行效率。

RDD上的各種Map/Reduce操作常常不夠直觀，程序可讀性差。

針對(duì)以上種種問題，Spark正在走一條“數(shù)據(jù)結(jié)構(gòu)化”的轉(zhuǎn)變道路，經(jīng)歷著“RDD->Spark SQL->DataFrames->Dataset”的道路，在這個(gè)鏈條上，數(shù)據(jù)漸漸從非結(jié)構(gòu)化走向結(jié)構(gòu)化，從弱類型走向強(qiáng)類型，運(yùn)行效率也在隨之逐步提高，因?yàn)镾park可以通過執(zhí)行引擎對(duì)執(zhí)行計(jì)劃做細(xì)致的性能調(diào)優(yōu)，就像DBMS里面的查詢引擎一樣。雖然結(jié)構(gòu)化的數(shù)據(jù)約束在某些情況下會(huì)有不靈活的問題，但是相比較帶來的巨大的效率提升，還是建議大家盡量把數(shù)據(jù)往結(jié)構(gòu)化的方向上靠攏，已換取更高的運(yùn)行效率。數(shù)據(jù)結(jié)構(gòu)化和類型安全帶來的另一個(gè)好處，就是很多問題可以在編譯期進(jìn)行檢查，避免了程序運(yùn)行一段時(shí)間忽然崩潰的問題，這對(duì)開發(fā)效率來講無疑也是一種提升。具體差異可見下面兩張圖的對(duì)比。

可以看出，Dataset是這個(gè)進(jìn)化鏈條上最新的成果，根據(jù)Databricks工程師的說法，Dataset可以看做是“類型安全版本的DataFrame”，同時(shí)也是“結(jié)構(gòu)化的RDD”。從這兩個(gè)類比我們可以看出Spark正在通過加強(qiáng)對(duì)數(shù)據(jù)的約束來換取運(yùn)行效率和安全性的提升。

機(jī)器學(xué)習(xí)庫

大規(guī)模機(jī)器學(xué)習(xí)一直都是大數(shù)據(jù)的典型應(yīng)用，因此人們對(duì)于Spark之上的機(jī)器學(xué)習(xí)工具庫一直都抱有很高的期望和要求。本次大會(huì)上來自Hortonworks的工程師介紹了GLM(廣義線性模型)在Spark中的支持和實(shí)現(xiàn)。

我們常用的線性回歸和邏輯回歸等模型，都可以歸為GLM，從而可以使用同一套優(yōu)化方法進(jìn)行求解。除了線性回歸和邏輯回歸這兩個(gè)常用模型以外，還有很多問題都可以抽象為GLM，具體可見下表：

ModelDistributionLink

linear regressiongaussianidentity, log, inverse

logistic regressionbinomiallogit, probit, cloglog

poisson regressionpoissonlog, identity, sqrt

gamma regressiongammainverse, identity, log

可以看出，通過定義不同的error distribution和link函數(shù)，可以在GLM的框架內(nèi)構(gòu)造出各種模型，從而可以用同一套優(yōu)化方法來進(jìn)行優(yōu)化，例如梯度下降類方法、牛頓類方法等。Spark的機(jī)器學(xué)習(xí)庫中包含了L-BFGS和OWL-QN的分布式實(shí)現(xiàn)，采用的是數(shù)據(jù)和模型同時(shí)分部式的結(jié)構(gòu)，使得對(duì)海量數(shù)據(jù)模型的優(yōu)化成為可能。如下所示，通過指定family(上表中的Distribution)和link function，就可以輕松得到一個(gè)GLM模型，之后一切可以方便的訓(xùn)練和預(yù)測(cè)模型了：

# Load training datadataset = spark.read.format("libsvm").load("data/mllib/sample_linear_regression_data.txt")test = dataset glr = GeneralizedLinearRegression(family=“gaussian”,link=“identity”, maxIter=10, regParam=0.3)# Fit the modelmodel = glr.fit(dataset)# Make predictions by calling transform predictions = model.transform(test)

GLM最早的經(jīng)典實(shí)現(xiàn)來自于R，R中方便的公式表示方法以及對(duì)參數(shù)的詳細(xì)解讀信息一直是R中最受歡迎的特性?，F(xiàn)在R用戶現(xiàn)在也可以通過SparkR中的GLM接口，像在R中一樣使用公式，并且也能夠得到R中一樣的模型結(jié)果，具體如下：

df<- createDataFrame(sqlContext, iris)model<- spark.glm(df,Sepal_Width~Sepal_Length+Species)summary(model)

R的簡潔語法和Spark的強(qiáng)大計(jì)算能力相結(jié)合，給R語言帶來了第二春。

實(shí)時(shí)計(jì)算

Spark Streaming自從被引入到Spark以來，受到的重視和應(yīng)用日漸增長，但是雖然人們對(duì)其應(yīng)用場(chǎng)景的不斷拓展，Spark Streaming也暴露出了一些問題。

一個(gè)典型的問題就是事件延遲，該問題指的是需要和其他數(shù)據(jù)做匯總的某個(gè)數(shù)據(jù)點(diǎn)在相隔很長時(shí)間之后才發(fā)送過來，導(dǎo)致的數(shù)據(jù)匯總不準(zhǔn)確問題，例如我們?cè)谧w機(jī)前在使用一個(gè)APP，上了飛機(jī)之后關(guān)閉手機(jī)，下了飛機(jī)才將手機(jī)打開，這時(shí)手機(jī)上APP里的數(shù)據(jù)與上飛機(jī)之前的數(shù)據(jù)就會(huì)有一個(gè)比較大的延遲，導(dǎo)致一些計(jì)算不準(zhǔn)確。

還有一個(gè)更大的問題，就是Spark Streaming應(yīng)用往往都不是一個(gè)單獨(dú)運(yùn)行的程序，而是需要和很多數(shù)據(jù)源、計(jì)算資源進(jìn)行頻繁交互，而目前Spark Streaming對(duì)這類應(yīng)用的支持還不夠好。Databricks工程師在演講中將這種應(yīng)用叫做持續(xù)應(yīng)用(Continuous Application)，指的是持續(xù)運(yùn)行的，并且在運(yùn)行過程中需要頻繁和其他系統(tǒng)交互的應(yīng)用。

Spark對(duì)以上問題提出的解決方案是結(jié)構(gòu)化流處理(StructuredStreaming)，其核心思想是用戶不需要關(guān)心一個(gè)應(yīng)用處理的究竟是靜態(tài)數(shù)據(jù)還是動(dòng)態(tài)的流數(shù)據(jù)，其示意圖如下：

該技術(shù)通過將靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)進(jìn)行統(tǒng)一抽象，并加入時(shí)間維度，使得程序員無需關(guān)心所處理的數(shù)據(jù)究竟是靜態(tài)數(shù)據(jù)還是動(dòng)態(tài)數(shù)據(jù)，簡化了編程模型，也增強(qiáng)了復(fù)用性。用戶可以通過簡單的接口修改，使用同一套代碼處理兩種數(shù)據(jù)模式。這一思想顯然是受到了Linux命令管道式設(shè)計(jì)的啟發(fā)，Linux的很多命令，例如grep、sed、awk等，本身就可以無差異地處理靜態(tài)文件和管道文件。

小結(jié)

從這幾個(gè)演講可以看出，Spark的發(fā)展是緊跟應(yīng)用、緊跟需求的，發(fā)展的方向都是切實(shí)解決開發(fā)者實(shí)際問題的，和使用者形成了很好的反饋回路。相信這種“接地氣”的發(fā)展方式一定會(huì)為Spark帶來更多的用戶和更廣泛的應(yīng)用。

總結(jié)

經(jīng)過近年來的發(fā)展，Spark已經(jīng)從單純的取代部分Hadoop任務(wù)，發(fā)展到現(xiàn)在對(duì)大數(shù)據(jù)應(yīng)用的無孔不入，已經(jīng)成為了行業(yè)內(nèi)的事實(shí)標(biāo)準(zhǔn)，并且自身也在以很快的速度不斷發(fā)展著，未來可謂不可限量。

大會(huì)上還有一些其他精彩內(nèi)容，包括以Spark為引擎搭建的上層應(yīng)用平臺(tái)，機(jī)器學(xué)習(xí)工具庫DMLC與Spark的結(jié)合，以及Elastic技術(shù)棧與Hadoop生態(tài)的結(jié)合等等，由于時(shí)間和篇幅所限，在此不做展開，有興趣同學(xué)的可以下載Slides具體學(xué)習(xí)。

來源：CSDN