主要結(jié)論

1. 了解如何將Apache Spark用于不同類型的大數(shù)據(jù)分析用例，例如批處理、互操作、圖表、數(shù)據(jù)流分析，以及機(jī)器學(xué)習(xí)。
2. 了解Spark Core及加載項(xiàng)庫，包括Spark SQL、Spark Streaming、GraphX、Mllib和Spark ML。
3. 了解開發(fā)者在項(xiàng)目中使用Spark時(shí)可能需要用到的開發(fā)和測(cè)試工具。
4. Spark程序性能和調(diào)優(yōu)最佳實(shí)踐。
5. 了解Spark在集群設(shè)置、管理和監(jiān)控中的使用。

Mohammed Guller撰寫的《Spark大數(shù)據(jù)分析》(Big Data Analytics with Spark)一書針對(duì)使用Apache Spark框架執(zhí)行批處理、互操作、圖表、數(shù)據(jù)流分析，以及機(jī)器學(xué)習(xí)等不同類型的大數(shù)據(jù)分析項(xiàng)目提供了實(shí)用的指南。其中介紹了Spark core及其加載項(xiàng)庫，包括Spark SQL、Spark Streaming、GraphX、Mllib，以及Spark ML。

本書讀者將了解到如何使用Apache Spark框架的內(nèi)存中(In-memory)緩存和高級(jí)執(zhí)行引擎組件進(jìn)行數(shù)據(jù)分析。

作者談到了如何使用Spark作為數(shù)據(jù)處理的統(tǒng)一平臺(tái)，執(zhí)行諸如ETL管線、商業(yè)智能、實(shí)時(shí)數(shù)據(jù)流處理、圖表分析，以及機(jī)器學(xué)習(xí)等任務(wù)。同時(shí)他還討論了其他話題，例如Spark程序的集群管理器和監(jiān)控。

本書還介紹了經(jīng)常配合Spark使用的其他技術(shù)和框架，例如分布式文件管理系統(tǒng)(HDFS)、Avro、Parquet、分布式消息(Kafka)、NoSQL數(shù)據(jù)庫(Cassandra、HBase)，以及集群管理(Mesos)。

InfoQ與Mohammed Guller討論了本書、Spark框架，以及用于Spark大數(shù)據(jù)應(yīng)用程序的開發(fā)者工具。

InfoQ：您對(duì)Apache Spark框架的定義是怎樣的?該框架對(duì)大數(shù)據(jù)分析項(xiàng)目和倡議能提供什么幫助?

Guller：Apache Spark是一個(gè)快速、簡(jiǎn)單易用、通用的大數(shù)據(jù)集處理集群式計(jì)算框架，可實(shí)現(xiàn)極大規(guī)模和極高速度。更重要的是，借助該框架可以輕松地針對(duì)大規(guī)模數(shù)據(jù)集執(zhí)行各類數(shù)據(jù)處理任務(wù)。它為批處理、即席分析、機(jī)器學(xué)習(xí)、流處理以及圖表分析提供了一套集成庫。

數(shù)據(jù)正在以指數(shù)形式增長(zhǎng)。另外目前生成的大部分?jǐn)?shù)據(jù)并非結(jié)構(gòu)化的，而是多結(jié)構(gòu)化或非結(jié)構(gòu)化的。關(guān)系型數(shù)據(jù)庫等傳統(tǒng)工具無法應(yīng)對(duì)今天數(shù)據(jù)的數(shù)據(jù)量、生成速度和種類。因此需要Spark這樣的框架。它使得用戶能輕松處理不同數(shù)量、速度和種類的大數(shù)據(jù)。另外要注意的是，組織需要通過不同方式處理或分析數(shù)據(jù)以從中獲得價(jià)值。Spark為不同類型數(shù)據(jù)的處理和分析任務(wù)提供了統(tǒng)一平臺(tái)。與專門承擔(dān)批處理或流處理任務(wù)的專用框架不同，使用Spark時(shí)無需復(fù)制代碼或數(shù)據(jù)。

InfoQ：開發(fā)者在項(xiàng)目中使用Spark后需要用到哪些開發(fā)和測(cè)試工具，您能否介紹一下?

Guller：一般來說，開發(fā)者可以針對(duì)Spark所能支持的編程語言使用任何可用的工具。目前Spark可支持Scala、Java、Python和R。

以 Scala為例。Spark自帶一個(gè)名為Spark-Shell的交互式開發(fā)環(huán)境，這個(gè)環(huán)境就是基于Scala REPL(Read Evaluate Print Loop)工具實(shí)現(xiàn)的。用戶可以借助它快速簡(jiǎn)單地上手Spark。此外開發(fā)者還可以使用標(biāo)準(zhǔn)的Scala IDE，例如Eclipse和IntelliJ IDEA。如果不想使用IDE，還可以用慣用的文本編輯器編寫代碼并使用SBT(Simple Build Tool)編譯。

Guller：學(xué)習(xí)Spark的最好方式是大量做實(shí)驗(yàn)，并使用Spark API編寫代碼。編寫執(zhí)行代碼后，相關(guān)概念也會(huì)變得更清楚。學(xué)習(xí)任何新的語言或工具都是如此。

雖然Spark是大數(shù)據(jù)處理框架，但學(xué)習(xí)Spark的過程中并不需要具備大規(guī)模集群或大型數(shù)據(jù)集。你可以在自己的筆記本上使用小規(guī)模數(shù)據(jù)集運(yùn)行Spark，借此熟悉Spark提供的API和各種庫。我的書中專門有一章向初學(xué)者介紹如何輕松上手Spark。

InfoQ：Spark目前支持的編程語言有Scala、Java、Python和R，您覺得這些語言相比而言有什么優(yōu)劣?如果開發(fā)者新手需要選擇一種語言，您有什么推薦?

Guller：Spark 本身是使用Scala編寫的。因此以前Scala是Spark的“一等公民”，對(duì)其他語言的支持都略有滯后。然而目前發(fā)布的每個(gè)Spark新版本中，這樣的差距變得越來越小。同理，以前使用Scala編寫的Spark應(yīng)用程序比Python應(yīng)用程序性能更優(yōu)，但Spark正在對(duì)此進(jìn)行各種優(yōu)化，速度的差異也會(huì)逐漸減小。

我個(gè)人很喜歡Scala，這種語言可以提高生產(chǎn)力，有助于寫出更簡(jiǎn)潔，質(zhì)量更高的代碼。我也正是因此重新拾回了對(duì)編程的熱愛。

話雖如此，開發(fā)者其實(shí)可以使用自己習(xí)慣的任何語言。如果你對(duì)Python比較在行就用Python。只要你熟悉的語言是Spark所能支持的，就沒必要更換或?qū)W習(xí)新的語言。

如果希望學(xué)習(xí)新語言并獲得更優(yōu)化的性能，那么我要推薦Scala。我的書中專門有一章是介紹功能編程和Scala的。

InfoQ：在本地計(jì)算機(jī)或云端設(shè)置Spark集群的最佳方式是什么?

Guller：Spark提供的spark-ec2腳本可用于在Amazon AWS設(shè)置Spark集群。這個(gè)腳本可啟動(dòng)、管理和關(guān)閉Amazon云中的Spark集群。同時(shí)該腳本可以安裝Spark和HDFS。這是一個(gè)非常靈活的腳本，支持多種輸入?yún)?shù)，還可針對(duì)具體的處理需求和預(yù)算創(chuàng)建自定義集群。

Guller：Spark Streaming庫擴(kuò)展了Spark的流處理能力，能夠?yàn)橛脩籼峁┙鯇?shí)時(shí)的流數(shù)據(jù)分析能力。它使用了一種微批(Micro-batching)體系結(jié)構(gòu)。這種技術(shù)在本質(zhì)上會(huì)將一條數(shù)據(jù)流拆分為多個(gè)微批，并可由開發(fā)者指定批區(qū)間(Batch interval)。每個(gè)微批可由一個(gè)RDD(Resilient Distributed Dataset)代表，RDD同時(shí)也是Spark最主要的數(shù)據(jù)抽象。

微批體系結(jié)構(gòu)有優(yōu)勢(shì)也有劣勢(shì)。優(yōu)勢(shì)方面，可以提供極高的吞吐量，因此Spark Streaming非常適合針對(duì)流數(shù)據(jù)執(zhí)行分析。然而如果應(yīng)用程序需要以極低延遲(毫秒級(jí)別)分別處理流中的每個(gè)事件，可能并不適合使用Spark Streaming。

InfoQ：Spark程序的性能和調(diào)優(yōu)方面有什么需要注意的?

Guller：這是個(gè)很大的話題。Spark提供了很多性能調(diào)優(yōu)機(jī)制，我會(huì)介紹一些最需要引起注意的重要事項(xiàng)。

首先，對(duì)于大部分?jǐn)?shù)據(jù)處理應(yīng)用程序，磁盤I/O都是影響應(yīng)用程序執(zhí)行速度的決定性因素。Spark可以讓用戶在內(nèi)存中創(chuàng)建數(shù)據(jù)，請(qǐng)盡量利用這一特性。將數(shù)據(jù)緩存在內(nèi)存中可以讓應(yīng)用程序提速100倍以上。當(dāng)然這也意味著最好使用具有大量?jī)?nèi)存的計(jì)算機(jī)搭建Spark集群。

其次，請(qǐng)避免需要進(jìn)行數(shù)據(jù)重排(Data shuffling)的操作?？缭骄W(wǎng)絡(luò)進(jìn)行數(shù)據(jù)重排是一種開銷很高的操作，在編寫數(shù)據(jù)處理邏輯時(shí)一定要注意這一點(diǎn)。有時(shí)候相同的邏輯也可以通過更高效的操作實(shí)現(xiàn)，例如不要使用groupByKey操作，而是可以使用reduceByKey操作。

第三，優(yōu)化數(shù)據(jù)中的分區(qū)數(shù)量。如果數(shù)據(jù)尚未分區(qū)，就無法充分利用Spark在并行數(shù)據(jù)處理方面的優(yōu)勢(shì)。例如，假設(shè)有一個(gè)100內(nèi)核的Spark集群，但如果數(shù)據(jù)只有2個(gè)分區(qū)，此時(shí)將無法充分運(yùn)用所有計(jì)算能力。

第四，通過共置的數(shù)據(jù)節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)可以獲得更好的性能。舉例來說，如果數(shù)據(jù)在HDFS中，請(qǐng)?jiān)谕粋€(gè)HDFS集群中安裝Spark。Spark會(huì)在距離數(shù)據(jù)盡可能近的位置處理這些數(shù)據(jù)。例如，它首先會(huì)嘗試在數(shù)據(jù)所在計(jì)算機(jī)上執(zhí)行任務(wù)。如果該計(jì)算機(jī)無法執(zhí)行任務(wù)，隨后會(huì)嘗試使用同一機(jī)機(jī)柜的其他計(jì)算機(jī)。如果依然不可行，最后才會(huì)選擇使用任意一臺(tái)計(jì)算機(jī)。請(qǐng)盡量將磁盤和網(wǎng)絡(luò)I/O降至最低。

這就是一些值得大家注意的，有關(guān)性能的常見注意事項(xiàng)。

InfoQ：目前Spark程序在安全保護(hù)方面有哪些措施?如何只讓獲得許可的用戶或應(yīng)用執(zhí)行這些程序?

Guller：Spark支持兩種身份驗(yàn)證方法：共享密鑰(Shared secret)和Kerberos。共享密鑰身份驗(yàn)證機(jī)制可以配合所有集群管理器使用：YARN、Mesos，以及獨(dú)立使用。此外YARN還可將Kerberos與Spark配合使用。

Spark還支持使用SSL與SASL進(jìn)行加密。SSL主要用于安全通信協(xié)議，SASL主要用于保護(hù)塊傳輸服務(wù)。

InfoQ：如何使用Spark Web Console和其他工具監(jiān)控Spark程序?通常在監(jiān)控Spark程序時(shí)您會(huì)使用哪些度量指標(biāo)?

Guller：Spark提供了完善的監(jiān)控能力。我的書中有一章專門介紹了這個(gè)話題。Spark不僅可以暴露各種度量指標(biāo)，而且針對(duì)Spark集群和其中運(yùn)行的應(yīng)用程序提供了基于Web的監(jiān)控界面。此外還能支持第三方監(jiān)控工具，例如Graphite、Ganglia以及基于JMX的監(jiān)控應(yīng)用。

我會(huì)在性能優(yōu)化和調(diào)試過程中進(jìn)行監(jiān)控。具體選擇的度量指標(biāo)取決于打算要解決的問題。例如，可以使用監(jiān)控界面檢查集群狀態(tài)以及應(yīng)用程序的資源分配情況。同理，也可以使用監(jiān)控界面查看應(yīng)用程序所提交的作業(yè)中的并行數(shù)量。另外還可以查看不同任務(wù)處理的數(shù)據(jù)量和所用時(shí)間。這些信息可以幫你找出卡滯的任務(wù)，當(dāng)然這些只是幾個(gè)簡(jiǎn)單的例子。

InfoQ：您期待在以后發(fā)布的Spark版本中見到什么新功能?

Guller：Spark開發(fā)者社區(qū)在每個(gè)新版本中都在盡全力改善Spark。因此我的期待并不重要。但我希望看到更多與機(jī)器學(xué)習(xí)有關(guān)的新功能。

另外我覺得Spark還缺少一樣?xùn)|西：針對(duì)Scala開發(fā)者提供的圖表或數(shù)據(jù)繪圖(Plotting)庫。探索式可視化是數(shù)據(jù)分析的重要一環(huán)，R開發(fā)者可以使用ggplot2，Python有matplotlib，Scala開發(fā)者要是也有類似的技術(shù)就太好了。

另外我還希望看到Spark的統(tǒng)計(jì)和機(jī)器學(xué)習(xí)庫能夠趕上R提供的類似技術(shù)。最后，我還希望能夠通過更好的支持讓用戶使用PMML和PFA等標(biāo)準(zhǔn)導(dǎo)出和導(dǎo)入機(jī)器學(xué)習(xí)模型。

InfoQ：Spark Machine Learning目前提供了多種不同算法。你是否看到有其他ML庫能夠?yàn)榻M織的機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)需求提更多價(jià)值?

Guller：你說的沒錯(cuò)，Spark的機(jī)器學(xué)習(xí)庫提供了豐富的算法，并且每個(gè)新版都增加了新的算法。

Spark 可以配合外部機(jī)器學(xué)習(xí)庫使用，因此無論Spark缺乏哪種能力，都可以通過其他庫彌補(bǔ)。例如，Stanford CoreNLP庫配合Spark使用可以執(zhí)行NLP-heavy機(jī)器學(xué)習(xí)任務(wù)，類似的SparkNet、CaffeOnSpark、 DeepLearning4J或TensorFlow也可以與Spark配合使用實(shí)現(xiàn)更深入的學(xué)習(xí)。

Guller還談到了Spark框架為用戶提供的價(jià)值。

Guller：Spark是一個(gè)很棒的大數(shù)據(jù)分析和處理框架，非常易于使用，針對(duì)不同任務(wù)提供了豐富的庫。此外它還針對(duì)非常大規(guī)模數(shù)據(jù)集的處理提供了擴(kuò)展能力和極高的速度。任何需要處理大數(shù)據(jù)或進(jìn)入大數(shù)據(jù)領(lǐng)域的用戶都有必要掌握。

他同時(shí)還提到有很多人向他詢問Hadoop和Spark之間的關(guān)系，并回答了兩個(gè)最長(zhǎng)聽到的問題。

InfoQ：Spark會(huì)取代Hadoop嗎?

Guller：簡(jiǎn)單來說，不會(huì)。今天的Hadoop代表了多個(gè)產(chǎn)品組成的生態(tài)系統(tǒng)，Spark也是這個(gè)生態(tài)系統(tǒng)的成員。就算最核心的Hadoop也包含三個(gè)組件：一個(gè)集群管理器，一個(gè)分布式計(jì)算框架，以及一個(gè)分布式文件系統(tǒng)。其中集群管理器是YARN，計(jì)算框架是MapReduce，分布式文件系統(tǒng)是HDFS。Spark是Hadoop MapReduce組件的繼任者。

很多人在使用Spark作業(yè)取代原有的MapReduce作業(yè)，或在Spark中編寫新的作業(yè)。因此可以說Spark會(huì)取代MapReduce，但無法取代Hadoop。

另外有個(gè)重要的事情需要注意，Spark可以配合Hadoop使用，但也可以在不具備Hadoop的情況下使用。例如，可以使用Mesos或獨(dú)立集群管理器替代YARN，同理也可以使用S3或其他數(shù)據(jù)源代替HDFS。因此使用Spark并非必須要同時(shí)使用Hadoop。

InfoQ：為什么有人使用Spark代替MapReduce?

Guller：相比MapReduce，Spark可以提供更多優(yōu)勢(shì)。

首先，Spark比MapReduce速度快很多。取決于具體應(yīng)用，可能會(huì)比MapReduce快100倍。Spark如此之快的一個(gè)原因在于其先進(jìn)的作業(yè)執(zhí)行引擎。Spark作業(yè)可以劃分為任意數(shù)量的階段(Stage)，而MapReduce作業(yè)只能分為兩個(gè)階段。另外Spark可以讓應(yīng)用程序?qū)?shù)據(jù)緩存在內(nèi)存中。緩存機(jī)制可極大改進(jìn)應(yīng)用程序性能。磁盤I/O會(huì)大幅影響數(shù)據(jù)處理應(yīng)用程序的執(zhí)行速度，Spark則能將磁盤I/O降至最低。

其次，Spark很易用。Spark提供了豐富的API和超過80種操作，MapReduce只能提供兩種操作：Map和Reduce。Spark API可以通過Scala、Python、Java和R四種語言使用。相比在MapReduce中編寫的作業(yè)，相同數(shù)據(jù)處理作業(yè)使用Scala/Spark編寫時(shí)代碼量可以減少5-10倍。因此Spark也能大幅提高開發(fā)者的生產(chǎn)力。

第三，Spark針對(duì)不同類型的數(shù)據(jù)處理任務(wù)提供了統(tǒng)一的工具。該產(chǎn)品內(nèi)置了用于批處理、交互式分析、機(jī)器學(xué)習(xí)、流處理，以及圖表分析的集成庫，用戶不再需要學(xué)習(xí)多種工具。也不需要將代碼和數(shù)據(jù)復(fù)制到多個(gè)位置。另外從運(yùn)營(yíng)的角度來說，一個(gè)集群的管理，無疑要比針對(duì)不同類型作業(yè)創(chuàng)建多個(gè)專用集群管理起來更簡(jiǎn)單。

關(guān)于這本圖書的作者M(jìn)ohammed Guller是Glassbeam的首席架構(gòu)師，主要負(fù)責(zé)高級(jí)分析和預(yù)測(cè)分析產(chǎn)品的開發(fā)。過去20多年來，Mohammed成功地領(lǐng)導(dǎo)了諸多創(chuàng)新式技術(shù)產(chǎn)品從概念到發(fā)布的全過程。在加入Glassbeam之前，他是TrustRecs.com的創(chuàng)始人，這是他在IBM工作五年后成立的。加入IBM之前，他曾就職于多個(gè)高科技初創(chuàng)公司，負(fù)責(zé)新產(chǎn)品的開發(fā)工作。Mohammed具備美國(guó)加州大學(xué)伯克利分校工商管理碩士學(xué)位，以及印度古吉拉特邦大學(xué)Rollwala計(jì)算機(jī)中心的計(jì)算機(jī)應(yīng)用碩士學(xué)位。

來源：InfoQ中文站