洞察大數(shù)據(jù)：你該掌握這18種功能實(shí)用的大數(shù)據(jù)工具

洞察大數(shù)據(jù) 實(shí)用工具

燈塔大數(shù)據(jù) | 2017-06-27 15:31

【數(shù)據(jù)猿導(dǎo)讀】 Apache hadoop是目前最成熟的大數(shù)據(jù)分析工具，但是市場(chǎng)上也不乏其他優(yōu)秀的大數(shù)據(jù)工具。目前市場(chǎng)上有數(shù)千種工具能夠幫你節(jié)約時(shí)間和成本，帶你從全新的角度洞察你所在的行業(yè)。

洞察大數(shù)據(jù)：你該掌握這18種功能實(shí)用的大數(shù)據(jù)工具

在當(dāng)今的數(shù)字革命浪潮中，大數(shù)據(jù)成為公司企業(yè)分析客戶行為和提供個(gè)性化定制服務(wù)的有力工具，大數(shù)據(jù)切切實(shí)實(shí)地幫助這些公司進(jìn)行交叉銷(xiāo)售，提高客戶體驗(yàn)，并帶來(lái)更多的利潤(rùn)。

隨著大數(shù)據(jù)市場(chǎng)的穩(wěn)步發(fā)展，越來(lái)越多的公司開(kāi)始部署大數(shù)據(jù)驅(qū)動(dòng)戰(zhàn)略。

Apache hadoop是目前最成熟的大數(shù)據(jù)分析工具，但是市場(chǎng)上也不乏其他優(yōu)秀的大數(shù)據(jù)工具。目前市場(chǎng)上有數(shù)千種工具能夠幫你節(jié)約時(shí)間和成本，帶你從全新的角度洞察你所在的行業(yè)。

以下介紹18種功能實(shí)用的大數(shù)據(jù)工具：

Avro：由Doug Cutting公司研發(fā)，可用于編碼Hadoop文件模式的數(shù)據(jù)序列化。

Cassandra：一種分布式的開(kāi)源數(shù)據(jù)庫(kù)。可用于處理商品服務(wù)器在提供高可用性服務(wù)時(shí)產(chǎn)生的大量分布式數(shù)據(jù)。這是一種非關(guān)系型數(shù)據(jù)庫(kù)(NoSQL)解決方案，最初由Facebook主導(dǎo)研發(fā)。

目前很多公司組織都在使用這一數(shù)據(jù)庫(kù)，如Netflix，Cisco，Twitter。

Drill：一種開(kāi)源分布式系統(tǒng)，用于大規(guī)模數(shù)據(jù)集的交互分析。Drill與谷歌的Dremel系統(tǒng)類(lèi)似，由Apache公司管理運(yùn)行。

Elasticsearch：Apache Lucene開(kāi)發(fā)的開(kāi)源搜索引擎。Elasticsearch是基于Java的系統(tǒng)，可以實(shí)現(xiàn)高速搜索，支持你的數(shù)據(jù)搜索工作。

Flume：使用網(wǎng)絡(luò)服務(wù)器、應(yīng)用服務(wù)器和移動(dòng)服務(wù)器的數(shù)據(jù)來(lái)填充Hadoop的大數(shù)據(jù)應(yīng)用框架，是數(shù)據(jù)源和Hadoop之間的一種連接紐帶。

HCatalog：是針對(duì)Apache Hadoop的集中元數(shù)據(jù)管理和分享服務(wù)?？梢酝ㄟ^(guò)它集中查看Hadoop集群中的所有數(shù)據(jù)，并可以在不知道數(shù)據(jù)在集群中存儲(chǔ)位置的情況下，通過(guò)Pig和 Hive等多種工具處理所有數(shù)據(jù)元素。

Impala: 使用與Apache Hive相同的元數(shù)據(jù)，SQL語(yǔ)法(Hive SQL)，ODBC驅(qū)動(dòng)程序和用戶界面(HueBeeswax)，直接幫助您對(duì)存儲(chǔ)在HDFS或HBase中的Apache Hadoop數(shù)據(jù)進(jìn)行快速的交互式SQL查詢(xún)。

它為批量導(dǎo)向或?qū)崟r(shí)查詢(xún)提供了一個(gè)方便操作的統(tǒng)一平臺(tái)。

JSON：今天的許多非關(guān)系型數(shù)據(jù)庫(kù)(NoSQL)都以JSON(JavaScript對(duì)象符號(hào))格式存儲(chǔ)數(shù)據(jù)，這些格式在Web開(kāi)發(fā)人員中很受歡迎。

Kafka：這是種分布式“發(fā)布——訂閱”的消息傳送系統(tǒng)，它能夠提供一種解決方案，幫助處理所有數(shù)據(jù)流活動(dòng)，并在消費(fèi)者網(wǎng)站上處理這些數(shù)據(jù)。

這種類(lèi)型的數(shù)據(jù)(包括頁(yè)面查看數(shù)據(jù)，搜索數(shù)據(jù)和其他用戶操作數(shù)據(jù))是當(dāng)前社交網(wǎng)絡(luò)的關(guān)鍵組成部分。

MongoDB：是一個(gè)在開(kāi)源概念指導(dǎo)下開(kāi)發(fā)出來(lái)的面向文檔的非關(guān)系型數(shù)據(jù)庫(kù)(NoSQL)。它具有完整的索引支持，同時(shí)可以靈活地對(duì)任何屬性進(jìn)行索引，并在不影響功能的情況下進(jìn)行橫向擴(kuò)容。

Neo4j：是一個(gè)圖形數(shù)據(jù)庫(kù)，與關(guān)系數(shù)據(jù)庫(kù)相比，性能提升高達(dá)1000多倍或更高。

Oozie：一種工作流程處理系統(tǒng)，可以讓用戶自定義不同語(yǔ)言編寫(xiě)的一系列工作，如Map Reduce，Pig 和 Hive。它還可以實(shí)現(xiàn)不同工作項(xiàng)目之間的智能連接，Oozie還支持用戶指定依賴(lài)關(guān)系。

Pig：是由雅虎開(kāi)發(fā)的基于Hadoop的一種語(yǔ)言，對(duì)于用戶來(lái)說(shuō)，學(xué)習(xí)起來(lái)相對(duì)簡(jiǎn)單，且Pig擅長(zhǎng)處理非常深入且非常長(zhǎng)的數(shù)據(jù)管道(data pipeline)。

Storm：是一種免費(fèi)的進(jìn)行實(shí)時(shí)分布式計(jì)算的開(kāi)源系統(tǒng)。通過(guò)Storm，用戶可以非常輕松的在能夠進(jìn)行實(shí)時(shí)處理操作的范圍內(nèi)，對(duì)非結(jié)構(gòu)化數(shù)據(jù)流進(jìn)行可靠處理。

系統(tǒng)具有容錯(cuò)特性，支持幾乎所有編程語(yǔ)言，當(dāng)然最常用的語(yǔ)言還是Java。Storm最初是Apache家族的一個(gè)分支，現(xiàn)在已被Twitter收購(gòu)。

Tableau：是一種主要關(guān)注商業(yè)智能的數(shù)據(jù)可視化工具。用戶無(wú)需編程，就可以利用Tableau創(chuàng)建地圖，條形圖，散點(diǎn)圖等可視化圖像。

他們最近發(fā)布了一個(gè)Web連接器，允許用戶直接連接數(shù)據(jù)庫(kù)或應(yīng)用程序界面(API)，從而使用戶能夠在進(jìn)行可視化項(xiàng)目時(shí)獲取實(shí)時(shí)數(shù)據(jù)。

ZooKeeper：為大型分布式系統(tǒng)提供集中配置和開(kāi)放代碼名稱(chēng)注冊(cè)的服務(wù)。

每天大數(shù)據(jù)技術(shù)領(lǐng)域都會(huì)涌現(xiàn)出大量新的大數(shù)據(jù)相關(guān)工具，要想學(xué)會(huì)使用每個(gè)工具是非常困難且沒(méi)有意義的。挑選幾個(gè)你能夠熟練使用的工具，并不斷學(xué)習(xí)技術(shù)知識(shí)，才是最好的方式。

來(lái)源：燈塔大數(shù)據(jù)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來(lái)源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來(lái)源：數(shù)據(jù)猿”與作者名稱(chēng)，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。