大數(shù)據(jù)技術應用列表Top10，還不快一鍵收藏起來！

大數(shù)據(jù) 技術應用 Top10 開源

CSDN | 2016-09-08 10:42

【數(shù)據(jù)猿導讀】在這個大數(shù)據(jù)爆炸的時代，各種新項目如雨后春筍一般，每天從世界各地不斷涌現(xiàn)出來。好消息是當下的技術都是開源可用的。下面就一起來看看這個Top10列表，應用起來吧

1.Hadoop

Hadoop是穩(wěn)定企業(yè)實力和其他一切工作的基礎。你需要利用YARN，HDFS和Hadoop中的基礎設施，存儲原始數(shù)據(jù)以及運行關鍵的大數(shù)據(jù)服務和應用程序。

2.Spark

Spark易于使用，并且支持所有重要的大數(shù)據(jù)語言(Scala，Python，Java，R)。同時，Spark還是一個巨大的生態(tài)系統(tǒng)，發(fā)展迅速，便于支持microbatching/batching/SQL。這是另一個不費腦筋的技術。

3.NiFi

NiFi是NSA工具，它可以用最少的編碼和一個光滑的UI，提供簡單的數(shù)據(jù)攝取、存儲和處理各種來源數(shù)據(jù)。這些數(shù)據(jù)的來源包括社交媒體，JMS，NoSQL，SQL，Rest/JSONFeeds，AMQP，SQS，F(xiàn)TP，F(xiàn)lume，ElasticSearch，S3，MongoDB，Splunk，Email，HBase，Hive，HDFS，AzureEventHub，Kafka等等。如果NiFi沒有你需要的來源或匯集，你可以為NiFi直接用Java代碼編寫自己的處理器。NiFi是另一個推薦選入工具箱中的Apache項目，是大數(shù)據(jù)工具中的瑞士軍刀。

4.ApacheHive2.1

ApacheHive是運行在Hadoop之上的永久SQL解決方案。在ApacheHive2.1最新版本中，性能和功能上的增強使Hive成功作為SQL大數(shù)據(jù)解決方案留在榜單。

5.Kafka

Kafka是大數(shù)據(jù)系統(tǒng)間進行異步、分布式消息傳遞的選擇，它能夠進入大多數(shù)的堆棧。從Spark到NiFi，到第三方工具，再到Java和Scala，它很好地維系了系統(tǒng)。Kafka需要在棧中應用。

6.Phoenix-HBase

由于很多公司都在應用HBase，也就導致了這個開源項目的數(shù)據(jù)規(guī)模極大。在HDFS支持下，NoSQL能夠很好地集成所有工具。所以，在HBase上額外構(gòu)建的Phoenix成為了NoSQL首選。這增強了HBase的SQL、JDBC、OLTP和運營分析能力。

7.Zeppelin

在使用Hive，Spark，SQL，Shell，Scala，Python以及許多其他的數(shù)據(jù)挖掘和機器學習工具時，Zeppelin是一款便捷、集成性較高的notebook工具。在易于使用的同時，Zeppelin能夠以很好的方式來探索和查詢數(shù)據(jù)。而且這個工具可以支持多種環(huán)境和功能，用戶只需要經(jīng)常更新圖表和映射數(shù)據(jù)即可。

8.SparklingWater

SparklingWater彌補了Spark中MachineLearning和其他工作間的空缺，提供所有可能用到的機器學習服務。

9.ApacheBeam

ApacheBeam是一個用Java編寫的統(tǒng)一框架，用于數(shù)據(jù)處理和管道開發(fā)。同時，它也可以支持Spark和Flink。其他的框架很快也會上線，用戶不必再去學習太多的框架。

10.StanfordCoreNLP

NaturalLanguageProcessing目前應用極廣且增長迅速，StanfordCoreNLP也在不斷地提高他們的框架性能。

時下有數(shù)不清的大數(shù)據(jù)項目，所以最好的辦法就是合并及測試不同項目版本，來確保他們在安全和管理上都能夠順暢運行。

來源：CSDN

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責。