大數(shù)據(jù)辭典：吃瓜群眾也該知道的75個大數(shù)據(jù)術(shù)語！

大數(shù)據(jù) 辭典吃瓜群眾

安在信息安全新媒體 | 2017-08-10 15:05

【數(shù)據(jù)猿導(dǎo)讀】就知道你的反應(yīng)會是這樣!每天說800遍的詞偏偏在被問什么意思的時候懵逼，你這個吃瓜群眾大大的不合格哦!畢竟，想要裝逼，肚子里還是要有點真材實料的。今天小編就要為你介紹75個大數(shù)據(jù)裝逼必備詞匯的含義，讓它們成為你聊天裝逼的利器吧!

大數(shù)據(jù)辭典：吃瓜群眾也該知道的75個大數(shù)據(jù)術(shù)語！

開始文章前，小編不禁想賣弄地問問各位：算法、分析、描述性分析、預(yù)測性分析、規(guī)范性分析、批處理、云計算、集群計算、暗數(shù)據(jù)……這些大數(shù)據(jù)專業(yè)詞匯你知道是什么意思嗎

大數(shù)據(jù)_辭典_吃瓜群眾-1

就知道你的反應(yīng)會是這樣!每天說800遍的詞偏偏在被問什么意思的時候懵逼，你這個吃瓜群眾大大的不合格哦!畢竟，想要裝逼，肚子里還是要有點真材實料的。今天小編就要為你介紹75個大數(shù)據(jù)裝逼必備詞匯的含義，讓它們成為你聊天裝逼的利器吧!

1. 算法(Algorithm)

算法是指解題方案的準(zhǔn)確而完整的描述，是一系列解決問題的清晰指令，算法代表著用系統(tǒng)的方法描述解決問題的策略機制。也就是說，能夠?qū)σ欢ㄒ?guī)范的輸入，在有限時間內(nèi)獲得所要求的輸出。如果一個算法有缺陷，或不適合于某個問題，執(zhí)行這個算法將不會解決這個問題。

2. 分析(Analytics)

舉個常見的例子，你的信用卡公司每年會將記錄著你全年資金轉(zhuǎn)賬情況的年終報表發(fā)給你。如果你想具體看看自己在食品、衣物、娛樂等方面消費情況的百分比是怎樣這個過程就叫“分析”，你正嘗試從原始數(shù)據(jù)中挖掘有用的信息，來幫助自己決定來年的支出。

那么，如果你以類似的方法對朋友、網(wǎng)絡(luò)或者自己的公司發(fā)的推文以及 facebook 帖子進行同樣的操作，我們就將其稱之為“大數(shù)據(jù)分析”了。所謂大數(shù)據(jù)分析，就是對大量數(shù)據(jù)進行推理并得出結(jié)論的過程。它有三種不同類型的分析方法，下面我們就對其分別進行梳理。

3. 描述性分析(Descriptive Analytics)

如果你告訴我，去年你自己的信用卡消費情況為：食品消費 25%、衣物消費 35%、娛樂消費 20%、剩下 20% 為雜項開支，這種分析方法就稱之為“描述性分析”。

4. 預(yù)測性分析(Predictive Analytics)

如果你分析了過去 5 年的信用卡消費記錄，并在其中發(fā)現(xiàn)一定的一致性、關(guān)聯(lián)性，那么在這種情況下，你就可以較有把握地預(yù)測出——來年的消費情況應(yīng)該和過去幾年是類似的。值得注意的是，我們并非在“預(yù)測未來”，而是在“預(yù)測事情發(fā)生的概率和可能性”。

在大數(shù)據(jù)預(yù)測分析中，數(shù)據(jù)科學(xué)家可能會使用機器學(xué)習(xí)、數(shù)據(jù)挖掘以及高級統(tǒng)計過程等先進技術(shù)來預(yù)測天氣情況、經(jīng)濟變化等。

5. 規(guī)范性分析(Prescriptive Analytics)

這里我們還是用信用卡的例子來解釋。你可能會很想知道自己的哪類消費(例如食品、娛樂、衣物等)會對整體消費產(chǎn)生巨大影響，而“規(guī)范性分析”就是通過引入“動態(tài)指標(biāo)(action)”(如減少食品或衣物或娛樂)以及對由此產(chǎn)生的結(jié)果進行分析，從而規(guī)定一個可以降低你總開銷的最佳消費項。

如果將其延伸到大數(shù)據(jù)領(lǐng)域，你可以想象一個管理人員是如何通過研究他面前多種“動態(tài)指標(biāo)”的影響，進而做出“數(shù)據(jù)驅(qū)動”的決策。

6. 批量處理(Batch processing)

盡管從大型計算機(mainframe)時代開始，批量處理就已經(jīng)存在了。但是在處理大量數(shù)據(jù)的大數(shù)據(jù)時代，批量處理又被重新賦予了更重要的意義。批量數(shù)據(jù)處理是一種處理大量數(shù)據(jù)(如在一段時間內(nèi)收集到的一堆交易數(shù)據(jù))的有效方法。稍后我會介紹的分布式計算(hadoop)就是一種專門處理批量數(shù)據(jù)的方法。

7. Cassandra

Cassandra是由 Apache 軟件基金會(下文有介紹)開發(fā)并運營的一款流行的開源數(shù)據(jù)管理系統(tǒng)。Apache 掌握了很多大數(shù)據(jù)處理技術(shù)，Cassandra 就是他們專門設(shè)計用來處理跨分布式服務(wù)器中大量數(shù)據(jù)的系統(tǒng)。

8. 云計算(Cloud computing)

雖然云計算這一詞現(xiàn)在已經(jīng)家喻戶曉，在此大可不必重述，但為了全篇內(nèi)容的完整性，小編還是將其歸納在內(nèi)。本質(zhì)上來說，軟件及數(shù)據(jù)在遠(yuǎn)程服務(wù)器上進行托管和運行，且這些資源可以從互聯(lián)網(wǎng)的任何地方進行訪問，那么它就可被稱為“云計算”。

9. 集群計算(Cluster computing)

集群計算指的是計算機集群將一組松散集成的計算機軟件或硬件連接起來高度緊密地協(xié)作完成計算工作。在某種意義上，他們可以被看作是一臺計算機。

集群系統(tǒng)中的單個計算機通常稱為節(jié)點，通常通過局域網(wǎng)連接，但也有其它的可能連接方式。集群計算機通常用來改進單個計算機的計算速度和/或可靠性。一般情況下集群計算機比單個計算機，比如工作站或超級計算機性價比要高得多。

10. 暗數(shù)據(jù)(Dark data)

這是一個生造詞，在小編看來，它是用來嚇唬那些高級管理人員的。簡而言之，暗數(shù)據(jù)就是一個企業(yè)收集、處理和存儲起來的，最后并沒有投入任何特定用途的信息。這些數(shù)據(jù)可以是社交網(wǎng)絡(luò)中的信息、電話中心的記錄、會議記錄等。很多估計認(rèn)為所有公司的數(shù)據(jù)中有 60% - 90% 可能是“暗數(shù)據(jù)”，但實際上沒人知道。

11. 數(shù)據(jù)湖(Data lake)

Data lake這個術(shù)語由Pentaho公司的創(chuàng)始人兼首席技術(shù)官James Dixon發(fā)明的，維基百科對其的解釋為：數(shù)據(jù)湖是一種在系統(tǒng)或存儲庫中以自然格式存儲數(shù)據(jù)的方法，它有助于以各種模式和結(jié)構(gòu)形式配置數(shù)據(jù)，通常是對象塊或文件。數(shù)據(jù)湖的主要思想是對企業(yè)中的所有數(shù)據(jù)進行統(tǒng)一存儲，從原始數(shù)據(jù)(這意味著源系統(tǒng)數(shù)據(jù)的精確副本)轉(zhuǎn)換為用于報告、可視化、分析和機器學(xué)習(xí)等各種任務(wù)的轉(zhuǎn)換數(shù)據(jù)。

12. 數(shù)據(jù)挖掘(Data mining)

Data mining，又譯為資料探勘、數(shù)據(jù)采礦。它是數(shù)據(jù)庫知識發(fā)現(xiàn)(Knowledge-Discovery in Databases，簡稱KDD)中的一個步驟。數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程。數(shù)據(jù)挖掘通常與計算機科學(xué)有關(guān)，并通過統(tǒng)計、在線分析處理、情報檢索、機器學(xué)習(xí)、專家系統(tǒng)(依靠過去的經(jīng)驗法則)和模式識別等諸多方法來實現(xiàn)上述目標(biāo)。

13. 數(shù)據(jù)科學(xué)家(Data Scientist)

數(shù)據(jù)科學(xué)家是時下非常熱門的一個職位。它指那些通過提取原始數(shù)據(jù)(就是我們前面提到的數(shù)據(jù)湖)進而理解、處理并得出自己的見解的人。數(shù)據(jù)科學(xué)家需要具備超人般的技能：分析能力、統(tǒng)計學(xué)、計算機科學(xué)、創(chuàng)造力、故事敘述以及理解商業(yè)背景的能力。難怪這幫家伙的工資這么高。

14. 分布式文件系統(tǒng)(Distributed File System，簡稱DFS)

由于大數(shù)據(jù)量太大，不能存儲在單個系統(tǒng)中，分布式文件系統(tǒng)就是一個能把大量數(shù)據(jù)存儲在多個存儲設(shè)備上的文件系統(tǒng)，它能夠幫助降低存儲大量數(shù)據(jù)的成本和復(fù)雜性。

15. ETL

ETL是Extract-Transform-Load 的縮寫，用來描述將數(shù)據(jù)從來源端經(jīng)過抽取(extract)、轉(zhuǎn)換(transform)、加載(load)至目的端的過程。ETL一詞較常用在數(shù)據(jù)倉庫，但其對象并不限于數(shù)據(jù)倉庫。

ETL是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗(下文有釋義)，最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。

16. Hadoop

當(dāng)想到大數(shù)據(jù)時，人們會立即想到 Hadoop。Hadoop (logo 是一頭可愛的大象)是一個開源軟件架構(gòu)，由 Hadoop 分布式文件系統(tǒng)(HDFS)構(gòu)成，并允許使用分布式硬件對大數(shù)據(jù)進行存儲、檢索和分析。

如果你真的想讓某人對這個東西印象深刻，你可以跟他說 YARN(Yet Another Resource Scheduler)，顧名思義，就是一種資源調(diào)度程序。不得不說，取名字的人太有才了。推出 Hadoop 的 Apache 軟件基金會，還推出過 Pig、Hive 以及 Spark(這都是一些軟件的名字)。沒有被這些名字驚艷到

17. 內(nèi)存計算(In-memory computing)

“內(nèi)存計算”的概念由Intel提出，它是指將傳統(tǒng)上位于硬盤里的資料數(shù)據(jù)(比如電商的整個產(chǎn)品數(shù)據(jù)庫)全部轉(zhuǎn)移到內(nèi)存中，直接在里邊進行運算分析(in-memory analytics)。此項技術(shù)是對傳統(tǒng)數(shù)據(jù)處理方式的一種加速，是實現(xiàn)商務(wù)智能中海量數(shù)據(jù)分析和實施數(shù)據(jù)分析的關(guān)鍵應(yīng)用技術(shù)。

18. 物聯(lián)網(wǎng)(IoT)

最新的流行語就是物聯(lián)網(wǎng)(IoT)。IoT 是通過互聯(lián)網(wǎng)將嵌入式對象(如傳感器、可穿戴設(shè)備、汽車、冰箱等)中的計算設(shè)備進行互聯(lián)，它們能夠發(fā)送和接收數(shù)據(jù)。物聯(lián)網(wǎng)生成了海量的數(shù)據(jù)，提供了大量大數(shù)據(jù)分析的機會。

19. 機器學(xué)習(xí)(Machine Learning)

機器學(xué)習(xí)(Machine Learning)是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。

它是人工智能(下文有釋義)的核心，是使計算機具有智能的根本途徑，其應(yīng)用遍及人工智能的各個領(lǐng)域，它主要使用歸納、綜合而不是演繹。

20. MapReduce

MapReduce 可能有點難以理解，我試著解釋一下吧。MapReduce 是一種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運算。最好的理解就是要注意到 Map 和 Reduce 是兩個獨立的、不同的過程。

在 MapReduce 中，程序模型首先將大數(shù)據(jù)集分割成一些小塊(這些小塊拿技術(shù)術(shù)語來講叫做“元組”，但是我描述的時候會盡量避免晦澀的技術(shù)術(shù)語)，然后這些小塊會被分發(fā)給不同位置上的不同計算機(也就是說之前描述過的“集群計算”)，這基本上就是 Map 部分。然后，模型會收集每個計算結(jié)果，并將它們“reduce”成一個部分。MapReduce 的數(shù)據(jù)處理模型和 Hadoop 分布式文件系統(tǒng)緊密相關(guān)。

21. 非關(guān)系型數(shù)據(jù)庫(NoSQL)

字面看起來，這個詞好像是“SQL”(結(jié)構(gòu)化查詢語言)的反義詞，SQL 是傳統(tǒng)關(guān)系型數(shù)據(jù)管理系統(tǒng)(RDBMS)的主要內(nèi)容。但 NOSQL 實際上指的是“不止 SQL”(Not ONLY SQL)。

NoSQL 實際上指的是那些用于處理沒有結(jié)構(gòu)(或?qū)I(yè)稱為 “schema”)的大量數(shù)據(jù)的數(shù)據(jù)庫管理系統(tǒng)。NoSQL 數(shù)據(jù)庫通常適合大型數(shù)據(jù)系統(tǒng)，因為它們具備大型非結(jié)構(gòu)化數(shù)據(jù)庫所需的靈活性和分布式的優(yōu)先體系結(jié)構(gòu)。

22. R 語言

看到“R”，你能想到這是一個編程語言嗎然而它就是這樣一種語言。可以這么說，R 語言是一個在統(tǒng)計工作中工作得很出色的語言。如果你不知道 R 語言，你就稱不上是數(shù)據(jù)科學(xué)家，因為R是數(shù)據(jù)科學(xué)中最受歡迎的語言之一。

23. Spark(Apache Spark)

Apache Spark 是一種快速的內(nèi)存數(shù)據(jù)處理引擎，它能夠高效地執(zhí)行那些需要迭代訪問數(shù)據(jù)集的流處理、機器學(xué)習(xí)以及 SQL 工作負(fù)載。Spark 通常會比我們前面討論過的 MapReduce 快很多。

24. 流處理(Stream processing)

望文生義，流處理(Stream Processing)就是指源源不斷的數(shù)據(jù)流過系統(tǒng)時，系統(tǒng)可以不停地連續(xù)計算。與流分析技術(shù)(指的是能夠持續(xù)地計算數(shù)值和統(tǒng)計分析的能力)結(jié)合起來，流處理解決方案旨在針對大規(guī)模數(shù)據(jù)的實時處理。

25. 結(jié)構(gòu)化 vs 非結(jié)構(gòu)化數(shù)據(jù)(Structured v Unstructured Data)

這是大數(shù)據(jù)中的對比之一。結(jié)構(gòu)化數(shù)據(jù)，即行數(shù)據(jù)，存儲在數(shù)據(jù)庫里，可以用二維表結(jié)構(gòu)來邏輯表達實現(xiàn)的數(shù)據(jù);而那些不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù)，包括所有格式的辦公文檔、文本、圖片、標(biāo)準(zhǔn)通用標(biāo)記語言下的子集XML、HTML、各類報表、圖像和音頻/視頻信息等。

26. Apache軟件基金會(ASF)

Apache軟件基金會(Apache Software Foundation，簡稱ASF)，是專門為支持開源軟件項目而辦的一個非盈利性組織。它提供了很多大數(shù)據(jù)的開源項目，目前有 350 多個。

值得一提的是，在它所支持的Apache項目與子項目中，所發(fā)行的軟件產(chǎn)品都遵循Apache許可證(Apache License)。

27. Apache Kafka

Apache Kafka是由Apache軟件基金會開發(fā)的一個開源消息系統(tǒng)項目，命名于捷克作家Kafka，由Scala寫成。Kafka最初是由LinkedIn開發(fā)，并于2011年初開源。該項目的目標(biāo)是為處理實時數(shù)據(jù)提供一個統(tǒng)一、高通量、低等待的平臺。

28. Apache Mahout

Apache Mahout 是ASF開發(fā)的一個開源項目，其主要目標(biāo)是創(chuàng)建一些可伸縮的機器學(xué)習(xí)算法，供開發(fā)人員在 Apache 在許可下免費使用。Mahout 包含許多實現(xiàn)，包括集群、分類、CP 和進化程序。此外，通過使用 Apache Hadoop 庫，Mahout 可以有效地擴展到云中。

29. Apache Oozie

在任何編程環(huán)境中，你都需要一些工作流系統(tǒng)通過預(yù)定義的方式和定義的依賴關(guān)系來安排和運行工作。Oozie 為 pig、MapReduce 以及 Hive 等語言編寫的大數(shù)據(jù)工作所提供正是這個。

30. Apache Drill、Apache Impala、 Apache Spark SQL

這三個開源項目都提供快速和交互式的 SQL，如與 Apache Hadoop 數(shù)據(jù)的交互。如果你已經(jīng)知道 SQL 并處理以大數(shù)據(jù)格式存儲的數(shù)據(jù)(即 HBase 或 HDFS)，這些功能將非常有用。

31. Apache Hive

知道 SQL 嗎如果知道那你就很好上手 Hive 了。Hive 有助于使用 SQL 讀取、寫入和管理駐留在分布式存儲中的大型數(shù)據(jù)集。

32. Apache Pig

Apache Pig 是apache平臺下的一個免費開源項目，Pig為大型數(shù)據(jù)集的處理提供了更高層次的抽象，很多時候數(shù)據(jù)的處理需要多個MapReduce過程才能實現(xiàn)，使得數(shù)據(jù)處理過程與該模式匹配可能很困難，有了Pig就能夠使用更豐富的數(shù)據(jù)結(jié)構(gòu)。

它所使用的腳本語言叫做 Pig Latin，它是一個相對簡單的語言，一條語句就是一個操作，與數(shù)據(jù)庫的表類似，可以在關(guān)系數(shù)據(jù)庫中找到它(其中，元組代表行，并且每個元組都由字段組成)。

33. Apache Sqoop

sqoop是Apache頂級項目，主要用來在Hadoop和關(guān)系數(shù)據(jù)庫中傳遞數(shù)據(jù)。通過sqoop，我們可以方便的將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫導(dǎo)入到HDFS，或者將數(shù)據(jù)從HDFS導(dǎo)出到關(guān)系數(shù)據(jù)庫。

【Sqoop架構(gòu)】

34. Apache Storm

一個免費開源的實時分布式計算系統(tǒng)。它使得使用 Hadoop 進行批處理的同時可以更容易地處理非結(jié)構(gòu)化數(shù)據(jù)。

35. 人工智能(Artificial Intelligence ，簡稱AI)

為什么 AI 出現(xiàn)在這里你可能會問，這不是一個單獨的領(lǐng)域嗎所有這些技術(shù)發(fā)展趨勢緊密相連，所以我們最好靜下心來繼續(xù)學(xué)習(xí)!人工智能(Artificial Intelligence)是研究、開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。

人工智能是計算機科學(xué)的一個分支，它企圖了解智能的實質(zhì)，并生產(chǎn)出一種新的能以人類智能相似的方式做出反應(yīng)的智能機器，該領(lǐng)域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統(tǒng)等。

36. 行為分析(Behavioral Analytics)

你是否曾想過谷歌是如何為你需要的產(chǎn)品/服務(wù)提供廣告的行為分析側(cè)重于根據(jù)用戶的行為如“怎么做(how)”，“為什么這么做(why)”，以及“做了什么(what)”來得出結(jié)論，而不是僅僅針對人物和時間的一門分析學(xué)科，它著眼于數(shù)據(jù)中的人性化模式。

這就涉及了解我們的上網(wǎng)模式、社交媒體互動行為，以及我們的網(wǎng)上購物活動(購物車等)，連接這些無關(guān)的數(shù)據(jù)點，然后嘗試預(yù)測結(jié)果。舉一個例子，在我找到一家酒店并清空購物車后，我收到了度假村假期線路的電話。還需要我解釋更多嗎

37. B字節(jié)(Brontobytes)

約等于1000 YB(Yottabytes)，這是未來數(shù)字世界存儲單位的大小。1 B字節(jié)包含了27個0!想知道什么是Terabyte、Yottabytes、Zettabytes以及它們的大小關(guān)系在文中找答案吧!

38. 商業(yè)智能(Business Intelligence，簡稱BI)

這里依然引用 Gartner 對 BI 的定義，因為它解釋的很好。商業(yè)智能是一個總稱，包括應(yīng)用程序、基礎(chǔ)設(shè)施、工具以及最佳實踐，它可以訪問和分析信息，從而改善和優(yōu)化決策及績效。

39. 生物測定學(xué)(Biometrics)

原指用數(shù)理統(tǒng)計方法對生物進行分析，現(xiàn)在多指對生物體(一般特指人)本身的生物特征來區(qū)分生物體個體的計算機技術(shù)。研究領(lǐng)域主要包括語音、臉、指紋、手掌紋、虹膜、視網(wǎng)膜、體形、個人習(xí)慣(例如敲擊鍵盤的力度和頻率、簽字)等，相應(yīng)的識別技術(shù)就有說話人識別、人臉識別、指紋識別、掌紋識別、虹膜識別、視網(wǎng)膜識別、體形識別、鍵盤敲擊識別、簽字識別等。

40. 點擊流分析(Clickstream analytics)

對于一個網(wǎng)站來說，點擊流分析(clickstream analysis，有時也叫做點擊流分析學(xué)-clickstream analytics)是收集、分析和匯報有關(guān)訪客訪問哪個頁面、訪問頁面的順序以及每個訪客鼠標(biāo)連續(xù)點擊的結(jié)果(即點擊流)的整體數(shù)據(jù)的過程。

所以，現(xiàn)在你知道為什么某些百度廣告始終陰魂不散了吧因為百度大佬知道你在點擊什么。

41. 聚類分析(Cluster Analysis)

聚類分析(Cluster Analysis)是對于靜態(tài)數(shù)據(jù)分析的一門技術(shù)，在許多領(lǐng)域受到廣泛應(yīng)用，包括機器學(xué)習(xí)、數(shù)據(jù)挖掘、模式識別、圖像分析以及生物信息等。聚類是把相似的對象通過靜態(tài)分類的方法分成不同的組別，或者更多的子集(subset)，這樣讓在同一個子集中的成員對象都有相似的一些屬性，常見的包括在坐標(biāo)系中更加短的空間距離等。

43. 對比分析(Comparative Analytics)

顧名思義，對比分析是使用諸如模式分析、過濾和決策樹分析等統(tǒng)計技術(shù)來比較多個進程、數(shù)據(jù)集或其他對象。比較分析可用于醫(yī)療保健領(lǐng)域，通過比較大量的醫(yī)療記錄、文件、圖像等，給出更有效和更準(zhǔn)確的醫(yī)療診斷。

44. 相關(guān)性分析(Correlation analysis)

相關(guān)性分析是研究現(xiàn)象之間是否存在某種依存關(guān)系，并對具體有依存關(guān)系的現(xiàn)象探討其相關(guān)方向以及相關(guān)程度，是研究隨機變量之間的相關(guān)關(guān)系的一種統(tǒng)計方法。相關(guān)性分析可以幫助發(fā)現(xiàn)人們、產(chǎn)品、網(wǎng)絡(luò)之中的系統(tǒng)，甚至是數(shù)據(jù)與多個網(wǎng)絡(luò)結(jié)合之間的相關(guān)連接和影響。

45. 數(shù)據(jù)分析師(Data Analyst)

數(shù)據(jù)分析師是一個非常重要和受歡迎的工作，除了準(zhǔn)備報告之外，它還負(fù)責(zé)收集、編輯和分析數(shù)據(jù)。我會寫一篇更詳細(xì)的關(guān)于數(shù)據(jù)分析師的文章。

46. 數(shù)據(jù)清洗(Data Cleansing)

數(shù)據(jù)清洗從名字上也看的出，就是把“臟”的“洗掉”，指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識別的錯誤的最后一道程序，包括檢查數(shù)據(jù)一致性，處理無效值和缺失值等。借助于自動化或者人工工具和算法，數(shù)據(jù)分析師能夠更正并進一步豐富數(shù)據(jù)，以提高數(shù)據(jù)質(zhì)量。

47. 數(shù)據(jù)即服務(wù)(DaaS)

我們有軟件即服務(wù)(SaaS，下文有介紹)、平臺即服務(wù)(PaaS，下文有介紹)、現(xiàn)在我們又有了DaaS，它的意思是：數(shù)據(jù)即服務(wù)，即部署在云端的數(shù)據(jù)庫，即用即付，例如亞馬遜云服務(wù)(AWS: Amazon Web Services)。DaaS 提供商能夠幫助我們快速地得到高質(zhì)量的數(shù)據(jù)。

48. 數(shù)據(jù)虛擬化(Data virtualization)

它是數(shù)據(jù)整合的過程，以此獲得更多的數(shù)據(jù)信息，這個過程通常會引入其他技術(shù)，例如數(shù)據(jù)庫、應(yīng)用程序、文件系統(tǒng)、網(wǎng)頁技術(shù)、大數(shù)據(jù)技術(shù)等。例如，社交網(wǎng)絡(luò)利用這個方法來存儲我們的照片。

49. 臟數(shù)據(jù)(Dirty Data)

既然大數(shù)據(jù)這么吸引人，那么人們也開始給數(shù)據(jù)加上其他的形容詞來形成新的術(shù)語，例如暗數(shù)據(jù)(dark data)、臟數(shù)據(jù)(dirty data)、小數(shù)據(jù)(small data)，以及現(xiàn)在的智能數(shù)據(jù)(smart data)。“臟數(shù)據(jù)”并不是說那些廢棄或者無用的數(shù)據(jù)，而是那些不準(zhǔn)確的、重復(fù)的以及不一致的數(shù)據(jù)。顯然，你不會想著和臟數(shù)據(jù)攪在一起。所以，盡快地修正它。

50. 模糊邏輯(Fuzzy logic，簡稱FL)

有多少時候你能100%的確定一件事情很少吧。我們的大腦將數(shù)據(jù)聚合成部分的事實，這些事實進一步被抽象為某種能夠決定我們決策的閾值。模糊邏輯是一種計算方式，它使用隸屬度代替布爾代數(shù)(boolean algebra)中“0”(表示“假”)和“1”(表示“真”)的二值邏輯。

其出發(fā)點就是取消二值邏輯之間非此即彼的對立，用隸屬度表示二值間的過渡狀態(tài)，為進行不精確而有效的描述提供便利，也為將符合人類思維習(xí)慣的模糊推理、模糊決策移植到計算機中提供理論工具。

51. 游戲化(Gamification)

在一個典型的游戲中，會有分?jǐn)?shù)、與別人競爭，以及一些游戲規(guī)則等因素。大數(shù)據(jù)中的游戲化就是使用這些概念來收集、分析數(shù)據(jù)或者激勵用戶。

52. 圖數(shù)據(jù)庫(Graph Databases)

你是否曾經(jīng)驚嘆過亞馬遜在你買一件產(chǎn)品的時候告訴你的關(guān)于別人在買什么的信息對，這就是圖數(shù)據(jù)庫。

圖數(shù)據(jù)庫源起歐拉和圖理論，也可稱為面向/基于圖的數(shù)據(jù)庫。其基本含義是以“圖”這種數(shù)據(jù)結(jié)構(gòu)存儲和查詢數(shù)據(jù)，而不是存儲圖片的數(shù)據(jù)庫。它的數(shù)據(jù)模型主要是以節(jié)點和關(guān)系(邊)來體現(xiàn)，也可處理鍵值對。它的優(yōu)點是快速解決復(fù)雜的關(guān)系問題。

53. Hadoop 用戶體驗(Hadoop User Experience ，簡稱Hue)

Hue 是一個能夠讓使用 Apache Hadoop 變得更加容易的開源界面。它是一款基于 web 的應(yīng)用程序，并且具有用于分布式文件系統(tǒng)(HDFS)的文件瀏覽器、用于 MapReduce 的任務(wù)設(shè)計器、用于調(diào)度工作流的框架 Oozie以及一個 shell、 Impala、 Hive UI 和一組 Hadoop API。

54. 高性能分析應(yīng)用(HANA)

這是 SAP 公司專為大數(shù)據(jù)傳輸和分析而設(shè)計的一個軟/硬件內(nèi)存平臺。

55. HBase

HBase – Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術(shù)可在廉價PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。它使用 HDFS 作為其底層存儲，既支持利用 MapReduce 進行的批量計算，也支持利用事物交互的批量計算。

56. 負(fù)載均衡(Load balancing)

在分布式系統(tǒng)中，負(fù)載均衡(Load Balancing)是一種將任務(wù)分派到多個服務(wù)端進程的方法。例如，將一個HTTP請求派發(fā)到實際的Web服務(wù)器中執(zhí)行的過程就涉及負(fù)載均衡的實現(xiàn)。一個HTTP請求到達Web服務(wù)器，這中間涉及多個過程，也存在多種不同負(fù)載均衡的方法。

大數(shù)據(jù)_辭典_吃瓜群眾-2

【負(fù)載均衡基本原理】

57. 元數(shù)據(jù)(Metadata)

元數(shù)據(jù)(Metadata)，又稱中介數(shù)據(jù)、中繼數(shù)據(jù)，為描述數(shù)據(jù)的數(shù)據(jù)(data about data)，主要是描述數(shù)據(jù)屬性(property)的信息，用來支持如指示存儲位置、歷史數(shù)據(jù)、資源查找、文件記錄等功能。

元數(shù)據(jù)算是一種電子式目錄，為了達到編制目錄的目的，必須在描述并收藏數(shù)據(jù)的內(nèi)容或特色，進而達成協(xié)助數(shù)據(jù)檢索的目的。例如，作者、數(shù)據(jù)的創(chuàng)建日期、修改日期以及大小，這幾項是基本的文檔元數(shù)據(jù)。除了文檔文件之外，元數(shù)據(jù)還被用于圖像、視頻、電子表格和網(wǎng)頁。

58. MongoDB

MongoDB是一個基于分布式文件存儲，而不是傳統(tǒng)的基于表格的數(shù)據(jù)庫，由C++語言編寫，旨在為WEB應(yīng)用提供可擴展的高性能數(shù)據(jù)存儲解決方案。

59. Mashup

幸運的是，這個術(shù)語和我們在日常生活中使用的“mashup”一詞有著類似的含義——混搭。實質(zhì)上，mashup 是將不同的數(shù)據(jù)集合并到單個應(yīng)用程序中的方法(例如：將房地產(chǎn)數(shù)據(jù)和人口統(tǒng)計數(shù)據(jù)、或地理位置數(shù)據(jù)結(jié)合)。這確實能夠讓可視化變得很酷。

60. 多維數(shù)據(jù)庫(Multi-Dimensional Databases)

它是針對數(shù)據(jù)在線分析處理(OLAP)應(yīng)用程序和數(shù)據(jù)倉庫進行優(yōu)化的數(shù)據(jù)庫。

這里我們介紹一下數(shù)據(jù)倉庫(Data warehouse)。數(shù)據(jù)倉庫是一個與上文提到的“數(shù)據(jù)湖”類似的概念，但不同的是，它保存的是經(jīng)過清理和并且其它資源整合后的結(jié)構(gòu)化數(shù)據(jù)。

61. 多值數(shù)據(jù)庫(MultiValue Databases)

多值數(shù)據(jù)庫是一種非關(guān)系型數(shù)據(jù)庫(NoSQL)，一種特殊的多維數(shù)據(jù)庫：能處理3個維度的數(shù)據(jù)。主要針對非常長的字符串，能夠完美地處理HTML和XML中的字串。

62. 自然語言處理(Natural Language Processing)

自然語言處理是計算機科學(xué)的一個分支領(lǐng)域，它研究如何實現(xiàn)計算機與人類語言之間的交互。

63. 神經(jīng)網(wǎng)絡(luò)(Neural Network)

神經(jīng)網(wǎng)絡(luò)是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系，從而達到處理信息的目的。

64. 模式識別(Pattern Recognition)

模式識別是通過算法來識別數(shù)據(jù)中的模式，并對同一數(shù)據(jù)源中的新數(shù)據(jù)作出預(yù)測。它與機器學(xué)習(xí)和數(shù)據(jù)挖掘緊密相連，甚至被認(rèn)為是后兩者的代名詞。這種可見性可以幫助研究者發(fā)現(xiàn)一些深刻的規(guī)律或者得到一些可能被認(rèn)為很荒謬的結(jié)論。

65. 射頻識別(Radio Frequency Identification，簡稱RFID)

這種識別技術(shù)使用一種無線非接觸式射頻電磁場傳感器來傳輸數(shù)據(jù)。隨著物聯(lián)網(wǎng)的發(fā)展，RFID 標(biāo)簽?zāi)軌虮磺度氲饺魏慰赡艿臇|西里面，幫助生成很多需要被分析的數(shù)據(jù)。

66. 軟件即服務(wù)(SaaS)

軟件即服務(wù)是一種通過Internet提供軟件的模式，廠商將應(yīng)用軟件統(tǒng)一部署在自己的服務(wù)器上，客戶可以根據(jù)自己實際需求，通過互聯(lián)網(wǎng)向廠商定購所需的應(yīng)用軟件服務(wù)，按定購的服務(wù)多少和時間長短向廠商支付費用，并通過互聯(lián)網(wǎng)獲得廠商提供的服務(wù)。

67. 半結(jié)構(gòu)化數(shù)據(jù)(Semi-structured data)

所謂半結(jié)構(gòu)化數(shù)據(jù)，就是介于完全結(jié)構(gòu)化數(shù)據(jù)(如關(guān)系型數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫中的數(shù)據(jù))和完全無結(jié)構(gòu)的數(shù)據(jù)(如聲音、圖像文件等)之間的數(shù)據(jù)，XML、HTML文檔就屬于半結(jié)構(gòu)化數(shù)據(jù)。它一般是自描述的，數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容混在一起，沒有明顯的區(qū)分。

68. 情感分析(Sentiment Analysis)

情感分析，又稱傾向性分析，意見抽取(Opinion extraction)，意見挖掘(Opinion mining)，情感挖掘(Sentiment mining)，主觀分析(Subjectivity analysis)，它是對帶有情感色彩的主觀性文本進行分析、處理、歸納和推理的過程。其目標(biāo)就是要辨別或評價針對一個公司、產(chǎn)品、服務(wù)、人或者時間所持有的態(tài)度或者情感。

69. 空間分析(Spatial analysis)

空間分析是分析地理信息或拓?fù)湫畔⑦@類空間數(shù)據(jù)，從中得出分布在地理空間中的數(shù)據(jù)的模式和規(guī)律。

70. 平臺即服務(wù)(Paas)

所謂PaaS實際上是指將軟件研發(fā)的平臺作為一種服務(wù)，以SaaS的模式提交給用戶。因此，PaaS也是SaaS模式的一種應(yīng)用。但是，PaaS的出現(xiàn)可以加快SaaS的發(fā)展，尤其是加快SaaS應(yīng)用的開發(fā)速度。

71.智能數(shù)據(jù)(Smart Data)

智能數(shù)據(jù)是經(jīng)過一些算法過濾后的有用且可操作的數(shù)據(jù)。

72. T字節(jié)(Terabyte)

這是一個相對大的數(shù)字?jǐn)?shù)據(jù)單位，1TB 等于 1000GB。據(jù)估計，10TB 能夠容納美國國會圖書館的所有印刷品，而 1TB 則能夠容納整個百科全書。

73. 可視化(Visualization)

可視化是利用計算機圖形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)換成圖形或圖像在屏幕上顯示出來，并進行交互處理的理論、方法和技術(shù)。它涉及到計算機圖形學(xué)、圖像處理、計算機視覺、計算機輔助設(shè)計等多個領(lǐng)域，成為研究數(shù)據(jù)表示、數(shù)據(jù)處理、決策分析等一系列問題的綜合技術(shù)。

74. Y字節(jié)(Yottabytes)

約等于 1000 Zettabytes，或者 250 萬億張 DVD的數(shù)據(jù)容量?，F(xiàn)在，整個數(shù)字化宇宙的數(shù)據(jù)量約為 1 Yottabyte，而且這一數(shù)字正以每 18 個月翻一番的速度增長。

75. Z字節(jié)(Zettabytes)

約等于 1000 Exabytes，或者 10 億 Terabytes。

附：存儲容量單位換算表：

1 Bit(比特) = Binary Digit;

8 Bits = 1 Byte;

1,000 Bytes = 1 Kilobyte;

1,000 Kilobytes = 1 Megabyte;

1,000 Megabytes = 1 Gigabyte;

1,000 Gigabytes = 1 Terabyte;

1,000 Terabytes = 1 Petabyte;