大數(shù)據(jù)并非一個(gè)確切的概念。最初，這個(gè)概念是指需要處理的信息量過大，已經(jīng)超出了一般電腦在處理數(shù)據(jù)時(shí)所能使用的內(nèi)存量，因此工程師們必須改進(jìn)處理數(shù)據(jù)的工具。這導(dǎo)致了新的處理技術(shù)的誕生，例如谷歌的MapReduce和開源Hadoop平臺(tái)（最初源于雅虎）。這些技術(shù)使得人們可以處理的數(shù)據(jù)量大大增加。更重要的是，這些數(shù)據(jù)不再需要用傳統(tǒng)的數(shù)據(jù)庫表格來整齊地排列。

嚴(yán)格來說，“大數(shù)據(jù)”到目前為止，在學(xué)術(shù)界還沒有一個(gè)統(tǒng)一的定義，大多數(shù)人比較認(rèn)同的說法是，“超過典型數(shù)據(jù)庫工具的硬件環(huán)境和軟件工具所能獲取、存儲(chǔ)、管理和分析能力者”即被視為大數(shù)據(jù)。更為簡單的說法是，“大數(shù)據(jù)”一次指的是無法以傳統(tǒng)流程或工具所處理、分析的數(shù)據(jù)。

為什么以往的數(shù)據(jù)處理方式無法處理大數(shù)據(jù)？因?yàn)樵谶@些數(shù)據(jù)中，除了少部分是結(jié)構(gòu)化（structured）數(shù)據(jù)外，其他絕大多數(shù)都屬于半結(jié)構(gòu)化（semi-structured）與（unstructured）數(shù)據(jù)。

結(jié)構(gòu)化數(shù)據(jù)，是指具有明確關(guān)連性定義的固定結(jié)構(gòu)數(shù)據(jù)，也就是經(jīng)過編碼后存放在數(shù)據(jù)庫應(yīng)用系統(tǒng)內(nèi)的數(shù)據(jù)。在以往的數(shù)據(jù)庫應(yīng)用上，“數(shù)據(jù)”必須完全以明確的預(yù)定格式被存放，通常是以表格的形式呈現(xiàn)。也就是說，數(shù)據(jù)庫中的每一筆數(shù)據(jù)都要以事先設(shè)定好的格式，并按指定的順序出現(xiàn)。以某企業(yè)的能源管理數(shù)據(jù)庫來說明，該企業(yè)能源消耗計(jì)量的表格呈現(xiàn)形式為：

能源消耗統(tǒng)計(jì)表

表格中的各項(xiàng)數(shù)據(jù)由人工錄入后存入能源管理數(shù)據(jù)庫中，供相關(guān)人員進(jìn)行能耗數(shù)據(jù)的分析和處理。

半結(jié)構(gòu)化數(shù)據(jù)，既不同于表格型數(shù)據(jù)，又不同于純文本型數(shù)據(jù)。例如XML或HTML格式的網(wǎng)頁數(shù)據(jù)、電子郵件和電子文檔等。雖然半結(jié)構(gòu)化數(shù)據(jù)具有程序編碼既定的邏輯和格式，但不容易被數(shù)據(jù)庫分類存儲(chǔ)和分析處理，尤其是內(nèi)容包含有許多不必要的格式不同的數(shù)據(jù)內(nèi)容。

非結(jié)構(gòu)化數(shù)據(jù)是指沒有固定格式、難以用統(tǒng)一的概念或邏輯處理分析的數(shù)據(jù)，這類數(shù)據(jù)主要包括文件、圖像、音頻、影像等。單以文件為例，就有純文本文檔、word文件、PDF文檔等不同格式。

目前，大數(shù)據(jù)分析技術(shù)應(yīng)用最成功的領(lǐng)域莫過于商業(yè)了，一些大型的電商公司開始利用大數(shù)據(jù)分析打造實(shí)時(shí)、個(gè)性化的服務(wù)，比如通過消費(fèi)者的網(wǎng)絡(luò)點(diǎn)擊流，來追蹤個(gè)體消費(fèi)者的行為、更新其偏好、并實(shí)時(shí)模擬后續(xù)的購買傾向。這種實(shí)時(shí)性的精準(zhǔn)營銷，不僅可預(yù)測(cè)客戶再次光顧的時(shí)間，同時(shí)以可以針對(duì)個(gè)人需求，促使客戶購買高利潤率的商品。

隨著大數(shù)據(jù)技術(shù)的在各領(lǐng)域的興起，一些學(xué)者開始探索如何在能源管理領(lǐng)域應(yīng)用大數(shù)據(jù)技術(shù)。工業(yè)作為經(jīng)濟(jì)與社會(huì)發(fā)展的基礎(chǔ)，正在受到大數(shù)據(jù)的深刻影響，尤其是在我國大力提倡節(jié)能減排的今天，工業(yè)企業(yè)如何通過有效手段降低企業(yè)的能源消耗，提高能源利用效率，是政府與企業(yè)需要共同關(guān)注的焦點(diǎn)。大數(shù)據(jù)技術(shù)為企業(yè)進(jìn)行能源優(yōu)化配置、能源效率水平提升、優(yōu)質(zhì)服務(wù)和輔助社會(huì)管理提供了堅(jiān)實(shí)數(shù)據(jù)基礎(chǔ)?？梢哉f大數(shù)據(jù)技在工業(yè)企業(yè)的應(yīng)用對(duì)節(jié)能減排、資源節(jié)約型和環(huán)境友好型社會(huì)建設(shè)意義重大。

眾所周知，大數(shù)據(jù)技術(shù)是一種數(shù)據(jù)處理手段，因此要發(fā)揮大數(shù)據(jù)的作用，必須要依托相應(yīng)完備的信息管理系統(tǒng)。尤其是將大數(shù)據(jù)技術(shù)應(yīng)用到能源管理領(lǐng)域，則需要相關(guān)方建立相適應(yīng)的能源管理系統(tǒng)（中心），以此來滿足大數(shù)據(jù)技術(shù)實(shí)施前所必須的硬軟件條件。目前，國際上對(duì)于能源管理系統(tǒng)（EMS）還未形成統(tǒng)一的定義。維基百科指出，能源管理系統(tǒng)（EMS）屬于計(jì)算機(jī)輔助系統(tǒng)范疇，用來監(jiān)測(cè)、控制以及優(yōu)化能源的轉(zhuǎn)換、使用與回收，提高能源利用效率。其中監(jiān)測(cè)與控制類似于常見的 SCADA （Supervisory Control And Data Acquisition）系統(tǒng)，即數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)，優(yōu)化功能常通過先進(jìn)技術(shù)（先進(jìn)控制、人工智能）實(shí)現(xiàn)。有時(shí)將EMS與SCADA分開表述，此時(shí) EMS 則不包括監(jiān)視與控制功能，而更多的指發(fā)電或生產(chǎn)蒸汽控制，能源計(jì)劃與調(diào)度。

美國國家可再生能源實(shí)驗(yàn)室對(duì)能量系統(tǒng)集成（Energy Systems Integration，ESI）進(jìn)行了。能量系統(tǒng)不但包括可再生能源、核能、化石能源等能源資源，還包括電、熱能、燃料等用于轉(zhuǎn)換和傳遞能量的不同能量形式，以及能源和各種能量形式之間、能量系統(tǒng)與其他系統(tǒng)（數(shù)據(jù)與信息網(wǎng)絡(luò)、水系統(tǒng)）之間的相互作用。ESI 正是在技術(shù)、經(jīng)濟(jì)、法規(guī)和社會(huì)方面對(duì)能量系統(tǒng)和相互作用進(jìn)行分析、設(shè)計(jì)和控制，最優(yōu)化能量系統(tǒng)及和能量系統(tǒng)相關(guān)的相互作用，提高能量系統(tǒng)的穩(wěn)定性與效率，減少消耗、最小化對(duì)環(huán)境的影響。ESI 更加重視各能量系統(tǒng)之間及各能量系統(tǒng)和數(shù)據(jù)、信息網(wǎng)絡(luò)、水系統(tǒng)之間的交互與集成。

加拿大自然資源部能量效率辦公室指出，能源管理信息系統(tǒng)（Energy Management Information System，EMIS）是全面能源管理（Energy Management Program，EMP）的一個(gè)重要組成部分，是緊密集成到企業(yè)系統(tǒng)之中的用于過程監(jiān)視、控制和信息管理的軟件解決方案。他為能源審計(jì)提供支持，通過監(jiān)控保證效率的實(shí)現(xiàn)與持續(xù)，對(duì)運(yùn)行效率進(jìn)行分析，為各部門提供有效報(bào)告。概括的說，EMIS 是整個(gè)過程效率管理系統(tǒng)中的能效管理部分。

我國工業(yè)和信息化部指出，能源管理系統(tǒng)是采用自動(dòng)化、信息化技術(shù)和集中管理模式，對(duì)企業(yè)能源系統(tǒng)的生產(chǎn)、輸配和消耗環(huán)節(jié)實(shí)施集中扁平化的動(dòng)態(tài)監(jiān)控和數(shù)字化管理，改進(jìn)和優(yōu)化能源平衡，實(shí)現(xiàn)系統(tǒng)性節(jié)能降耗的管控一體化系統(tǒng)。

雖然各能源管理系統(tǒng)的定義有所差異，但實(shí)質(zhì)上可將能源管理系統(tǒng)分為兩部分，一是基于SCADA（Supervisory Control And Data Acquisition）系統(tǒng)的數(shù)據(jù)采集與監(jiān)視控制部分，二是基于統(tǒng)計(jì)學(xué)、人工智能、優(yōu)化算法等實(shí)現(xiàn)的分析與優(yōu)化解決方案包。能源管理系統(tǒng)首先通過完善的數(shù)據(jù)采集網(wǎng)絡(luò)獲取過程的重要參數(shù)和相關(guān)能源數(shù)據(jù)，經(jīng)過數(shù)據(jù)處理、轉(zhuǎn)換、分析實(shí)現(xiàn)對(duì)過程能源的綜合在線監(jiān)控，然后與生產(chǎn)工藝相結(jié)合，通過能源系統(tǒng)平衡計(jì)算與能源負(fù)荷預(yù)測(cè)，提供實(shí)時(shí)動(dòng)態(tài)能源平衡信息和能源使用計(jì)劃，最后利用數(shù)據(jù)分析、人工智能、數(shù)學(xué)規(guī)劃等技術(shù)實(shí)現(xiàn)能源的決策支持與優(yōu)化調(diào)度?？傊茉垂芾硐到y(tǒng)是一個(gè)管控一體化系統(tǒng)，使用信息化與自動(dòng)化技術(shù)，實(shí)現(xiàn)能源的集中監(jiān)控與統(tǒng)一管理，最終促進(jìn)能源管理水平和能源利用效率的持續(xù)提升，圖1為某企業(yè)能源管理系統(tǒng)界面。

能源管理系統(tǒng)示意圖

能源管理系統(tǒng)在國外發(fā)展較早，特別是在日本、美國、德國等發(fā)達(dá)國家。六十年代中期，這些發(fā)達(dá)國家就已經(jīng)開始研究能源管理系統(tǒng)，日本是最早開發(fā)能源管理系統(tǒng)的國家，其八幡制鐵所開發(fā)了第一個(gè)能源管理系統(tǒng)，其它的還有歌山、鹿島鋼鐵廠以及德國的布得魯斯和蒂森鋼鐵廠能源管理系統(tǒng)等等。早期的能源管理系統(tǒng)規(guī)模不大，功能不多，主要用來進(jìn)行能源數(shù)據(jù)的采集和監(jiān)控以及用能設(shè)備的控制。七十年代，DCS（Distributed Control System）分布式控制系統(tǒng)和能源系統(tǒng)工程理論開始在能源管理系統(tǒng)得到應(yīng)用，能源管理系統(tǒng)功能逐漸強(qiáng)大，加入了能源的投入產(chǎn)出、生產(chǎn)優(yōu)化等功能。之后，在計(jì)算機(jī)、自動(dòng)控制、數(shù)據(jù)庫等技術(shù)飛速發(fā)展的推動(dòng)下，能源管理系統(tǒng)技術(shù)日趨完善，分析決策系統(tǒng)、智能預(yù)測(cè)等廣泛應(yīng)用于能源管理系統(tǒng)中，能源管理系統(tǒng)技術(shù)也成為了企業(yè)能源管理現(xiàn)代化的基本配置。近年，隨著技術(shù)的成熟，出現(xiàn)了一些專門提供能源管理方案的專業(yè)公司，例如，Abraxas Energy Consulting 公司專門提供無線 EMS 解決方案，Energy ICT 公司提供完整軟硬件解決方案，提供可選擇的無線或有線數(shù)據(jù)傳輸方式等等。

國內(nèi)的能源管理系統(tǒng)研究起步較晚，始于八十年代，起初主要應(yīng)用于鋼鐵企業(yè)。目前，我國大約 15 家鋼鐵企業(yè)已經(jīng)有自己的能源管理中心，例如寶鋼、南鋼、首鋼、濟(jì)鋼等都建設(shè)有能源管理系統(tǒng)。我國最早的能源管理系統(tǒng)出現(xiàn)在寶鋼公司，其也是一套比較成功的系統(tǒng)，它在一開始就采用能源集中管理的思想，輔助于大規(guī)模計(jì)算機(jī)控制技術(shù)，建立了一個(gè)以模擬儀表為主的能源管理系統(tǒng)。濟(jì)鋼的能源管理系統(tǒng)主要包含五大部分：接口管理、計(jì)劃實(shí)績過程管理、分析預(yù)測(cè)管理、生產(chǎn)調(diào)度運(yùn)行管理與系統(tǒng)設(shè)置，此系統(tǒng)可以自動(dòng)統(tǒng)計(jì)數(shù)據(jù)和生成各種報(bào)表等等，滿足濟(jì)鋼的能源管理需求。這些能源管理系統(tǒng)的建設(shè)，讓企業(yè)取得良好的節(jié)能效果。寶鋼的能源管理系統(tǒng)為企業(yè)每年節(jié)約8.8 萬噸標(biāo)煤，約折合人民幣 2530 萬元。濟(jì)鋼利用能源管理系統(tǒng)的優(yōu)化控制使焦?fàn)t能耗降低 1.5~3%。這些成功的應(yīng)用案例有效地促進(jìn)了能源管理系統(tǒng)在國內(nèi)的發(fā)展，并開始應(yīng)用于其它部分高能耗企業(yè)，例如重慶卷煙廠、北京網(wǎng)通公司等也逐步建設(shè)自己的能源管理系統(tǒng)。經(jīng)過 20 多年的發(fā)展，企業(yè)能源管理系統(tǒng)在國內(nèi)已初具規(guī)模，但是還是存在一個(gè)很大的限制：應(yīng)用行業(yè)不夠廣，能源管理系統(tǒng)仍舊是主要應(yīng)用在鋼鐵企業(yè)，其它的高能耗企業(yè)（如，輪胎企業(yè)、電子企業(yè)等等）應(yīng)用不多，需要開發(fā)出具有一定通用性的能源管理系統(tǒng)。

由上述國內(nèi)外一些能源管理系統(tǒng)發(fā)展現(xiàn)狀來看，雖然能源管理系統(tǒng)已經(jīng)在這些國家地區(qū)及大型工業(yè)企業(yè)中得到廣泛推廣和應(yīng)用，但是仍用一定的局限性，第一，功能比較單一，現(xiàn)有的能源管理系統(tǒng)大多僅具有實(shí)時(shí)的能源消耗計(jì)量和匯總輸出功能，并不具備前瞻性的數(shù)據(jù)處理分析和面向需求的能效診斷等智能化管理功能，沒有將監(jiān)測(cè)到的數(shù)據(jù)發(fā)揮出實(shí)際應(yīng)用價(jià)值。第二，數(shù)據(jù)來源單一，目前大多數(shù)企業(yè)的能源管理系統(tǒng)的數(shù)據(jù)采集對(duì)象為系統(tǒng)邊界內(nèi)各個(gè)用能單位能源消耗統(tǒng)計(jì)，并沒有將企業(yè)內(nèi)部現(xiàn)有的一些管理信息系統(tǒng)，如ERP、MRP系統(tǒng)等，進(jìn)行數(shù)據(jù)信息的整合利用，這對(duì)企業(yè)整體的生產(chǎn)和運(yùn)營管理帶來了一定的不便。第三，能源管理系統(tǒng)較為獨(dú)立，不具備一定的通用性，這在一定程度上阻礙了能源管理系統(tǒng)的進(jìn)一步發(fā)展。

在國外一些組織和機(jī)構(gòu)開始考慮通過引入大數(shù)據(jù)技術(shù)來拓展現(xiàn)有能源管理系統(tǒng)的功能，通過擴(kuò)大數(shù)據(jù)來源并升級(jí)現(xiàn)有能源管理系統(tǒng)的功能，使其采集和監(jiān)測(cè)得到的能源數(shù)據(jù)的價(jià)值最大化。

南加州愛迪生電力公司（Southern California Edison,SCE ）是全美最大的電力公司之一，服務(wù)范圍涵蓋加州中部、南部和沿海地區(qū)，每天供電給500萬甩戶，其中包括30多萬家企業(yè)，服務(wù)總?cè)丝诮?400萬人。2009年9月,在加州公共事業(yè)委員會(huì)授權(quán)下，SCE推出“Edison智慧連接”（SmartConnect）計(jì)劃，預(yù)計(jì)在3年內(nèi)協(xié)助500萬用戶改裝智慧電表。用電戶不僅可以運(yùn)用智慧電表調(diào)整用電模式，家中有電動(dòng)汽車用戶還可以在車庫中裝沒家用充電裝置，依據(jù)自己的使用需求向SCE訂購充電模式，如夜間充電或白天充電、以110瓦功率慢充或240瓦功率快充等。對(duì)于目標(biāo)是在2050年前將個(gè)人交通設(shè)備全面更換為零排放車輛的加州來說，此項(xiàng)計(jì)劃預(yù)計(jì)將協(xié)助用戶減少1000兆瓦（約100萬度電）左右的用電需求，相當(dāng)于一個(gè)普通發(fā)電廠的一天的發(fā)電量，而整個(gè)加州每年也將減排36.5萬噸的溫室氣體和排煙污染物，等于路上少了7.9萬輛汽車。

未來，這項(xiàng)計(jì)劃更將結(jié)合第三方開發(fā)新的消費(fèi)應(yīng)用層面，例如幫助消費(fèi)者進(jìn)行在線用電管理，或是建立GPS和電表之間的聯(lián)系，這樣用戶就可以在回家前20分鐘發(fā)送指令，預(yù)先打開家里的空調(diào)。對(duì)于電力公司來說，智慧電網(wǎng)除了可以自動(dòng)區(qū)分不同的電流，并收取不同的電費(fèi)，甚至還能進(jìn)一步自我修復(fù)故障，圖2為智慧電網(wǎng)示意圖。以往，電力設(shè)施出現(xiàn)故障時(shí)，工人通常有兩個(gè)選擇：一是毫無頭緒地搜索故障的根源所在地，二是等待使用者投訴，然后根據(jù)投訴人的位置確定大略的故障發(fā)生地。不過，無論是哪一種方法都耗時(shí)甚久，因?yàn)閭鹘y(tǒng)的一個(gè)電網(wǎng)區(qū)域就廣達(dá)方圓1.3萬平方千米，只要一道閃電伴隨著一聲雷響劃過天空，一根樹干應(yīng)聲倒地，壓倒了電線，就有可能造成數(shù)十萬用戶停電。通過智慧電網(wǎng)，以前需要好幾個(gè)小時(shí)才能排除的事故，現(xiàn)在只要10秒鐘，電網(wǎng)就會(huì)通知總部哪些電線受到了影響，并且自動(dòng)改變送電線路，恢復(fù)供電。系統(tǒng)還可以依據(jù)電路中斷的情況通知總部事故發(fā)生的地點(diǎn)，以便盡快派遣維修工人前往修復(fù)。在飽受電網(wǎng)故障困擾的地區(qū)，縮短電力系統(tǒng)停運(yùn)的時(shí)間可以節(jié)約數(shù)百萬元的成本。

為應(yīng)對(duì)電動(dòng)汽車增多而開始實(shí)施的西北太平洋智慧電網(wǎng)示范項(xiàng)目（Pacific Northwest Smart Grid Demonstration Project）也是如此。原本美國政府和企業(yè)推動(dòng)電動(dòng)汽車就是為了節(jié)能減排，但是隸屬美國能源部的邦威電力管理局（Bonneville Power Administration，BFA）卻發(fā)現(xiàn)，傍晚通常是電力負(fù)載的高峰，因?yàn)檫@個(gè)時(shí)間大家下班回家開始做飯，并打開熱水器或空調(diào)等多項(xiàng)用電設(shè)備。但人們又習(xí)慣下班后將電動(dòng)車直接停進(jìn)車庫充電；如此一來用電量就會(huì)瞬間機(jī)高，很容易使得區(qū)域電網(wǎng)負(fù)載過重，可能得蓋一座新的旬一來支應(yīng)這項(xiàng)新需求。   

由于蓋一座新電廠本身就是一次能源消耗，這樣做就完全無法達(dá)到推動(dòng)電動(dòng)汽車以節(jié)能減排的目的，于是他們開始思考，怎么樣才能在不蓋新電廠的情況下提高電網(wǎng)效率。BMA和巴特爾公可（Battelle）以及華盛頓大學(xué)合作研究發(fā)現(xiàn)，如果車主可以改在半夜的非高峰時(shí)段替電動(dòng)汽車充電，就可以消化傍晚用電高峰時(shí)70%的電量負(fù)載，而且完全不用增建電廠。但是，總不能要求車主半夜起床替電動(dòng)車充電吧.他們的解決辦法是，針對(duì)美國5個(gè)州、6萬個(gè)用戶裝設(shè)智慧電表。這種智能型電表借由感測(cè)、接收的用電量數(shù)據(jù)。幫助電力公司更有效地分配電力，不僅可以在用電高峰期提醒用戶，建議關(guān)閉某幾項(xiàng)用電量較高的空調(diào)、千衣機(jī)等家庭電器，并依此給予電費(fèi)獎(jiǎng)勵(lì)，更可以直接設(shè)定電動(dòng)汽車的充電時(shí)間，鼓勵(lì)用戶將之設(shè)定在電費(fèi)優(yōu)惠的半夜時(shí)段。如此一來，BPA就不必再隨著尖峰爆量而籌蓋新電廠，或至少可先在電網(wǎng)內(nèi)進(jìn)行適當(dāng)調(diào)度，而把新電廠的投資往后延幾年。建立一座新電廠從資本投入、營運(yùn)到維持，通常需要耗資6億到10億美元的費(fèi)用，可見省下的成本非常驚人。

智慧電網(wǎng)示意圖

來源：上海大數(shù)據(jù)聯(lián)盟