大數(shù)據(jù)時代下電力企業(yè)面臨挑戰(zhàn)。我國原有電力企業(yè)實行垂直一體化管理，2000年后我國電力企業(yè)實行更全面更深刻的改革。就目前的現(xiàn)狀來看，電力企業(yè)包括獨立的發(fā)電廠、五大發(fā)電公司、兩大獨立核算的電網(wǎng)經(jīng)營企業(yè)，以及電力建設(shè)公司等其他獨立核算單位。基于目前我國電力企業(yè)的發(fā)展現(xiàn)狀，大數(shù)據(jù)產(chǎn)生于電力企業(yè)的各個方面。在發(fā)電側(cè)，隨著數(shù)字化電廠的建成，海量的有關(guān)故障監(jiān)控、設(shè)備運行狀態(tài)等數(shù)據(jù)被各大電廠保留下來;在輸電側(cè)和配電側(cè)，在輸變電設(shè)備狀態(tài)監(jiān)測系統(tǒng)中，為了能對絕緣放電等狀態(tài)進行診斷，最大程度減少線損，需存儲和監(jiān)控的數(shù)據(jù)量十分巨大;在用電側(cè)，電力用戶的個人信息、電價信息以及智能電網(wǎng)的發(fā)展、電動汽車充放電監(jiān)測信息都會產(chǎn)生海量數(shù)據(jù)。

然而，大多數(shù)電力企業(yè)的數(shù)據(jù)庫僅僅實現(xiàn)了數(shù)據(jù)存儲、查詢、統(tǒng)計等最基本層次的功能，無法深入挖掘出隱藏在海量數(shù)據(jù)背后潛在的價值。電力大數(shù)據(jù)時代下必將會對作為我國經(jīng)濟社會中存儲電力運行信息知識、提供電力運行數(shù)據(jù)的電力企業(yè)帶來巨大的影響。因此，深刻理解大數(shù)據(jù)的內(nèi)涵，聯(lián)系目前我國電力系統(tǒng)的發(fā)展以及電力系統(tǒng)數(shù)據(jù)存儲、利用的現(xiàn)狀就顯得十分必要，這也為電力企業(yè)真正應(yīng)對大數(shù)據(jù)時代下電力企業(yè)面臨的挑戰(zhàn)提供了相關(guān)的思考。收集數(shù)據(jù)電力大數(shù)據(jù)時代，電力企業(yè)數(shù)據(jù)來源不僅僅是企業(yè)內(nèi)部的歷史年度數(shù)據(jù)，還包括來自互聯(lián)網(wǎng)和信息機構(gòu)的各種數(shù)據(jù)。收集這些信息是要附上相應(yīng)的時空標志，必要的時候要剔除無效數(shù)據(jù)，同時還應(yīng)當盡可能收集不同數(shù)據(jù)來源、結(jié)構(gòu)化程度不同的數(shù)據(jù)，并且做到盡可能和企業(yè)內(nèi)部的歷史數(shù)據(jù)相對照，以便于驗證信息的可靠性和真實性，這對于電力企業(yè)來說，將是個不小的挑戰(zhàn)。半結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)現(xiàn)代互聯(lián)網(wǎng)應(yīng)用呈現(xiàn)出非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)大幅度增長的特點。據(jù)不完全統(tǒng)計，這類數(shù)據(jù)占有比例已經(jīng)達到整個數(shù)據(jù)量的75%以上。同時，由于數(shù)據(jù)網(wǎng)絡(luò)化的存在，使得這類數(shù)據(jù)的復(fù)雜關(guān)系無處不在;另外，這類數(shù)據(jù)是以數(shù)據(jù)流的形式存在，數(shù)據(jù)價值化的體現(xiàn)與時間呈現(xiàn)明顯的相關(guān)性，價值稍縱即逝。盡管目前計算機智能化有了很大進步，但還只能針對有結(jié)構(gòu)或類結(jié)構(gòu)的數(shù)據(jù)進行分析，談不上深層次的數(shù)據(jù)挖掘。

分析數(shù)據(jù)網(wǎng)絡(luò)背后的數(shù)據(jù)關(guān)系大量觀測數(shù)據(jù)雖然可以映射出各種復(fù)雜的網(wǎng)絡(luò)系統(tǒng)，但由于這些數(shù)據(jù)往往是孤立的數(shù)據(jù)點，映射出的數(shù)據(jù)網(wǎng)絡(luò)難免片面，如何做好數(shù)據(jù)集成，使之成為一個完整的數(shù)據(jù)網(wǎng)絡(luò)，這是值得思考的問題。以發(fā)電企業(yè)為例，單單考慮發(fā)電量數(shù)據(jù)，得到的僅僅是發(fā)電廠發(fā)電量單一方面的數(shù)據(jù)。然而，發(fā)電數(shù)據(jù)是與電壓數(shù)據(jù)、線損數(shù)據(jù)、用戶用電數(shù)據(jù)等相互聯(lián)系的，如何利用模糊分析方法，考慮這些數(shù)據(jù)的參數(shù)關(guān)系，分析復(fù)雜網(wǎng)絡(luò)之間的聯(lián)系，對發(fā)電企業(yè)來說將是一個巨大的挑戰(zhàn)。

另外，由于各個發(fā)電企業(yè)、供電企業(yè)沒有統(tǒng)一對其專業(yè)化的信息系統(tǒng)進行建設(shè)，導(dǎo)致電力生產(chǎn)、銷售各專業(yè)數(shù)據(jù)彼此獨立，形成信息孤島。為破除信息孤島的數(shù)據(jù)壁壘，需要融合發(fā)電、輸電、變電、配電、用電等多方面數(shù)據(jù)，這就需要考慮如何對各環(huán)節(jié)多數(shù)據(jù)進行融合。電力大數(shù)據(jù)時代下的數(shù)據(jù)挖掘技術(shù)在電力大數(shù)據(jù)時代下，大數(shù)據(jù)已成為電力企業(yè)進行決策的基礎(chǔ)。但是，單純數(shù)據(jù)的積累并不能給電力企業(yè)帶來益處，只有運用相關(guān)的技術(shù)手段，對大量的數(shù)據(jù)進行深加工，發(fā)現(xiàn)隱含的信息并加以利用，進而指導(dǎo)電力企業(yè)做出正確的決策，這樣電力大數(shù)據(jù)的作用才能發(fā)揮到極致。研究認為數(shù)據(jù)挖掘技術(shù)的運用將會在電力企業(yè)成本降低、電力市場開拓、電力系統(tǒng)安全運行等方面發(fā)揮重大作用。

因此，理解數(shù)據(jù)挖掘技術(shù)及其在電力企業(yè)中的應(yīng)用就顯得非常必要。數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)是通過對海量數(shù)據(jù)進行建模，并通過數(shù)理模型對企業(yè)的海量數(shù)據(jù)進行整理與分析，以幫助企業(yè)了解其不同的客戶或不同的市場劃分的一種從海量數(shù)據(jù)中找出企業(yè)所需知識的技術(shù)方法。如果說云計算為海量分布的電力數(shù)據(jù)提供了存儲、訪問的平臺，那么如何在這個平臺上發(fā)掘數(shù)據(jù)的潛在價值，使其為電力用戶、電力企業(yè)提供服務(wù)，將成為云計算的發(fā)展方向，也將是大數(shù)據(jù)技術(shù)的核心議題。電力系統(tǒng)是一個復(fù)雜的系統(tǒng)，數(shù)據(jù)量龐大，特別是在電力企業(yè)進入大數(shù)據(jù)時代后，僅僅是電力設(shè)備運行和電力負荷的數(shù)據(jù)規(guī)模就已十分驚人。因此，光靠傳統(tǒng)的數(shù)據(jù)處理方法就顯得不合時宜，而數(shù)據(jù)挖掘技術(shù)的實現(xiàn)為解決這一難題提供了新的出路。數(shù)據(jù)挖掘技術(shù)在電力系統(tǒng)負荷預(yù)測和電力系統(tǒng)運行狀態(tài)監(jiān)控、電力用戶特征值提取、電價預(yù)測等方面有很好的應(yīng)用前景。有關(guān)數(shù)據(jù)挖掘技術(shù)的思考我國電力市場化運行過程中，電力市場運行模式大體經(jīng)歷了壟斷模式、發(fā)電競價模式、電力轉(zhuǎn)運模式，現(xiàn)在正在積極過渡到配電網(wǎng)開放模式。在這個過渡階段，高質(zhì)量的數(shù)據(jù)更是大數(shù)據(jù)發(fā)揮效能的前提，先進的數(shù)據(jù)挖掘技術(shù)是大數(shù)據(jù)發(fā)揮功效的必要手段。國際數(shù)據(jù)公司(InternationalDataCorporation，IDC)指出，在大數(shù)據(jù)時代下，新的數(shù)據(jù)類型與新的數(shù)據(jù)分析技術(shù)的缺失將是阻礙企業(yè)成為其行業(yè)領(lǐng)導(dǎo)者的重要因素。

該問題同樣存在于電力企業(yè)中。但是，先進的數(shù)據(jù)挖掘技術(shù)只有在高質(zhì)量的大數(shù)據(jù)環(huán)境下才能提取出隱含的、有用的信息，否則，即使數(shù)據(jù)挖掘技術(shù)再先進，在充滿噪音的大數(shù)據(jù)環(huán)境中也只能提取出毫無意義“垃圾”信息。為此，電力企業(yè)為了應(yīng)對電力大數(shù)據(jù)時代下數(shù)據(jù)質(zhì)量對數(shù)據(jù)挖掘技術(shù)帶來的挑戰(zhàn)，應(yīng)該考慮設(shè)立首席數(shù)據(jù)官(chiefdataofficer,CDO)，進行專門的數(shù)據(jù)管理工作，定義元數(shù)據(jù)標準，保證數(shù)據(jù)質(zhì)量。國內(nèi)一些企業(yè)目前只是設(shè)立了首席信息官(chiefinformationofficer，CIO)，但是由于CIO只是技術(shù)專家，很難系統(tǒng)全面地開展數(shù)據(jù)挖掘工作，這就使得這些企業(yè)漸漸失去了充分利用大數(shù)據(jù)的優(yōu)勢。因此，傳統(tǒng)的數(shù)據(jù)管理方式已經(jīng)很難滿足大數(shù)據(jù)時代下對數(shù)據(jù)質(zhì)量的要求，在電力大數(shù)據(jù)時代下，如何提高數(shù)據(jù)的質(zhì)量，電力企業(yè)任重道遠。

大數(shù)據(jù)時代下電力企業(yè)數(shù)據(jù)挖掘技術(shù)的實現(xiàn)途徑大數(shù)據(jù)時代下，由于數(shù)據(jù)信息量巨大，使得數(shù)據(jù)挖掘是知識的自發(fā)現(xiàn)過程。在無明顯目標的情況下需要從不同的數(shù)據(jù)源獲得數(shù)據(jù)，然后對數(shù)據(jù)進行預(yù)處理，并使用模糊識別等算法對數(shù)據(jù)進行挖掘分析。為此，中國人民大學網(wǎng)絡(luò)與移動管理實驗室開發(fā)出了一種采用面向領(lǐng)域的DeepWeb數(shù)據(jù)集成技術(shù)，進而實現(xiàn)對Web數(shù)據(jù)自動集成和處理。分析認為大數(shù)據(jù)時代下電力企業(yè)數(shù)據(jù)挖掘技術(shù)主要由數(shù)據(jù)收集、數(shù)據(jù)整理、數(shù)據(jù)管理、數(shù)據(jù)分析、數(shù)據(jù)展示等過程組成，整個過程如圖所示。數(shù)據(jù)來源層實現(xiàn)大數(shù)據(jù)收集工作得益于移動設(shè)備、無線射頻識別技術(shù)(radiofrequencyidentification，RFID)、互聯(lián)網(wǎng)、自動記錄系統(tǒng)等技術(shù)設(shè)備，數(shù)據(jù)來源層主要存放了電力企業(yè)內(nèi)部大量的事務(wù)型數(shù)據(jù)，以及會對電力企業(yè)決策產(chǎn)生影響的外部性數(shù)據(jù)。同時，為了使所獲得的數(shù)據(jù)更具代表性，電力企業(yè)要嘗試收集不同數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)，為數(shù)據(jù)挖掘的后續(xù)工作做好準備。

數(shù)據(jù)整理層在數(shù)據(jù)挖掘技術(shù)中的實現(xiàn)在數(shù)據(jù)整理過程中，由于數(shù)據(jù)源數(shù)據(jù)內(nèi)容往往交叉，所以需要按照互動性對觀測數(shù)據(jù)進行分類。同時，由于原始數(shù)據(jù)中有噪聲數(shù)據(jù)、冗余數(shù)據(jù)及缺失數(shù)據(jù)等問題，需要對數(shù)據(jù)進行解析、清洗、重構(gòu)，并填補缺失數(shù)據(jù)以提高待挖掘數(shù)據(jù)的質(zhì)量。經(jīng)過分類后數(shù)據(jù)被大致分為兩大類：結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)。對于結(jié)構(gòu)化數(shù)據(jù)，需要對其進行數(shù)據(jù)過濾，剔除無效數(shù)據(jù)以提高分析效率;對于半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，需要按照一定的標準處理成機器語言或索引。例如，對電力用戶評論、電力系統(tǒng)運行日志資料等數(shù)據(jù)，就需要轉(zhuǎn)換成加權(quán)邏輯或是模糊邏輯，并將不同的詞語映射到標準值上，形成企業(yè)統(tǒng)一的語言。數(shù)據(jù)管理層在數(shù)據(jù)挖掘技術(shù)中的實現(xiàn)通過數(shù)據(jù)整理層，將經(jīng)過整理和轉(zhuǎn)化的數(shù)據(jù)存儲到電力數(shù)據(jù)倉庫(datawarehouse，DW)中，由于不同的電力數(shù)據(jù)庫儲存標準不同，因此需要整合轉(zhuǎn)化后才能儲存到數(shù)據(jù)倉庫中，這里就需要對數(shù)據(jù)倉庫進行重新設(shè)計。

經(jīng)過重新設(shè)計的數(shù)據(jù)倉庫，可以根據(jù)不同的主題設(shè)計不同的屬性集，從而減少數(shù)據(jù)處理量;針對不同的主題數(shù)據(jù)庫，可以采取粗糙集的屬性歸約算法刪除數(shù)據(jù)中的冗余信息，得到精簡的數(shù)據(jù)集;然后將決策樹所表示的數(shù)據(jù)集表示為IF-THEN的分類規(guī)則知識，并儲存在規(guī)則知識庫中;如果有新數(shù)據(jù)樣本需要處理，可以按照一定的規(guī)則算法進行識別匹配，從而進行綜合評價。數(shù)據(jù)分析層在數(shù)據(jù)挖掘技術(shù)中的實現(xiàn)經(jīng)過數(shù)據(jù)管理層處理的數(shù)據(jù)，可以通過聯(lián)機分析處理技術(shù)(on-lineanalyticalprocessing，OLAP)來支撐復(fù)雜的決策分析過程，從而將數(shù)據(jù)轉(zhuǎn)化成為輔助決策的信息。鑒于電力企業(yè)對數(shù)據(jù)實時性要求很高，可以將電力企業(yè)的數(shù)據(jù)分為實時性數(shù)據(jù)和非實時性數(shù)據(jù)進行分類處理。針對非實時性數(shù)據(jù)，可以考慮基于分布式文件系統(tǒng)(distributedfilesystem，DFS)和MapReduce技術(shù)的云計算來進行處理;也可以基于Hadoop，一種DFS和MapReduce的開源實現(xiàn)的云計算平臺來進行數(shù)據(jù)處理。對于實時性數(shù)據(jù)，如電力負荷數(shù)據(jù)，一方面電力企業(yè)可以通過內(nèi)存計算技術(shù)，將全部數(shù)據(jù)通過內(nèi)存運行進行計算，這將是提高計算速度的有效辦法;另外，可以在云平臺前面設(shè)置若干前置機，用于實時接收數(shù)據(jù)。

數(shù)據(jù)展示層可視化企業(yè)目標通過電力營銷決策支持系統(tǒng)(ElectricMarketingDecisionSupportSystem，EMDSS)，運用良好的數(shù)據(jù)可視化設(shè)計，借助圖形表達數(shù)據(jù)中的復(fù)雜信息，將數(shù)據(jù)挖掘的成果可視化，并將其運用到電力企業(yè)未來的發(fā)展規(guī)劃中。將深度挖掘的數(shù)據(jù)可視化，可以使員工清楚地認識到電力企業(yè)未來的發(fā)展方向、評價決策制定的正確與否。結(jié)果是否符合實際，是決定整個系統(tǒng)挖掘技術(shù)是否成功的標準。展望基于我國的基本國情，電力企業(yè)具備非常好的從數(shù)據(jù)運營角度獲取更大程度信息、資源、知識發(fā)現(xiàn)的基礎(chǔ)。因此，電力企業(yè)完全可以立足大數(shù)據(jù)，以數(shù)據(jù)挖掘技術(shù)為基礎(chǔ)，創(chuàng)造數(shù)據(jù)增值服務(wù)。智能電網(wǎng)的發(fā)展對于智能的理解，是指能夠深刻分析收集到的材料、數(shù)據(jù)，以獲得一個比較系統(tǒng)和全面的知識來解決特定的問題，從而滿足商業(yè)戰(zhàn)略目標的需要。智能面向電力行業(yè)，就是指電力行業(yè)發(fā)電、供電和用電的組織結(jié)構(gòu)更加合理、運行程序更加優(yōu)良、綜合功效更加強大的智慧系統(tǒng)，即所謂的智能電網(wǎng)。智能電網(wǎng)基于數(shù)據(jù)和能源的同步傳輸，通過促進能源與信息技術(shù)的深度融合，已經(jīng)逐漸形成了以能源、數(shù)據(jù)為運行體系支撐下的堅強可靠、友好互動、清潔環(huán)保的能源管理網(wǎng)絡(luò)。

大數(shù)據(jù)與電網(wǎng)的融合涉及從發(fā)電企業(yè)到最終用戶的整個能源轉(zhuǎn)換過程和電力輸送鏈。由于智能電網(wǎng)的快速發(fā)展，信息通信技術(shù)正以前所未有的廣度、深度與電網(wǎng)生產(chǎn)、企業(yè)管理快速融合，信息通信系統(tǒng)儼然已經(jīng)成為智能電網(wǎng)的“中樞神經(jīng)系統(tǒng)”，支撐新一代電網(wǎng)生產(chǎn)和管理的快速發(fā)展。一個行業(yè)的結(jié)構(gòu)越合理，內(nèi)部摩擦越小，功效越大，系統(tǒng)的智慧程度就越高，每次人與數(shù)據(jù)的互動就更有機會以更高效和更多產(chǎn)的方式分析匯總，從而更好地支持決策行動。當前，國家電網(wǎng)公司已初步建成了國內(nèi)領(lǐng)先、國際一流的信息集成平臺，隨著后續(xù)智能電表的逐步普及，電網(wǎng)業(yè)務(wù)數(shù)據(jù)將從時效性層面進一步豐富和拓展。通過對拓展到家庭、企業(yè)的廣泛覆蓋的數(shù)據(jù)采集網(wǎng)絡(luò)進行深度的數(shù)據(jù)挖掘，可以進一步實現(xiàn)智能用電管理，使用戶掌握實時用電信息、在線互動能耗數(shù)據(jù)，實現(xiàn)能源高效循環(huán)利用，進而為節(jié)能減排提供依據(jù)。因此，智能電網(wǎng)的發(fā)展，將更好地推動數(shù)據(jù)挖掘技術(shù)在電力行業(yè)的運用。

基于數(shù)據(jù)挖掘技術(shù)的客戶關(guān)系管理隨著電力企業(yè)改革的不斷深入發(fā)展，客戶關(guān)系管理(customerrelationshipmanagement，CRM)已經(jīng)廣泛應(yīng)用到電力企業(yè)管理中，電力用戶日益成為電力企業(yè)競爭的核心。不同的用戶對電力的需求是不同的，哪家供電企業(yè)如果能夠及時運用一定的方法和工具將電力需求不同的客戶進行分類，誰就能獲得先機，取得競爭優(yōu)勢。對此，電力企業(yè)可以通過挖掘由客戶信息、用電信息組成的主題倉庫，來對電力用戶進行進一步了解。

再如，企業(yè)競爭情報系統(tǒng)的分析方法需要處理大量的數(shù)據(jù)，通常都是PB級的。如果通過對這些情報數(shù)據(jù)進行分析，將具有類似電力需求的客戶歸在一類，將有助于電力企業(yè)尋找最有價值的電力客戶。通過向這些客戶提供特殊的服務(wù)，投放不同的廣告，將有助于提高其滿意度和忠誠度，從而為電力企業(yè)盈利提供保證。

對此，可以將聚類分析運用到CRM中，從而能夠針對不同的消費者群體提供更多的個性化服務(wù),以便于更好滿足電力客戶的需求，為電力企業(yè)爭取更多的客戶。建立以數(shù)據(jù)挖掘技術(shù)為核心的信息系統(tǒng)由于計算機技術(shù)、網(wǎng)絡(luò)技術(shù)在處理數(shù)據(jù)資料上的便捷、高效，電力企業(yè)為了適應(yīng)時代的需求，大多探索建立了信息系統(tǒng)來輔助自己對內(nèi)外部數(shù)據(jù)進行系統(tǒng)統(tǒng)計和精確分析，這樣使得電力用戶資料統(tǒng)計變得相對簡單、易于操作。對于現(xiàn)代電力企業(yè)，應(yīng)該逐漸摒棄“以產(chǎn)品為中心(good-domimantlogic)”的傳統(tǒng)管理模式，并轉(zhuǎn)變?yōu)?ldquo;以服務(wù)為中心(service-dominantlogic)”的面向“社會媒體—網(wǎng)民群體—電力企業(yè)”的“企業(yè)網(wǎng)絡(luò)生態(tài)系統(tǒng)(enterpriseecocystem)”的新型管理模式。

對此，一些電力企業(yè)開展了網(wǎng)上辦電、網(wǎng)上業(yè)務(wù)咨詢等服務(wù)，并對由此產(chǎn)生的信息進行分析和利用，從中獲得收益;中國南方電網(wǎng)有限責任公司也將投資建設(shè)一體化信息平臺;五大發(fā)電企業(yè)目前正在重構(gòu)其信息系統(tǒng)以建立新的管理與運營模式，把建立統(tǒng)一的信息平臺作為信息化建設(shè)的重點項目。同時，有人還提出了基于傳統(tǒng)“目標驅(qū)動決策”和現(xiàn)代的“數(shù)據(jù)驅(qū)動決”的技術(shù)創(chuàng)新管理雙向決策模型，如果將這個模型應(yīng)用于供電企業(yè)中，可以形成以自組織動態(tài)監(jiān)測為核心，能夠有效預(yù)警并處理用電高峰期的技術(shù)監(jiān)測模型。

對于日趨完善的電力企業(yè)信息系統(tǒng)，數(shù)據(jù)挖掘技術(shù)的實施必將取得事半功倍的效果。數(shù)據(jù)挖掘過程中的能耗問題電力企業(yè)在進行用戶信息提取、負荷預(yù)測、數(shù)據(jù)庫維護過程中，由于面對數(shù)據(jù)中心存儲規(guī)模不斷擴大的現(xiàn)實，高能耗、高成本已經(jīng)成為制約大數(shù)據(jù)時代下數(shù)據(jù)挖掘過程有效進行的一個瓶頸。據(jù)《紐約時報》和麥肯錫公司就能耗問題發(fā)表的一篇題為“PowerPollutionandtheInternet”的文章指出，對于Google來講，數(shù)據(jù)中心年耗電量約為3MW，而這些能耗中，只有6%～12%被合理利用。對于我國的電力企業(yè)來講，絕大多數(shù)電能用于使服務(wù)器處于閑置狀態(tài)，以應(yīng)對負荷高峰時等情況。因此，對于電力企業(yè)來講，應(yīng)該從采用新型低功耗硬件以及引入可再生的新能源來構(gòu)造一個綠色數(shù)據(jù)庫等角度來考慮如何緩解能耗問題，將節(jié)約的能源再利用于基于時間序列相似性的電價預(yù)測。

來源：SIA大數(shù)據(jù)