近年來(lái)，電力行業(yè)的快速增長(zhǎng)提升的產(chǎn)能需要時(shí)間消化，以往的發(fā)展方式帶來(lái)的增長(zhǎng)已經(jīng)放緩，結(jié)合新興技術(shù)實(shí)現(xiàn)智能配用電成為中國(guó)電力行業(yè)務(wù)進(jìn)一步發(fā)展理應(yīng)選擇的方向。

我國(guó)將大數(shù)據(jù)納入國(guó)家發(fā)展戰(zhàn)略，明確提出提高可再生能源的利用率，都在指向新型、更智慧化的能源體系建設(shè)。國(guó)網(wǎng)公司緊密響應(yīng)國(guó)家發(fā)展戰(zhàn)略，特別今年國(guó)網(wǎng)提出了“三型兩網(wǎng)、世界一流”能源互聯(lián)網(wǎng)企業(yè)的建設(shè)目標(biāo)，“三型”即具有樞紐型、平臺(tái)型、共享型特征的現(xiàn)代企業(yè)，“兩網(wǎng)”即堅(jiān)強(qiáng)智能電網(wǎng)和泛在電力物聯(lián)網(wǎng)，展現(xiàn)了國(guó)家電網(wǎng)以全新形象站立在歷史的臨界線上，主動(dòng)適應(yīng)能源革命和數(shù)字革命發(fā)展的必由之路，讓大數(shù)據(jù)發(fā)揮更大的價(jià)值。

實(shí)施時(shí)間：2018.1-2019.10

應(yīng)用場(chǎng)景

根據(jù)電力公司生產(chǎn)需求及政府社會(huì)應(yīng)用需求，開展數(shù)據(jù)分析研究和業(yè)務(wù)應(yīng)用開發(fā)，為推動(dòng)配用電發(fā)展，實(shí)現(xiàn)以客戶為中心的電力核心價(jià)值，有效配置清潔電力資源，推動(dòng)我國(guó)能源結(jié)構(gòu)綠色轉(zhuǎn)型而做出努力。旨在突破供電可靠性、電能質(zhì)量等諸多配用電運(yùn)營(yíng)瓶頸，促進(jìn)配用電的增值服務(wù)，通過(guò)大數(shù)據(jù)技術(shù)應(yīng)用推動(dòng)電力技術(shù)及管理實(shí)現(xiàn)飛躍。全面提高供需兩側(cè)的能源經(jīng)濟(jì)、技術(shù)效率，支撐可再生能源的高效接入，為我國(guó)能源結(jié)構(gòu)的綠色轉(zhuǎn)型、各類污染物和溫室氣體排放的減少做出貢獻(xiàn)。

應(yīng)用場(chǎng)景聚焦配用電領(lǐng)域，在配用電及分布式能源和并網(wǎng)技術(shù)方面，提升精細(xì)化管理的配電大數(shù)據(jù)挖掘與融合技術(shù)；在用電能效、用電行為、節(jié)點(diǎn)、用電預(yù)測(cè)和網(wǎng)架優(yōu)化等方面，研究典型業(yè)務(wù)場(chǎng)景下的大數(shù)據(jù)分析與挖掘技術(shù)的應(yīng)用。
面臨挑戰(zhàn)

海量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)

經(jīng)過(guò)國(guó)網(wǎng)上海市電力公司三十多年的信息化建設(shè)，在生產(chǎn)、運(yùn)行、銷售和管理過(guò)程中，上海配用電已積累了大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

初步統(tǒng)計(jì)，截至2018年底結(jié)構(gòu)化數(shù)據(jù)達(dá)到35T，非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)達(dá)400T，并且以每年30%以上的復(fù)合增長(zhǎng)率快速增長(zhǎng)。特別是今年，國(guó)網(wǎng)提出了泛在電力物聯(lián)網(wǎng)的建設(shè)，數(shù)據(jù)將呈爆發(fā)性增長(zhǎng)。如此海量的數(shù)據(jù)迫切需要充分利用內(nèi)外部多源數(shù)據(jù)，挖掘潛在價(jià)值，提升配用電發(fā)展水平。

多源異構(gòu)數(shù)據(jù)集成存儲(chǔ)、高效處理、應(yīng)用挖掘的技術(shù)難題

上百TB的數(shù)據(jù)來(lái)源于電網(wǎng)內(nèi)的各種信息系統(tǒng)，包括：用電信息采集系統(tǒng)、負(fù)荷控制系統(tǒng)、營(yíng)銷應(yīng)用系統(tǒng)、調(diào)度自動(dòng)化系統(tǒng)、配電自動(dòng)化系統(tǒng)、生產(chǎn)管理系統(tǒng)和電能質(zhì)量監(jiān)測(cè)系統(tǒng)等，以及外部的非電力數(shù)據(jù)，包括氣象數(shù)據(jù)、上海社會(huì)經(jīng)濟(jì)數(shù)據(jù)等，如何通過(guò)大數(shù)據(jù)技術(shù)對(duì)多源異構(gòu)的數(shù)據(jù)進(jìn)行集成存儲(chǔ)、高效處理以及應(yīng)用挖掘，成了亟待解決與攻克的首要技術(shù)難題。

因此，國(guó)網(wǎng)上海電力成立電力大數(shù)據(jù)實(shí)驗(yàn)室，聚焦配用電領(lǐng)域，配電網(wǎng)處于電力系統(tǒng)的末端，具有地域分布廣、電網(wǎng)規(guī)模大、設(shè)備種類多、網(wǎng)絡(luò)連接多樣、運(yùn)行方式多變等鮮明特點(diǎn)。隨著城鎮(zhèn)化建設(shè)和用電需求的增長(zhǎng)，配電網(wǎng)一直在不斷地改造和擴(kuò)建，其規(guī)模也不斷擴(kuò)大，國(guó)網(wǎng)公司系統(tǒng)內(nèi)大多數(shù)縣級(jí)以上配電網(wǎng)的規(guī)模都已達(dá)到百條饋線以上，一些中、大型城市的中壓饋線已達(dá)到或超過(guò)千條。隨著配電自動(dòng)化、用電信息采集等應(yīng)用系統(tǒng)的推廣應(yīng)用，對(duì)于有千條饋線的大規(guī)模配電網(wǎng)，配電網(wǎng)中會(huì)產(chǎn)生指數(shù)級(jí)增長(zhǎng)的海量異構(gòu)、多態(tài)的數(shù)據(jù)，數(shù)據(jù)集合的大小可達(dá)到當(dāng)今信息學(xué)界所關(guān)注的大數(shù)據(jù)級(jí)別。

在配用電領(lǐng)域提出兩個(gè)明確的研究方向：一是在配用電大數(shù)據(jù)管理及分析技術(shù)方面，研究面向多源異構(gòu)的配電大數(shù)據(jù)挖掘與融合技術(shù)；二是在用電能效、節(jié)電及錯(cuò)峰調(diào)度等方面，研究典型業(yè)務(wù)場(chǎng)景的大數(shù)據(jù)挖掘與應(yīng)用技術(shù)。

國(guó)網(wǎng)上海電力的電力大數(shù)據(jù)實(shí)驗(yàn)室依托國(guó)家863課題“智能配用電大數(shù)據(jù)應(yīng)用關(guān)鍵技術(shù)”， 積極開展電力大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)建設(shè)，以電力大數(shù)據(jù)的應(yīng)用為核心，為電力大數(shù)據(jù)的系統(tǒng)集成、組件研發(fā)、模擬驗(yàn)證、數(shù)據(jù)共享、示范應(yīng)用等奠定技術(shù)和工程基礎(chǔ)。
數(shù)據(jù)支持

在數(shù)據(jù)條件方面，集成了用戶數(shù)據(jù)、電網(wǎng)數(shù)據(jù)和社會(huì)環(huán)境數(shù)據(jù)，匯集了浦東1210平方千米的236萬(wàn)戶的用電數(shù)據(jù)，其中居民和第三產(chǎn)業(yè)用戶占比高達(dá)97%，最高負(fù)荷738萬(wàn)千瓦，年用電量329億度，這個(gè)規(guī)模約占上海全網(wǎng)四分之一。

集成的內(nèi)外部數(shù)據(jù)源有10個(gè)，分別為用電信息采集系統(tǒng)、電能質(zhì)量監(jiān)測(cè)系統(tǒng) 、配電自動(dòng)化系統(tǒng)、調(diào)度自動(dòng)化系統(tǒng) 、營(yíng)銷應(yīng)用系統(tǒng) 、客戶服務(wù)系統(tǒng)、負(fù)荷控制系統(tǒng)、負(fù)荷監(jiān)測(cè)系統(tǒng)、生產(chǎn)管理系統(tǒng)、故障搶修系統(tǒng)，整個(gè)數(shù)據(jù)量到現(xiàn)在已經(jīng)接近8T。臺(tái)賬數(shù)據(jù)總量29.14萬(wàn)條。

結(jié)構(gòu)化數(shù)據(jù)包括調(diào)度運(yùn)行、生產(chǎn)管理、故障搶修、電能質(zhì)量、用電信息、用戶信息、營(yíng)銷管理、氣象數(shù)據(jù)、社會(huì)數(shù)據(jù)、經(jīng)濟(jì)數(shù)據(jù)，共26.7T；非結(jié)構(gòu)、半結(jié)構(gòu)化數(shù)據(jù)包括地理信息圖片、客戶服務(wù)音頻、氣象云圖和規(guī)劃設(shè)計(jì)文檔共300T。

應(yīng)用技術(shù)／實(shí)施過(guò)程

硬件配置

在硬件配置方面，實(shí)驗(yàn)室搭建了以分布式計(jì)算集群為核心，高性能計(jì)算集群為輔助的混合并行計(jì)算的大數(shù)據(jù)硬件集群， 集群節(jié)點(diǎn)數(shù)為42臺(tái)，其中：8路2臺(tái)，4路5臺(tái)，2路34臺(tái)，GPU服務(wù)器1臺(tái)，可支持分布式和高性能的混合處理；配置了SAS+SATA存儲(chǔ)1.3PB，SSD存儲(chǔ)30T，內(nèi)存4T，可支持不同需求的梯級(jí)存儲(chǔ)。配置可滿足未來(lái)3-5年電力大數(shù)據(jù)研發(fā)的需要。

軟件配置

在軟件配置方面，實(shí)驗(yàn)室采用了星環(huán)信息科技有限公司的大數(shù)據(jù)平臺(tái)。擁有Inceptor SQL引擎，支持完整的SQL語(yǔ)法，可降低應(yīng)用開發(fā)難度；支持聚類、回歸等通用算法和機(jī)器學(xué)習(xí)算法的調(diào)用，開發(fā)了面向電力應(yīng)用算法的組件；基于Hyperbase列式數(shù)據(jù)庫(kù)，開發(fā)了多種索引技術(shù)的組件，可實(shí)現(xiàn)范圍查詢、模糊查詢等高速反饋；基于Sophon實(shí)現(xiàn)了數(shù)據(jù)建模及模型管理；通過(guò)對(duì)數(shù)據(jù)進(jìn)行完整的安全管控，支持4A安全管理，實(shí)現(xiàn)了行列級(jí)安全控制，實(shí)現(xiàn)與Oracle一致的安全管理體系。

極致的性能

基于星環(huán)大數(shù)據(jù)平臺(tái)TDH構(gòu)建的智能配用電大數(shù)據(jù)應(yīng)用系統(tǒng)匯集了浦東1210平方千米的236萬(wàn)戶的用電數(shù)據(jù)，最高負(fù)荷738萬(wàn)千瓦，年用電量329億度，占上海全網(wǎng)四分之一。集成的內(nèi)外部數(shù)據(jù)源有10個(gè)，整個(gè)數(shù)據(jù)量到現(xiàn)在已經(jīng)接近8個(gè)T了，臺(tái)賬的數(shù)據(jù)總量有29.14萬(wàn)條。

在多元數(shù)據(jù)集成及大數(shù)據(jù)平臺(tái)基礎(chǔ)之上，應(yīng)用系統(tǒng)實(shí)現(xiàn)了用電查詢，電力地圖等基礎(chǔ)功能及用戶用電行為分析，節(jié)電用電預(yù)測(cè)網(wǎng)架優(yōu)化和錯(cuò)峰調(diào)度等業(yè)務(wù)應(yīng)用。

用電及能耗監(jiān)測(cè)查詢

首先基于多源異構(gòu)數(shù)據(jù)的關(guān)聯(lián)解析，和海量用電負(fù)荷實(shí)際數(shù)據(jù)存儲(chǔ)、索引，實(shí)現(xiàn)了用電查詢的基礎(chǔ)應(yīng)用，包括230萬(wàn)用戶，26000個(gè)臺(tái)區(qū)，4000余中壓饋線的基本臺(tái)賬及用電數(shù)據(jù)的快速查詢，并可以進(jìn)行用戶用電畫像、地圖定位、供電范圍等數(shù)據(jù)的查詢，服務(wù)響應(yīng)時(shí)間在三秒以內(nèi)。

用電查詢是大數(shù)據(jù)平臺(tái)的基本功能，快速有效的查詢，為進(jìn)一步的業(yè)務(wù)應(yīng)用提供了基礎(chǔ)。電力地圖是應(yīng)用系統(tǒng)實(shí)現(xiàn)的另一基礎(chǔ)功能，在這里可以查看浦東每個(gè)行業(yè)的用電量變化趨勢(shì)，每個(gè)臺(tái)區(qū)每個(gè)時(shí)刻的負(fù)債率，浦東各規(guī)劃功能區(qū)塊的用電密度圖以及用電熱，力圖通過(guò)用戶測(cè)到電網(wǎng)側(cè)數(shù)據(jù)的關(guān)聯(lián)集成，與GIS空間可視化技術(shù)融合，實(shí)現(xiàn)浦東全景用電監(jiān)測(cè)及能耗監(jiān)測(cè)，為城市及電網(wǎng)發(fā)展規(guī)劃提供服務(wù)。

豐富的電力大數(shù)據(jù)算法及可視化展現(xiàn)

電力大數(shù)據(jù)分析和建模過(guò)程中含有大量的分類分析需求，會(huì)用到大量的算法和模型，因此星環(huán)科技針對(duì)電力大數(shù)據(jù)開發(fā)了通用和專用算法包。通過(guò)調(diào)研在電力企業(yè)中算法主要分為：數(shù)據(jù)轉(zhuǎn)換類、基礎(chǔ)類、通用算法類和電力專用算法類。電力專用算法主要是在現(xiàn)有算法不滿足要求的情況下，對(duì)現(xiàn)有算法改進(jìn)或者重寫的某個(gè)特定算法和利用通用算法訓(xùn)練的解決某個(gè)業(yè)務(wù)問(wèn)題的專用算法。最終實(shí)現(xiàn)了63個(gè)電力大數(shù)據(jù)通用算法包和11個(gè)電力大數(shù)據(jù)專用算法包的研發(fā)。

在了解數(shù)據(jù)分析建模中對(duì)組件化、工具化和可視化的需求，使得業(yè)務(wù)人員可以在不需要復(fù)雜培訓(xùn)的條件下，通過(guò)簡(jiǎn)單的鼠標(biāo)拖拉操作即可實(shí)現(xiàn)操作，星環(huán)科技研發(fā)了電力大數(shù)據(jù)應(yīng)用分析和建模工具應(yīng)用平臺(tái)，包括數(shù)據(jù)預(yù)處理組件、數(shù)據(jù)建模組件、數(shù)據(jù)治理組件、元數(shù)據(jù)管理組件、通用和專用可視化展現(xiàn)組件，還支持團(tuán)隊(duì)協(xié)作和共享，可以導(dǎo)入和導(dǎo)出報(bào)表。星環(huán)科技的電力大數(shù)據(jù)應(yīng)用分析和建模工具應(yīng)用平臺(tái)作為一個(gè)便捷、可視化的大數(shù)據(jù)分析應(yīng)用工具，將組件和算法包融合，電力大數(shù)據(jù)研發(fā)人員可以進(jìn)行圖形化的數(shù)據(jù)導(dǎo)入、數(shù)據(jù)預(yù)處理、數(shù)據(jù)建模，最終實(shí)現(xiàn)數(shù)據(jù)展示功能。

應(yīng)用平臺(tái)將電力大數(shù)據(jù)的研究成果應(yīng)用于設(shè)備檢測(cè)、電能質(zhì)量分析、用戶用電行為分析、用電預(yù)測(cè)、錯(cuò)峰調(diào)度等實(shí)際場(chǎng)景中，可以有效降低電力投入成本，節(jié)約電力投資，幫助電力公司更好的利用電力資源，產(chǎn)生直接和間接的經(jīng)濟(jì)效益。

依托智能配用電大數(shù)據(jù)平臺(tái)與示范工程，結(jié)合電力公司生產(chǎn)需求及政府社會(huì)應(yīng)用需求，開展數(shù)據(jù)分析研究和業(yè)務(wù)應(yīng)用開發(fā)，為推動(dòng)配用電發(fā)展，實(shí)現(xiàn)以客戶為中心的電力核心價(jià)值，有效配置清潔電力資源，推動(dòng)我國(guó)能源結(jié)構(gòu)綠色轉(zhuǎn)型而做出努力。

外部合作

根據(jù)各單位技術(shù)優(yōu)勢(shì)進(jìn)行合理分工，其中國(guó)網(wǎng)上海市電力公司側(cè)重工程示范，浪潮電子信息產(chǎn)業(yè)股份有限公司、北京郵電大學(xué)側(cè)重體系架構(gòu)研究，中國(guó)電力科學(xué)研究院與復(fù)旦大學(xué)、上海交通大學(xué)等高校側(cè)重理論研究，國(guó)電南瑞科技股份有限公司、北京國(guó)電通網(wǎng)絡(luò)技術(shù)有限公司等側(cè)重系統(tǒng)研發(fā)。
商業(yè)變化

經(jīng)濟(jì)效益

針對(duì)上海電網(wǎng)，減少調(diào)峰電站投資52-87億元、減少配電網(wǎng)建設(shè)投資20.88-34.8億元、用戶電費(fèi)節(jié)省支出6.76-11.27億元 。

拉動(dòng)國(guó)產(chǎn)大數(shù)據(jù)相關(guān)產(chǎn)品的研究、開發(fā)和制造，完成產(chǎn)品轉(zhuǎn)化后實(shí)現(xiàn)了年產(chǎn)值10億元。

社會(huì)效益

突破供電可靠性、電能質(zhì)量等諸多配用電運(yùn)營(yíng)瓶頸，促進(jìn)配用電的增值服務(wù)，通過(guò)大數(shù)據(jù)技術(shù)應(yīng)用推動(dòng)電力技術(shù)及管理實(shí)現(xiàn)飛躍。

全面提高供需兩側(cè)的能源經(jīng)濟(jì)、技術(shù)效率，支撐可再生能源的高效接入，為我國(guó)能源結(jié)構(gòu)的綠色轉(zhuǎn)型、各類污染物和溫室氣體排放的減少做出貢獻(xiàn)。

案例所屬企業(yè)·星環(huán)科技：

星環(huán)科技專注于企業(yè)級(jí)容器云計(jì)算、大數(shù)據(jù)和人工智能核心平臺(tái)的研發(fā),領(lǐng)航大數(shù)據(jù)與人工智能基礎(chǔ)軟件新紀(jì)元。公司以上海為總部，以北京、廣州、新加坡為區(qū)域總部，在南京、鄭州、成都設(shè)有支持中心，同時(shí)在深圳、天津、武漢等地設(shè)有辦事機(jī)構(gòu)，并在美國(guó)和加拿大設(shè)有海外分支機(jī)構(gòu)。經(jīng)過(guò)多年自主研發(fā)，星環(huán)科技建立了多個(gè)產(chǎn)品系列：基于容器的智能大數(shù)據(jù)云平臺(tái)Transwarp Data Cloud ( TDC )、一站式大數(shù)據(jù)平臺(tái)Transwarp Data Hub ( TDH )、智子人工智能平臺(tái)Transwarp Sophon和超融合大數(shù)據(jù)一體機(jī)TxData Appliance，并擁有多項(xiàng)專利技術(shù)。2016年被Gartner評(píng)為全球最具有前瞻性的數(shù)據(jù)倉(cāng)庫(kù)及數(shù)據(jù)管理解決方案廠商，2017年被IDC評(píng)為中國(guó)大數(shù)據(jù)市場(chǎng)領(lǐng)導(dǎo)者。公司產(chǎn)品已經(jīng)在二十多個(gè)行業(yè)應(yīng)用落地，2018年，星環(huán)科技成為12年來(lái)全球首個(gè)完成TPC-DS測(cè)試并通過(guò)官方審計(jì)的數(shù)據(jù)庫(kù)廠商。目前星環(huán)科技已完成D2輪融資。

核心技術(shù)：

●基于一站式大數(shù)據(jù)平臺(tái)構(gòu)建企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市

●高性能、可擴(kuò)展的分布式數(shù)據(jù)庫(kù)

●融合低延時(shí)的事件驅(qū)動(dòng)機(jī)制和復(fù)雜SQL編程模型的流處理引擎

●具備統(tǒng)計(jì)、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)完備算法和實(shí)踐模型的人工智能平臺(tái)

●突破性實(shí)現(xiàn)支持生產(chǎn)級(jí)大數(shù)據(jù)的容器操作系統(tǒng)

●基于容器技術(shù)的多租戶PaaS平臺(tái)

應(yīng)用行業(yè)：

產(chǎn)品已經(jīng)在金融、交通、電力、能源、政府、物流、公共安全、電信運(yùn)營(yíng)商、零售、媒體、制造業(yè)、教育、醫(yī)療等細(xì)分領(lǐng)域落地。

來(lái)源：數(shù)據(jù)猿