百分點大數(shù)據(jù)技術(shù)團隊:應(yīng)急領(lǐng)域數(shù)據(jù)治理“N步法”實踐探究
百分點 | 2021-06-16 17:37
【數(shù)據(jù)猿導(dǎo)讀】 自2018年應(yīng)急管理部門設(shè)立以來,國家應(yīng)急管理體系和能力有了極大的提升,但也為原應(yīng)急各有關(guān)部門應(yīng)急資源和力量的整合帶來了挑戰(zhàn);同時,隨著物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)等技術(shù)的成熟,以及智能移動終端的普及,社會逐漸步入以數(shù)據(jù)為核心的大數(shù)據(jù)時代,

編者按
自2018年應(yīng)急管理部門設(shè)立以來,國家應(yīng)急管理體系和能力有了極大的提升,但也為原應(yīng)急各有關(guān)部門應(yīng)急資源和力量的整合帶來了挑戰(zhàn);同時,隨著物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)等技術(shù)的成熟,以及智能移動終端的普及,社會逐漸步入以數(shù)據(jù)為核心的大數(shù)據(jù)時代,圍繞數(shù)據(jù)開展的應(yīng)急管理體系建設(shè)、災(zāi)害模型研究和戰(zhàn)略調(diào)整,成為應(yīng)急管理模式變革的必然趨勢,應(yīng)急行業(yè)面臨著數(shù)據(jù)獲取難、數(shù)據(jù)組織難、數(shù)據(jù)共享難、數(shù)據(jù)應(yīng)用難等數(shù)據(jù)治理問題。
百分點大數(shù)據(jù)技術(shù)團隊基于在應(yīng)急行業(yè)項目中積累的經(jīng)驗,總結(jié)了一套應(yīng)急數(shù)據(jù)治理方法體系。
應(yīng)急管理是國家治理體系和治理能力的重要組成部分,2018年第十三屆全國人民代表大會第一次會議批準(zhǔn)通過國務(wù)院機構(gòu)改革方案,設(shè)立中華人民共和國應(yīng)急管理部,整合國家安全生產(chǎn)監(jiān)督管理總局,國務(wù)院辦公廳的應(yīng)急管理,公安部的消防管理,國土資源部的地質(zhì)災(zāi)害防治、國家森林防火指揮部等職責(zé),將突發(fā)事件應(yīng)對工作作為重要職能予以全面加強,納入經(jīng)濟社會發(fā)展規(guī)劃;2019年習(xí)近平總書記在中央政治局第十九次集體學(xué)習(xí)時強調(diào)充分發(fā)揮我國應(yīng)急管理體系特色和優(yōu)勢,積極推進我國應(yīng)急管理體系和能力現(xiàn)代化。
但當(dāng)前,圍繞數(shù)據(jù)開展的應(yīng)急管理體系建設(shè)存在著諸多挑戰(zhàn):
應(yīng)急管理領(lǐng)域海量數(shù)據(jù)采集匯聚難
安委辦成員單位應(yīng)急相關(guān)業(yè)務(wù)系統(tǒng)眾多,數(shù)據(jù)傳輸格式不統(tǒng)一,導(dǎo)致數(shù)據(jù)匯聚難,進而使得各個單維度數(shù)據(jù)獨立,無法發(fā)揮數(shù)據(jù)融合作用。
缺乏各業(yè)務(wù)系統(tǒng)多維數(shù)據(jù)的關(guān)聯(lián)
缺乏多維數(shù)據(jù)關(guān)聯(lián),單維即獨立的“線條”,獨立的信息“管道”,無法形成“網(wǎng)”,即缺乏圍繞應(yīng)急管理領(lǐng)域信息要素關(guān)聯(lián)關(guān)系的挖掘。
缺少應(yīng)急管理智慧應(yīng)用的數(shù)據(jù)支撐服務(wù)
缺少應(yīng)急管理智慧應(yīng)用,目前僅僅是各個業(yè)務(wù)應(yīng)用系統(tǒng)的安全管理服務(wù)應(yīng)用,當(dāng)前的數(shù)據(jù)服務(wù)無法實現(xiàn)支撐各個安委辦成員單位的應(yīng)急管理領(lǐng)域智慧應(yīng)用。
缺乏數(shù)據(jù)共享服務(wù),業(yè)務(wù)難以聯(lián)動
各部門之間存在信息孤島,各自建立的系統(tǒng)之間數(shù)據(jù)相互獨立,由于無法相互共享,導(dǎo)致數(shù)據(jù)利用率低下,難以做到數(shù)據(jù)價值最大化。
數(shù)據(jù)建設(shè)多樣,無統(tǒng)一建設(shè)標(biāo)準(zhǔn)
所需接入的系統(tǒng)繁雜,系統(tǒng)產(chǎn)生的數(shù)據(jù)存在交叉情況,由于缺乏統(tǒng)一的建設(shè)標(biāo)準(zhǔn),各系統(tǒng)產(chǎn)生的數(shù)據(jù)字段、命名規(guī)則等存在差異。
因此,應(yīng)急行業(yè)數(shù)據(jù)治理工作尤為重要。遵照應(yīng)急管理部《應(yīng)急管理信息化2019年第一批地方建設(shè)任務(wù)書》、《數(shù)據(jù)治理系統(tǒng)地方建設(shè)任務(wù)書》,與國務(wù)院安委會辦公室、國家減災(zāi)委辦公室聯(lián)合下發(fā)的《關(guān)于加強應(yīng)急基礎(chǔ)信息管理的通知》文件指示,應(yīng)急行業(yè)的數(shù)據(jù)治理工作在統(tǒng)一信息資源規(guī)劃下,利用數(shù)據(jù)接入、數(shù)據(jù)處理、數(shù)據(jù)管控、數(shù)據(jù)服務(wù)、數(shù)據(jù)共享交換等技術(shù),實現(xiàn)應(yīng)急管理部門內(nèi)部、外部共享交換的應(yīng)急數(shù)據(jù)資源的匯聚、治理,形成統(tǒng)一的數(shù)據(jù)資源池,對內(nèi)部業(yè)務(wù)系統(tǒng)和外部共享交換提供統(tǒng)一的數(shù)據(jù)目錄服務(wù),是加強應(yīng)急基礎(chǔ)信息管理,推進信息共享共用,深化應(yīng)急基礎(chǔ)信息的分析應(yīng)用,提升應(yīng)急智能預(yù)測預(yù)警和輔助決策水平的基礎(chǔ)工作。
一、
應(yīng)急數(shù)據(jù)治理流程概述
依據(jù)應(yīng)急管理部下發(fā)的數(shù)據(jù)治理建設(shè)任務(wù)要求,按照數(shù)用分離、智能驅(qū)動的思路,百分點依托大數(shù)據(jù)全棧技術(shù)和產(chǎn)品,構(gòu)建符合應(yīng)急管理業(yè)務(wù)的大數(shù)據(jù)治理體系,實現(xiàn)數(shù)據(jù)接入、處理、存儲、應(yīng)用等全生命周期的管理。在信息資源規(guī)劃下,構(gòu)建統(tǒng)一應(yīng)急大數(shù)據(jù)資源中心,實現(xiàn)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)接入、數(shù)據(jù)服務(wù)及深度的數(shù)據(jù)應(yīng)用和全面的數(shù)據(jù)安全,提供數(shù)據(jù)共享交換、數(shù)據(jù)應(yīng)用等服務(wù),為風(fēng)險管控動態(tài)化、監(jiān)測預(yù)警智能化等應(yīng)急管理的各項業(yè)務(wù),提供強有力的數(shù)據(jù)支撐。
數(shù)據(jù)接入
數(shù)據(jù)接入是指根據(jù)業(yè)務(wù)需求,在接入準(zhǔn)備階段定義數(shù)據(jù)獲取、處理、治理、組織、服務(wù)各環(huán)節(jié)的流程、方法和流轉(zhuǎn)機制,并根據(jù)數(shù)據(jù)探查和定義將多源異構(gòu)數(shù)據(jù)接入大數(shù)據(jù)資源池,完成與數(shù)據(jù)提供方的數(shù)據(jù)對賬。
數(shù)據(jù)接入主要包括數(shù)據(jù)探查、數(shù)據(jù)定義、數(shù)據(jù)讀取和數(shù)據(jù)對賬等功能。
數(shù)據(jù)處理
應(yīng)急行業(yè)數(shù)據(jù)處理是指按照數(shù)據(jù)接入環(huán)節(jié)的數(shù)據(jù)定義,結(jié)合應(yīng)急行業(yè)防汛抗旱等特殊字段數(shù)據(jù)處理規(guī)范,針對規(guī)模巨大、類型多樣、高速流轉(zhuǎn)、復(fù)雜多變、質(zhì)量參差不齊、價值密度高低不一的大數(shù)據(jù)特性,以數(shù)據(jù)應(yīng)用為導(dǎo)向,通過規(guī)范化處理,提升數(shù)據(jù)價值密度,為自然災(zāi)害、安全生產(chǎn)和城市安全等領(lǐng)域支撐的多場景智能應(yīng)用實現(xiàn)數(shù)據(jù)增值、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)抽象,為應(yīng)急管理事前、事發(fā)、事中和事后四個階段,提供科學(xué)決策支持。
數(shù)據(jù)處理主要包括數(shù)據(jù)提取、數(shù)據(jù)清洗、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)比對、數(shù)據(jù)標(biāo)識和數(shù)據(jù)分發(fā)等功能,按不同階段的數(shù)據(jù)處理要求,將數(shù)據(jù)原始備份、標(biāo)準(zhǔn)化處理、整合加工、結(jié)合業(yè)務(wù)應(yīng)用的數(shù)據(jù)分別存儲于原始庫、資源庫、主題庫、專題庫四大庫,為數(shù)據(jù)組織和數(shù)據(jù)服務(wù)提供支撐。
數(shù)據(jù)管控
應(yīng)急行業(yè)數(shù)據(jù)管控通過應(yīng)急相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、統(tǒng)一應(yīng)急數(shù)據(jù)資源目錄規(guī)劃等功能,實現(xiàn)應(yīng)急數(shù)據(jù)資產(chǎn)管理和對數(shù)據(jù)全生命周期的統(tǒng)一管控。
數(shù)據(jù)質(zhì)量管理是指通過建立數(shù)據(jù)質(zhì)量評估標(biāo)準(zhǔn)和管理規(guī)范,及時發(fā)現(xiàn)、定位、監(jiān)測、跟蹤、解決各類數(shù)據(jù)質(zhì)量問題,形成數(shù)據(jù)質(zhì)量問題的閉環(huán)處理,以保證數(shù)據(jù)質(zhì)量的穩(wěn)定可靠。
數(shù)據(jù)運維管理是指通過釆集數(shù)據(jù)接入、處理、組織和服務(wù)等各項任務(wù)的狀態(tài)信息,對異常狀態(tài)進行預(yù)警和處置,實現(xiàn)對各任務(wù)的實時監(jiān)控和管理。
數(shù)據(jù)共享交換
應(yīng)急行業(yè)數(shù)據(jù)共享交換通過匯聚應(yīng)急行業(yè)數(shù)據(jù),打通各單位的信息阻礙,向應(yīng)急管理部門內(nèi)部組織以及外部安委辦成員單位等提供數(shù)據(jù)資源共享與交換服務(wù)。
數(shù)據(jù)共享交換主要包括數(shù)據(jù)匯聚分發(fā)、數(shù)據(jù)傳輸交換等功能。
數(shù)據(jù)應(yīng)用
應(yīng)急行業(yè)數(shù)據(jù)應(yīng)用是根據(jù)應(yīng)急業(yè)務(wù)需求,在對數(shù)據(jù)進行相應(yīng)的接入、處理、治理、組織之后,為自然災(zāi)害、安全生產(chǎn)和城市安全等領(lǐng)域支撐多場景智能應(yīng)用,為應(yīng)急管理事前、事發(fā)、事中和事后四個階段,提供科學(xué)決策支持,為應(yīng)急管理內(nèi)部自建系統(tǒng)與政務(wù)相關(guān)單位建設(shè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)報送提供數(shù)據(jù)對接服務(wù)。
如服務(wù)提供方將服務(wù)接口發(fā)布到應(yīng)急管理信息資源平臺,應(yīng)急管理信息資源平臺完成服務(wù)接口的審核封裝,并統(tǒng)一受理資源需求方提出的服務(wù)接口申請,經(jīng)審核、授權(quán)后,對資源需求方提供統(tǒng)一的接口服務(wù),通過數(shù)據(jù)接口對上層應(yīng)用提供監(jiān)督管理、監(jiān)測預(yù)警、指揮救援、決策支持、政務(wù)管理五大業(yè)務(wù)域業(yè)務(wù)系統(tǒng)提供統(tǒng)一、高效的數(shù)據(jù)服務(wù)支撐。
二、
應(yīng)急數(shù)據(jù)治理核心步驟
1. 數(shù)據(jù)標(biāo)準(zhǔn)
1.1 數(shù)據(jù)標(biāo)準(zhǔn)概述
隨著機構(gòu)的整合和職能的調(diào)整,原有各部門分散的標(biāo)準(zhǔn)規(guī)范已然不能滿足新成立的應(yīng)急管理信息化工作需要,系統(tǒng)性建設(shè)應(yīng)急管理信息化標(biāo)準(zhǔn)規(guī)范體系,聚焦標(biāo)準(zhǔn)體系邊界擴展以及新技術(shù)標(biāo)準(zhǔn)的發(fā)展和納入,在綜合考慮應(yīng)急管理部門建設(shè)需求,參考各轉(zhuǎn)隸單位原有的標(biāo)準(zhǔn)化的基礎(chǔ)上,建立統(tǒng)一、完整的應(yīng)急管理網(wǎng)絡(luò)信息體系標(biāo)準(zhǔn)體系。
圖2. 應(yīng)急管理數(shù)據(jù)治理技術(shù)規(guī)范體系
應(yīng)急管理數(shù)據(jù)治理技術(shù)規(guī)范體系共分為 9 部分:
總體:總體技術(shù)要求;
數(shù)據(jù)接入:數(shù)據(jù)接入技術(shù)要求;
數(shù)據(jù)處理:數(shù)據(jù)處理技術(shù)要求;
數(shù)據(jù)管控:分級分類技術(shù)要求、數(shù)據(jù)質(zhì)量管理技術(shù)要求、數(shù)據(jù)資源目錄技術(shù)要求、應(yīng)用資源目錄技術(shù)要求、元數(shù)據(jù)管理技術(shù)要求;
數(shù)據(jù)資源池:原始庫技術(shù)要求、資源庫技術(shù)要求、主題庫技術(shù)要求;
數(shù)據(jù)服務(wù):查詢檢索服務(wù)技術(shù)要求、比對訂閱服務(wù)技術(shù)要求、數(shù)據(jù)匯聚服務(wù)技術(shù)要求、數(shù)據(jù)推送服務(wù)技術(shù)要求、元數(shù)據(jù)訪問服務(wù)技術(shù)要求;
數(shù)據(jù)總線:服務(wù)總線技術(shù)要求;
數(shù)據(jù)運維:數(shù)據(jù)運維技術(shù)要求;
數(shù)據(jù)管理:數(shù)據(jù)元規(guī)范、限定詞規(guī)范、應(yīng)急代碼集、應(yīng)急數(shù)據(jù)元、數(shù)據(jù)集規(guī)范。
依據(jù)應(yīng)急管理數(shù)據(jù)治理技術(shù)規(guī)范體系及參考應(yīng)急行業(yè)與地方標(biāo)準(zhǔn)形成數(shù)據(jù)標(biāo)準(zhǔn)產(chǎn)出物:數(shù)據(jù)元標(biāo)準(zhǔn)、代碼集標(biāo)準(zhǔn)、資源目錄標(biāo)準(zhǔn)、數(shù)據(jù)接口標(biāo)準(zhǔn)、數(shù)據(jù)治理技術(shù)標(biāo)準(zhǔn)等。
1.2 數(shù)據(jù)標(biāo)準(zhǔn)產(chǎn)出物
數(shù)據(jù)標(biāo)準(zhǔn)產(chǎn)出物
數(shù)據(jù)元標(biāo)準(zhǔn)從數(shù)據(jù)類型、數(shù)據(jù)格式、數(shù)據(jù)值域范圍、數(shù)據(jù)維度值范圍多方面制定規(guī)范。內(nèi)容涵蓋安全生產(chǎn)、自然災(zāi)害、指揮救援、城市安全等幾部分核心業(yè)務(wù)流程數(shù)據(jù)。遵循國家或行業(yè)制定的數(shù)據(jù)元標(biāo)準(zhǔn),超出標(biāo)準(zhǔn)范圍,根據(jù)實際行業(yè)或業(yè)務(wù)自行制定。內(nèi)容采用摘要表示的方式定義和描述,包括:內(nèi)部標(biāo)識符、中文名稱、英文名稱、中文全拼、標(biāo)識符、數(shù)據(jù)類型、表示格式、值域、說明、約束、版本、取值示例等來描述。
以安全生產(chǎn)中的企業(yè)基本信息為例,企業(yè)數(shù)據(jù)包括基本信息、業(yè)務(wù)信息、通訊信息等內(nèi)容,企業(yè)名稱、統(tǒng)一社會信用代碼等數(shù)據(jù)元情況如下表所示。
表1. 企業(yè)名稱數(shù)據(jù)元
代碼集標(biāo)準(zhǔn)
代碼表示特定事物(或概念)的一個或一組字符,若干個同類的代碼為一個方面的內(nèi)容而服務(wù)組成在一起形成代碼表。代碼集則是將一種代碼應(yīng)用于代碼集中的所有元素所產(chǎn)生的結(jié)果。在應(yīng)急管理數(shù)據(jù)元的值域中會引用代碼集作為數(shù)據(jù)的取值范圍。
以性別代碼表為例,對應(yīng)的數(shù)據(jù)元包括性別、性別代碼,說明內(nèi)容為人的性別代碼,表示形式為1 位數(shù)字碼,編碼規(guī)則采用GB/T 2261-1980中的編碼,性別代碼如下表所示。
表2. 性別代碼表
信息資源目錄標(biāo)準(zhǔn)
信息資源目錄標(biāo)準(zhǔn)是按照統(tǒng)一的應(yīng)急管理數(shù)據(jù)資源目錄標(biāo)準(zhǔn)規(guī)范,在標(biāo)準(zhǔn)的制定過程中,對大數(shù)據(jù)平臺存儲的應(yīng)急數(shù)據(jù)資源和通過接口方式提供大數(shù)據(jù)平臺使用的數(shù)據(jù)資源進行梳理,并賦予唯一的目錄標(biāo)識符和編碼,實現(xiàn)對所有的應(yīng)急數(shù)據(jù)資源進行統(tǒng)一管理。
應(yīng)急資源目錄清單內(nèi)容包括數(shù)據(jù)類別、信息資源編碼、信息資源名稱、共享類型等,其中信息資源編碼由行政區(qū)劃代碼、應(yīng)急管理信息分類代碼和順序碼組成,按照資源目錄編碼規(guī)則編制。通過應(yīng)急目錄清單可了解目前資源的分類、共享等情況。
數(shù)據(jù)清單中的每一個資源都是一個數(shù)據(jù)資源,數(shù)據(jù)資源信息數(shù)據(jù)項包括數(shù)據(jù)資源目錄編號、數(shù)據(jù)資源標(biāo)識符、數(shù)據(jù)資源管理單位、數(shù)據(jù)資源名稱、主題信息分類、業(yè)務(wù)領(lǐng)域分類、數(shù)據(jù)資源更新周期、數(shù)據(jù)資源更新方式、更新時間、數(shù)據(jù)資源共享類型等。
數(shù)據(jù)項是數(shù)據(jù)資源的元數(shù)據(jù)信息,包括數(shù)據(jù)項編碼、數(shù)據(jù)項標(biāo)識符、英文名稱、中文名稱、說明描述、數(shù)據(jù)項類型、數(shù)據(jù)項長度、是否必填等、共享內(nèi)容、管理方式、更新周期、信息資源摘要、行業(yè)領(lǐng)域分類、信息要素分類、行為主題分類等。通過資源目錄標(biāo)準(zhǔn)賦予唯一的目錄標(biāo)識符和編碼,使得資源目錄便于管理維護。
數(shù)據(jù)接口標(biāo)準(zhǔn)
為了實現(xiàn)應(yīng)急數(shù)據(jù)共享,提升數(shù)據(jù)價值,其他下屬機構(gòu)業(yè)務(wù)系統(tǒng)需要調(diào)用大數(shù)據(jù)資源池中的數(shù)據(jù)。數(shù)據(jù)通過服務(wù)接口方式實現(xiàn)應(yīng)急管理內(nèi)部以及與外部的數(shù)據(jù)傳輸交換??商峁┙Y(jié)構(gòu)化數(shù)據(jù)(各類數(shù)據(jù)庫數(shù)據(jù))、半結(jié)構(gòu)化數(shù)據(jù)(位置數(shù)據(jù)、日志數(shù)據(jù)等)、非結(jié)構(gòu)化數(shù)據(jù)(視頻數(shù)據(jù)、音頻數(shù)據(jù)、圖片數(shù)據(jù))存儲傳輸能力。
在應(yīng)急管理數(shù)據(jù)共享與交換中,為了保證數(shù)據(jù)提供方和數(shù)據(jù)接收方之間高效、準(zhǔn)確地交換數(shù)據(jù),因此接口規(guī)范的編制應(yīng)符合如下原則:
數(shù)據(jù)接口應(yīng)具備完整性、規(guī)范性、開放性和靈活性;
接口定義遵循易理解、易使用、易交流、方便擴展的原則;
保證數(shù)據(jù)提供方和數(shù)據(jù)接收方的數(shù)據(jù)一致性;
在滿足業(yè)務(wù)需求的前提下,使接口數(shù)據(jù)量最少,最大限度地減輕數(shù)據(jù)接收方的壓力;
具有可靠完善的接口數(shù)據(jù)傳輸與錯誤糾正機制,保證數(shù)據(jù)的正確性和完整性。
請求報文:接口請求參數(shù)在請求行URL中通過key-value的鍵值對形式進行參數(shù)傳遞,或在請求體中通過JSON格式進行參數(shù)傳遞。
響應(yīng)報文:響應(yīng)參數(shù)在響應(yīng)報文體中,支持JSON、XML格式。
以企業(yè)基本信息表為例,下表為企業(yè)基本信息的接口標(biāo)準(zhǔn),包括接口說明、接口資源歸屬、接口名稱、支持格式、請求方式、請求參數(shù)、響應(yīng)參數(shù)等內(nèi)容。
表3. 企業(yè)基本信息表接口信息
實施技術(shù)標(biāo)準(zhǔn)
實施技術(shù)標(biāo)準(zhǔn)依據(jù)應(yīng)急管理數(shù)據(jù)治理技術(shù)規(guī)范體系進行構(gòu)建及補充,包括數(shù)據(jù)治理全生命周期流程,覆蓋數(shù)據(jù)接入、數(shù)據(jù)處理、數(shù)據(jù)管控到數(shù)據(jù)服務(wù)、數(shù)據(jù)共享交換的標(biāo)準(zhǔn)體系。具體標(biāo)準(zhǔn)內(nèi)容為:數(shù)據(jù)接入標(biāo)準(zhǔn)、數(shù)據(jù)匯聚分發(fā)標(biāo)準(zhǔn)、數(shù)據(jù)處理標(biāo)準(zhǔn)、數(shù)據(jù)分級分類標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、數(shù)據(jù)運維標(biāo)準(zhǔn)、數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)、數(shù)據(jù)交換技術(shù)標(biāo)準(zhǔn)、數(shù)據(jù)傳輸格式標(biāo)準(zhǔn)、數(shù)據(jù)庫命標(biāo)準(zhǔn)、數(shù)據(jù)項標(biāo)準(zhǔn)、數(shù)據(jù)標(biāo)簽管理標(biāo)準(zhǔn)等。以下為部分標(biāo)準(zhǔn)內(nèi)容簡述:
數(shù)據(jù)接入標(biāo)準(zhǔn):針對應(yīng)急數(shù)據(jù)“多源異構(gòu)”的特性,針對對結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進行接入,主要技術(shù)方法有數(shù)數(shù)據(jù)讀取、數(shù)據(jù)對賬等操作。
數(shù)據(jù)分發(fā)標(biāo)準(zhǔn):根據(jù)不同應(yīng)用場景,按照數(shù)據(jù)定義的分發(fā)策略,將處理過程產(chǎn)生的關(guān)聯(lián)、關(guān)系、標(biāo)簽等信息,以及數(shù)據(jù)本身信息,進行同步或異步的相關(guān)處理,并將結(jié)果數(shù)據(jù)對應(yīng)分發(fā)到原始庫、資源庫、主題庫、專題庫。例如,數(shù)據(jù)分發(fā)將數(shù)據(jù)資源根據(jù)需要從市局下發(fā)到各區(qū)局。
數(shù)據(jù)處理標(biāo)準(zhǔn):按照數(shù)據(jù)接入環(huán)節(jié)的數(shù)據(jù)定義,針對規(guī)模巨大、類型多樣、高速流轉(zhuǎn)、復(fù)雜多變、質(zhì)量參差不齊、價值密度高低不一的大數(shù)據(jù)特性,以數(shù)據(jù)應(yīng)用為導(dǎo)向,通過規(guī)范化處理,提升數(shù)據(jù)價值密度,為數(shù)據(jù)智能應(yīng)用實現(xiàn)數(shù)據(jù)增值、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)抽象。主要技術(shù)有數(shù)據(jù)探查、數(shù)據(jù)定義、數(shù)據(jù)提取、數(shù)據(jù)清洗、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)標(biāo)識、數(shù)據(jù)比對等
數(shù)據(jù)分級分類標(biāo)準(zhǔn):按照應(yīng)急管理涉及的行業(yè)對應(yīng)急管理數(shù)據(jù)進行分類,包括應(yīng)急救援、安全生產(chǎn)、災(zāi)害防治、綜合管理和其他行業(yè)管理共5個行業(yè)領(lǐng)域分類。
數(shù)據(jù)項標(biāo)準(zhǔn):數(shù)據(jù)項是指數(shù)據(jù)元素可由若干個數(shù)據(jù)項組成,數(shù)據(jù)項是數(shù)據(jù)的不可分割的最小單位。數(shù)據(jù)項的名稱有編號、別名、簡述、數(shù)據(jù)項的長度、類型、數(shù)據(jù)項的取值范圍。數(shù)據(jù)項是數(shù)據(jù)記錄中最基本的、不可分的有名數(shù)據(jù)單位,是具有獨立含義的最小標(biāo)識單位。
2. 數(shù)據(jù)匯聚
為解決應(yīng)急管理信息資源在集中匯聚時面臨的分散孤立、源頭多樣、跨網(wǎng)傳輸?shù)葐栴},需要構(gòu)建應(yīng)急大數(shù)據(jù)資源池對應(yīng)急相關(guān)的業(yè)務(wù)數(shù)據(jù)進行匯聚治理,為實現(xiàn)數(shù)據(jù)互聯(lián)互通打下基礎(chǔ)。
應(yīng)急行業(yè)數(shù)據(jù)匯聚主要實現(xiàn)應(yīng)急管理廳/局內(nèi)部數(shù)據(jù)、外部委辦廳/局數(shù)據(jù)、社會及互聯(lián)網(wǎng)數(shù)據(jù)、感知數(shù)據(jù)等全域應(yīng)急數(shù)據(jù)的接入。涵蓋監(jiān)督管理、風(fēng)險監(jiān)測、指揮救援、政務(wù)管理等全業(yè)務(wù)域。通過統(tǒng)一接入,將源數(shù)據(jù)集中存儲至原始庫。利用數(shù)據(jù)抽取、消息服務(wù)、網(wǎng)絡(luò)爬取、數(shù)據(jù)交換、填報采集等技術(shù)手段,來解決應(yīng)急數(shù)據(jù)孤島問題。
2.1 應(yīng)急內(nèi)部數(shù)據(jù)匯聚
應(yīng)急內(nèi)部業(yè)務(wù)系統(tǒng)主要以安全生產(chǎn)業(yè)務(wù)為核心,結(jié)合自然災(zāi)害與城市生命線等業(yè)務(wù),圍繞監(jiān)督管理、監(jiān)測預(yù)警、指揮救援、決策支持、政務(wù)管理五大業(yè)務(wù)域建設(shè)的各類業(yè)務(wù)系統(tǒng)。
表4. 應(yīng)急內(nèi)部業(yè)務(wù)系統(tǒng)
2.2 應(yīng)急外部數(shù)據(jù)匯聚
外部委辦局數(shù)據(jù)主要以應(yīng)急環(huán)境信息、動態(tài)感知、救援資源、管理對象為核心的氣象環(huán)境、氣象感知、三防監(jiān)測、海洋環(huán)境、救援資源、交通環(huán)境等方面信息。
表5. 應(yīng)急業(yè)務(wù)相關(guān)委辦局單位
3. 數(shù)據(jù)資源池構(gòu)建
3.1 原始庫建設(shè)
原始庫存儲接入?yún)R聚來自應(yīng)急管理局內(nèi)部系統(tǒng)(包括應(yīng)急管理廳、市應(yīng)急管理局、區(qū)縣應(yīng)急管理局)、其他安委辦成員單位各個條線業(yè)務(wù)系統(tǒng)數(shù)據(jù),接入方式包括對接應(yīng)急管理局各業(yè)務(wù)系統(tǒng)、對接外部業(yè)務(wù)開放接口、訂閱政數(shù)局共享交換平臺數(shù)據(jù)等。
為了在各個源業(yè)務(wù)系統(tǒng)和數(shù)據(jù)資源池之間有一個平滑的過渡,一方面要保障數(shù)據(jù)資源池的穩(wěn)定性,各個源業(yè)務(wù)系統(tǒng)數(shù)據(jù)變化不會對數(shù)據(jù)資源池造成影響,又可以減低前置系統(tǒng)數(shù)據(jù)被抽取的壓力,原始庫在這中間起到了屏蔽變化,平滑過渡和分發(fā)的作用。
原始庫更新機制設(shè)計
針對原始庫中數(shù)據(jù)的存量和日增量的不同情況,設(shè)計了不同的原始庫數(shù)據(jù)更新機制。更新機制設(shè)計如表所示。
表6. 原始庫更新機制
原始庫數(shù)據(jù)生命周期設(shè)計
綜合考量原始庫的存儲成本,數(shù)據(jù)價值,抽取方式等內(nèi)容,原始庫中數(shù)據(jù)的生命周期設(shè)計如表所示:
表7. 原始庫生命周期
3.2 資源庫建設(shè)
資源庫庫表用于存儲由原始庫數(shù)據(jù)進行清洗、轉(zhuǎn)換等標(biāo)準(zhǔn)化后的數(shù)據(jù),資源庫相對于原始庫在數(shù)據(jù)域?qū)用嬷槐A艚Y(jié)構(gòu)化域。
資源庫的表結(jié)構(gòu)設(shè)計應(yīng)該遵循如下原則:
完整性原則:保證輸入源原始庫的數(shù)據(jù)的完整,數(shù)據(jù)字典清晰明確。
及時性原則:數(shù)據(jù)更新的頻率應(yīng)與源原始庫更新頻率基本一致,保證輸入信息的及時性。
根據(jù)以上原則,資源庫的表結(jié)構(gòu)設(shè)計與原始庫的表結(jié)構(gòu)基本保持一致,在粒度上以最細的方式存儲;在數(shù)據(jù)內(nèi)容上,保存對原始庫進行標(biāo)準(zhǔn)化后的標(biāo)準(zhǔn)數(shù)據(jù),以及清洗產(chǎn)生的臟數(shù)據(jù),便于向源業(yè)務(wù)部門反饋,促進其提升數(shù)據(jù)質(zhì)量,同時減少誤清洗帶來的風(fēng)險。
資源庫對原始庫進行數(shù)據(jù)處理,生成治理后的標(biāo)準(zhǔn)規(guī)范數(shù)據(jù)集合,主要分為監(jiān)督管理資源庫、監(jiān)測預(yù)警資源庫、指揮救援資源庫、決策支持資源庫、政務(wù)管理資源庫。
3.3 主題庫建設(shè)
主題庫是根據(jù)應(yīng)急業(yè)務(wù),圍繞基礎(chǔ)信息、行政管理、監(jiān)督管理、監(jiān)測預(yù)警、應(yīng)急處置等實體構(gòu)建沉淀的一組數(shù)據(jù)建模方法和一系列基礎(chǔ)算法,是為了高度統(tǒng)一的刻畫這些實體的屬性和特征,從龐大的資源庫中抽取共性的維度進行分析,形成高通用、易擴展和易使用的數(shù)據(jù)模型,形成多要素的全方位的、全時空的實體感知信息。主題庫設(shè)計有以下原則:
低耦合:合理定義基礎(chǔ)屬性、擴展屬性,避免屬性定義重復(fù)、冗余出現(xiàn);
穩(wěn)定性:保持基礎(chǔ)寬表模型的穩(wěn)定性,通過屬性表解決擴展屬性變化頻繁的問題;
高效性:模型解耦設(shè)計兼顧應(yīng)用靈活組裝和高效數(shù)據(jù)更新。
主題庫的劃分主要根據(jù)模型設(shè)計人員的行業(yè)經(jīng)驗以及對現(xiàn)有應(yīng)急行業(yè)業(yè)務(wù)了解來進行的,應(yīng)急行業(yè)的主題庫分為八大主題,分別是:管理對象、災(zāi)害事故、應(yīng)急人員、救援資源、日常監(jiān)管、應(yīng)急環(huán)境、動態(tài)感知、空間地理。
圖4. 主題庫建設(shè)框架
3.4 專題庫建設(shè)
專題庫設(shè)計面向應(yīng)急管理常態(tài)與非常態(tài)業(yè)務(wù)需求,通過將資源庫、主題庫數(shù)據(jù)進行二次抽取裝載的方法重新組織數(shù)據(jù),并按照不同事件專題應(yīng)用的需求重新整合形成專題庫。
在主題庫之上,還有一層數(shù)據(jù)集市層,我們稱之為專題庫。專題庫是依據(jù)部門專題業(yè)務(wù)需求,按照維度建模等原則建立起來的,是主要面向部門級業(yè)務(wù),并且只面向某個特定的主題。專題庫存儲為特定用戶預(yù)先計算好的數(shù)據(jù),從而滿足用戶對性能的需求。
安全生產(chǎn)隱患排查專題庫
安全生產(chǎn)隱患排查專題庫以監(jiān)管安全生產(chǎn)企業(yè)為核心,匯聚企業(yè)信息、巡查人員信息、隱患信息、重大隱患信息、網(wǎng)格信息、企業(yè)風(fēng)險分級等相關(guān)數(shù)據(jù),實時同步企業(yè)自查隱患、政府巡查隱患數(shù)據(jù),構(gòu)建“風(fēng)險-能力-事件”圖譜。
圖5. 安全生產(chǎn)隱患排查數(shù)據(jù)模型
三防監(jiān)測預(yù)警指揮救援
三防監(jiān)測預(yù)警指揮救援專題庫以三防指揮部為核心,匯聚關(guān)鍵基礎(chǔ)設(shè)施/風(fēng)情/雨情/潮情/水情等常態(tài)化監(jiān)測數(shù)據(jù)、災(zāi)害預(yù)警數(shù)據(jù)/突發(fā)事件報送等綜合值班值守數(shù)據(jù)、輔助決策數(shù)據(jù)、指揮協(xié)同數(shù)據(jù)、應(yīng)急資源管理數(shù)據(jù)等,對臺風(fēng)、洪澇等災(zāi)害信息進行監(jiān)測、展示和分析,調(diào)用應(yīng)急平臺其他業(yè)務(wù)系統(tǒng)數(shù)據(jù)進行數(shù)據(jù)組織及呈現(xiàn)實時動態(tài)監(jiān)測、日常監(jiān)測信息、災(zāi)情信息分析展示、重點關(guān)注目標(biāo)統(tǒng)計分析、態(tài)勢分析與研判、事故輿情應(yīng)對輔助決策、應(yīng)急資源推薦、指揮調(diào)度等功能。
圖6. 三防監(jiān)測預(yù)警指揮救援?dāng)?shù)據(jù)模型
4. 數(shù)據(jù)服務(wù)支撐
4.1 數(shù)據(jù)資源目錄
應(yīng)急管理數(shù)據(jù)資源目錄分類參考應(yīng)急管理部標(biāo)準(zhǔn)并結(jié)合實際應(yīng)急管理數(shù)據(jù)涉及的行業(yè)及其業(yè)務(wù)范圍作為分類依據(jù)。數(shù)據(jù)資源目錄劃分為數(shù)據(jù)來源目錄、主題信息目錄、專題信息目錄。
數(shù)據(jù)來源目錄分類按照應(yīng)急管理領(lǐng)域信息資源涉及的來源部門進行劃分,包括內(nèi)部機關(guān)單位、下屬單位、其他政府部門、互聯(lián)網(wǎng)及社會單位共5個分類。
主題信息目錄分類結(jié)合應(yīng)急管理部下發(fā)標(biāo)準(zhǔn)規(guī)范,按照應(yīng)急管理領(lǐng)域信息資源涉及的主題信息進行劃分,包括管理對象、災(zāi)害事故、應(yīng)急人員、救援資源、日常監(jiān)管、應(yīng)急環(huán)境、動態(tài)感知、空間地理為8個主題分類。
專題信息目錄對特定應(yīng)用或服務(wù)需求所構(gòu)建的目錄,是按數(shù)據(jù)支撐業(yè)務(wù)進行分類設(shè)計,為業(yè)務(wù)系統(tǒng)與其他數(shù)據(jù)需求單位提供支撐服務(wù)。內(nèi)容可包括:安全生產(chǎn)隱患排查專題、安全生產(chǎn)執(zhí)法專題、三防監(jiān)測專題、應(yīng)急指揮專題等內(nèi)容。
4.2 數(shù)據(jù)共享交換
通過對應(yīng)急數(shù)據(jù)的匯聚形成了統(tǒng)一的數(shù)據(jù)資源池,數(shù)據(jù)共享交換在數(shù)據(jù)資源池的基礎(chǔ)上,梳理數(shù)據(jù)共享資源目錄,形成應(yīng)急數(shù)據(jù)共享體系。縱向上打通從應(yīng)急管理部、省應(yīng)急管理廳、市應(yīng)急管理局、區(qū)應(yīng)急管理局多級間的數(shù)據(jù)上報、下發(fā),橫向上拉通政務(wù)服務(wù)數(shù)據(jù)管理局、各應(yīng)急相關(guān)委辦局單位等單位之間的數(shù)據(jù)對接、數(shù)據(jù)考核、數(shù)據(jù)共享。
圖7. 數(shù)據(jù)共享交換關(guān)系圖
4.3 數(shù)據(jù)上報
利用應(yīng)急管理部數(shù)據(jù)治理系統(tǒng)(含數(shù)據(jù)共享交換平臺)與地方、部本級業(yè)務(wù)系統(tǒng)聯(lián)通,匯聚政務(wù)服務(wù)及監(jiān)管數(shù)據(jù)。為滿足政務(wù)服務(wù)及監(jiān)管數(shù)據(jù)共享需求,由數(shù)據(jù)治理系統(tǒng)結(jié)合數(shù)據(jù)共享交換平臺作為應(yīng)急管理部體系內(nèi)基礎(chǔ)設(shè)施和數(shù)據(jù)交換通道的作用,通過配置交換任務(wù)等。
各地方、部本級業(yè)務(wù)系統(tǒng)產(chǎn)生的事項、辦件、電子證照目錄、監(jiān)管事項目錄清單、行業(yè) 監(jiān)管對象信息、行業(yè)執(zhí)法人員信息、監(jiān)管行為信息、信用監(jiān)管信息、風(fēng)險預(yù)警模型信息、重點企業(yè)信息和行業(yè)知識等政務(wù)服務(wù)和監(jiān)管數(shù)據(jù),通過應(yīng)急管理部數(shù)據(jù)治理系統(tǒng)匯聚到政務(wù)服務(wù)及監(jiān)管系統(tǒng)業(yè)務(wù)庫,數(shù)據(jù)上報流程如下:
圖8. 數(shù)據(jù)上報流程圖數(shù)據(jù)交換總體框架
三、
應(yīng)急數(shù)據(jù)治理成效
通過應(yīng)急領(lǐng)域數(shù)據(jù)治理的“N步法”,從數(shù)據(jù)接入、數(shù)據(jù)處理、數(shù)據(jù)管控、數(shù)據(jù)共享服務(wù)、數(shù)據(jù)應(yīng)用五個環(huán)節(jié)提升數(shù)據(jù)治理價值。為安全生產(chǎn)、自然災(zāi)害、救援指揮、監(jiān)督執(zhí)法、綜合決策等智慧應(yīng)用,提供專常兼?zhèn)涞臄?shù)據(jù)支撐能力,在突發(fā)事件的事前、事發(fā)、事中、事后階段發(fā)揮數(shù)據(jù)支撐作用。從數(shù)據(jù)的數(shù)量、質(zhì)量、流通、效率、安全等多方面全流程為應(yīng)急數(shù)據(jù)體系建設(shè)帶來諸多成效。
摸清數(shù)據(jù)底數(shù)
對應(yīng)急業(yè)務(wù)相關(guān)數(shù)據(jù)進行信息資源規(guī)劃,從安全生產(chǎn)、自然災(zāi)害防治、應(yīng)急救援、城市安全多個領(lǐng)域進行梳理,匯聚各方資源形成數(shù)據(jù)資源池,編制應(yīng)急數(shù)據(jù)臺賬,做到應(yīng)急數(shù)據(jù)的“家底清、底數(shù)明”,實現(xiàn)分散、割裂的應(yīng)急業(yè)務(wù)數(shù)據(jù)向數(shù)據(jù)資產(chǎn)的轉(zhuǎn)變。并在大數(shù)據(jù)治理平臺中對數(shù)據(jù)進行視圖管理。
提升數(shù)據(jù)質(zhì)量
建立統(tǒng)一、完整的應(yīng)急管理數(shù)據(jù)標(biāo)準(zhǔn)體系,提升應(yīng)急數(shù)據(jù)質(zhì)量,提高數(shù)據(jù)使用價值。
拉通業(yè)務(wù)數(shù)據(jù)
統(tǒng)一匯聚應(yīng)急基礎(chǔ)數(shù)據(jù),通過數(shù)據(jù)關(guān)聯(lián)融合,挖掘數(shù)據(jù)潛在價值,拉通應(yīng)急數(shù)據(jù)與上級業(yè)務(wù)部門(部?。?、下級業(yè)務(wù)部門(區(qū)縣)、內(nèi)部業(yè)務(wù)系統(tǒng)、外部委辦局單位之間的數(shù)據(jù)通路,實現(xiàn)數(shù)據(jù)的上傳下達內(nèi)聯(lián)外接。
實現(xiàn)降本增效
通過數(shù)據(jù)治理建設(shè)的數(shù)據(jù)平臺統(tǒng)一完成數(shù)據(jù)上報任務(wù)與外部委辦局單位數(shù)據(jù)對接,降低各業(yè)務(wù)系統(tǒng)分開開發(fā)的對接接口的成本。
保障數(shù)據(jù)安全
數(shù)據(jù)入口與數(shù)據(jù)出口,通過數(shù)據(jù)治理平臺統(tǒng)一進行數(shù)據(jù)上報與下級單位數(shù)據(jù)上傳下行的網(wǎng)絡(luò)對接,避免對外開通多個網(wǎng)絡(luò)端口。同時對數(shù)據(jù)資源進行編目劃分,并且通過嚴格的鑒權(quán)體系,控制數(shù)據(jù)權(quán)限,確保數(shù)據(jù)安全。
來源:百分點
刷新相關(guān)文章
我要評論
活動推薦more >
- 2018 上海國際大數(shù)據(jù)產(chǎn)業(yè)高2018-12-03
- 2018上海國際計算機網(wǎng)絡(luò)及信2018-12-03
- 中國國際信息通信展覽會將于2018-09-26
- 第五屆FEA消費金融國際峰會62018-06-21
- 第五屆FEA消費金融國際峰會2018-06-21
- “無界區(qū)塊鏈技術(shù)峰會2018”2018-06-14
不容錯過的資訊
-
1數(shù)據(jù)猿與上海大數(shù)據(jù)聯(lián)盟聯(lián)合推出“行業(yè)盤
-
2專訪易快報馬春荃:建設(shè)業(yè)財稅檔一體化體
-
3【附報告下載】將數(shù)據(jù)變成企業(yè)流動的“血
-
4聯(lián)軟科技祝青柳:砌起數(shù)字時代“防火墻”
-
5數(shù)據(jù)猿專訪強生醫(yī)療醫(yī)美事業(yè)部商業(yè)創(chuàng)新負
-
6數(shù)字化轉(zhuǎn)型:美國先行,中國后發(fā),“我們
-
7數(shù)之聯(lián)宣布完成1.6億元C輪融資,加速業(yè)
-
8阿里云宣布開源PolarDB數(shù)據(jù)庫 與社區(qū)共
-
9事故頻出,缺芯少魂!新能源汽車又雙叒叕
-
10ACS第五屆中國汽車CIO峰會正式來襲!