濤思數(shù)據(jù)聯(lián)合創(chuàng)始人李廣：面對當下的工業(yè)互聯(lián)網(wǎng)行業(yè)痛點，小產(chǎn)品也會有大作為
原創(chuàng) 李廣 | 2021-11-01 18:14
【數(shù)據(jù)猿導讀】 濤思數(shù)據(jù)TDengine是專為物聯(lián)網(wǎng)打造的ALL-in-One時序數(shù)據(jù)庫平臺，拋棄掉了傳統(tǒng)的Hadoop體系，將底層大數(shù)據(jù)處理相關(guān)的消息列隊、對內(nèi)緩存、數(shù)據(jù)庫、流式計算和數(shù)據(jù)訂閱全部整合在這一產(chǎn)品中。
近些年，在國家政策推動下，大數(shù)據(jù)與各個行業(yè)深度融合，依托大數(shù)據(jù)、人工智能、區(qū)塊鏈、工業(yè)互聯(lián)網(wǎng)等數(shù)字經(jīng)濟產(chǎn)業(yè)得到蓬勃發(fā)展。
大數(shù)據(jù)是數(shù)字經(jīng)濟的重要基礎(chǔ)，蘊含著巨大的潛在價值。特別是對工業(yè)企業(yè)來說，利用數(shù)字“鏈接、流轉(zhuǎn)、模擬、反饋、整合”的優(yōu)勢，實現(xiàn)數(shù)字化轉(zhuǎn)型升級，對企業(yè)未來發(fā)展尤為重要。
“工欲善其事，必先利其器”，如何做好數(shù)據(jù)的“運管存”，釋放出數(shù)據(jù)自身的價值，這對大數(shù)據(jù)平臺的數(shù)據(jù)處理能力是一項重要的考驗。
2021年10月22日，由上海市經(jīng)濟信息化委員會、上海市科學技術(shù)委員會指導，數(shù)據(jù)猿與上海大數(shù)據(jù)聯(lián)盟共同舉辦的“魔方大數(shù)據(jù)系列論壇之數(shù)智化轉(zhuǎn)型升級”專場上，濤思數(shù)據(jù)聯(lián)合創(chuàng)始人李廣從工業(yè)互聯(lián)網(wǎng)的角度，指出大數(shù)據(jù)應用存在的痛點，并分享了濤思數(shù)據(jù)獨特的大數(shù)據(jù)處理方法及行業(yè)應用案例。
據(jù)公開信息顯示，濤思數(shù)據(jù)成立于2017年5月，是一家專注于大數(shù)據(jù)解決方案的初創(chuàng)公司。公司開發(fā)了擁有自主知識產(chǎn)權(quán)的物聯(lián)網(wǎng)大數(shù)據(jù)平臺TDengine，在2019年7月份正式對外開源，2020年8月又將集群版開源，收獲了大量的客戶，在GitHub全球趨勢排行榜上多次排名第一，成為最有熱度的開源項目。
今年5月濤思數(shù)據(jù)順利完成4700萬美元B輪融資，獲得經(jīng)緯中國、紅杉資本中國基金、GGV紀源資本等多家頭部資方的認可。
痛點：工業(yè)數(shù)據(jù)體量大、不透明、協(xié)同難
工業(yè)數(shù)據(jù)區(qū)別于其他領(lǐng)域的數(shù)據(jù)，具有其自身特點。從數(shù)據(jù)底層的角度，李廣認為工業(yè)互聯(lián)網(wǎng)行業(yè)的數(shù)據(jù)應用存在三大痛點。
痛點一，工業(yè)數(shù)據(jù)體量大，難處理。工業(yè)數(shù)據(jù)采集會涉及到大量的設(shè)備端點，比如一家工廠，每天可能都會產(chǎn)生幾百億條數(shù)據(jù)，數(shù)據(jù)存儲達到TB級別。如此龐大的數(shù)量級，如何處理是一大難點。
痛點二，工業(yè)設(shè)備在檢修、保養(yǎng)和運維過程中，存在數(shù)據(jù)不透明的問題，由此帶來工業(yè)企業(yè)數(shù)字化轉(zhuǎn)型困難。
痛點三，在工業(yè)控制領(lǐng)域，國內(nèi)多數(shù)企業(yè)使用的工業(yè)軟件仍嚴重依賴國外軟件，缺乏自主可控的技術(shù)和產(chǎn)品解決方案。從邊端到云端，從場站側(cè)到集團中心側(cè)來看，做數(shù)據(jù)的高效協(xié)同有很多問題。
如何解決這些痛點？李廣認為，不妨化繁為簡，將整個工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)抽象出來，從而形成數(shù)據(jù)“流轉(zhuǎn)存用”四個步驟。具體來說，一是數(shù)據(jù)的采集、傳輸；二是數(shù)據(jù)的接入；三是數(shù)據(jù)的存儲與分析；四是數(shù)據(jù)的應用。其中第三環(huán)節(jié)——數(shù)據(jù)的存儲、分析是核心。
對于數(shù)據(jù)的存儲分析，李廣觀察到，國內(nèi)現(xiàn)有的分析方式當中，可以通過傳統(tǒng)工業(yè)實時庫來處理，或者依托互聯(lián)網(wǎng)體系開源全家桶的方案來處理，但兩者的效率都較低，這種龐大的架構(gòu)，在IT人員相對不足的工業(yè)場景下使用，維護非常困難。此外，李廣談到，國外一些工業(yè)控制的頭部企業(yè)，其實是用傳統(tǒng)架構(gòu)來做的數(shù)據(jù)處理方案，很難適應這種大數(shù)據(jù)的“高并發(fā)、易擴展”的特點，即可快速擴展，SaaS化或者可服務(wù)化的模式。
小產(chǎn)品，大作為
為解決行業(yè)痛點以及匹配客戶需求，濤思數(shù)據(jù)打造出了一款專為物聯(lián)網(wǎng)而做的高效數(shù)據(jù)處理方案——物聯(lián)網(wǎng)大數(shù)據(jù)平臺TDengine。
TDengine是專為物聯(lián)網(wǎng)打造的ALL-in-One時序數(shù)據(jù)庫平臺，拋棄掉了傳統(tǒng)的Hadoop體系，將底層大數(shù)據(jù)處理相關(guān)的消息列隊、對內(nèi)緩存、數(shù)據(jù)庫、流式計算和數(shù)據(jù)訂閱全部整合在這一產(chǎn)品中。一站式解決數(shù)據(jù)處理的性能問題、數(shù)據(jù)存儲和技術(shù)架構(gòu)復雜的問題。
雖然功能強大，但產(chǎn)品卻只有幾兆，占用內(nèi)存非常小，并采用分布式架構(gòu)，能夠按需擴展，以應對不同的數(shù)據(jù)處理規(guī)模。
TDengine產(chǎn)品自開源以來，廣受客戶好評。對此，李廣表示，這主要是由于濤思數(shù)據(jù)對工業(yè)物聯(lián)數(shù)據(jù)特征和數(shù)據(jù)使用方式的清晰認識。李廣進一步解釋道，工業(yè)物聯(lián)數(shù)據(jù)的特征主要有三點：
1、與通用數(shù)據(jù)不同，工業(yè)上采集的數(shù)據(jù)都是帶有時間戳的流式數(shù)據(jù)；
2、這些數(shù)據(jù)大多是測量值，非常平穩(wěn)，而且數(shù)據(jù)源是唯一的；
3、隨著時間增加，數(shù)據(jù)價值遞減。而且在物聯(lián)網(wǎng)中，單條數(shù)據(jù)的價值并不高，對整體數(shù)據(jù)進行分析才有價值。
在數(shù)據(jù)使用方面，李廣從市場出發(fā)，總結(jié)了工業(yè)互聯(lián)網(wǎng)領(lǐng)域?qū)?shù)據(jù)三方面的應用需求：
第一是能否支持數(shù)據(jù)持續(xù)不斷的寫入；第二是能否支持基于時間、標簽維度的數(shù)據(jù)查詢，以及數(shù)據(jù)的聚合和斷面查詢。以聚合查詢?yōu)槔?，平臺需要聚合所有設(shè)備的數(shù)據(jù)進行計算，這就會涉及到一些獨特的使用方式，比如差值、時間窗口、降采樣等。平臺是否具備這樣的數(shù)據(jù)處理能力，對客戶來說也非常重要；第三是能否支持數(shù)據(jù)有效的壓縮存儲，即在不影響業(yè)數(shù)據(jù)查詢使用的前提下，高效壓縮數(shù)據(jù)以減少存儲空間。
事實上，傳統(tǒng)通用平臺尚無法滿足這些特定需求，相比之下，濤思數(shù)據(jù)自研的TDengine平臺在核心性能上，表現(xiàn)出了非常大的優(yōu)勢。
據(jù)李廣介紹，TDengine平臺具有高并發(fā)數(shù)據(jù)寫入的能力，海量設(shè)備產(chǎn)生的數(shù)據(jù)能夠并發(fā)寫入；不僅如此，在解決數(shù)據(jù)緩存、數(shù)據(jù)訂閱、數(shù)據(jù)存儲等一系列需求時，濤思數(shù)據(jù)將各個功能整合到這一款產(chǎn)品上，技術(shù)架構(gòu)非常的簡單。徹底簡化的技術(shù)架構(gòu)，解放了大量的中小企業(yè)，讓他們也能承接很多以前只有頭部企業(yè)才能接手的項目；而在數(shù)據(jù)存儲方面，TDengine平臺結(jié)合物聯(lián)網(wǎng)數(shù)據(jù)特征，采用列式存儲，大大壓縮了數(shù)據(jù)存儲空間，相同數(shù)據(jù)所占用的內(nèi)存僅是同類產(chǎn)品的1/5。
濤思的創(chuàng)新：一源一表，分級存儲
區(qū)別于通用平臺，實現(xiàn)良好的數(shù)據(jù)處理性能，濤思數(shù)據(jù)是如何做到的？
針對物聯(lián)網(wǎng)時序數(shù)據(jù)的典型特征，濤思數(shù)據(jù)創(chuàng)造性地提出了“一個數(shù)據(jù)采集點一張表”的模型，采用“超級表”來解決多設(shè)備之間的數(shù)據(jù)聚合分析問題。
“這樣的好處是，同一個采集點的數(shù)據(jù)是連續(xù)的，數(shù)據(jù)隨著時間推移而遞加。在存儲的時候，直接通過追加的方式寫入即可，這是效率最高的存儲方式。最新的數(shù)據(jù)寫入內(nèi)存后，然后落盤到硬盤等存儲介質(zhì)中，落盤的同時我們還能做很多預計算，這就使我們產(chǎn)品的查詢能力非常強。之前我們有個用戶，他用了一個方案，想查詢一組數(shù)據(jù)，花了好幾個小時查出不來，而我們的產(chǎn)品可能幾秒鐘就查出來了，差別非常之大，就是因為我們做了很多預計算。”李廣揭秘到。
“還有很重要的一點，物聯(lián)網(wǎng)的數(shù)據(jù)按照采集的時間順序，有冷、溫、熱的區(qū)別。比如，最新的數(shù)據(jù)大家都特別關(guān)注，就是熱數(shù)據(jù)；某個數(shù)據(jù)過去了一個月，可能它的使用頻次就稍微低一點，我們把它定義為溫數(shù)據(jù)；若是過去5年甚至更久一點，就是冷數(shù)據(jù)。此時，數(shù)據(jù)使用的頻次就更會低。
那么如何平衡數(shù)據(jù)存儲的使用效率和成本？我們會通過多級存儲的模式去自動存儲和遷移數(shù)據(jù)，最新熱數(shù)據(jù)的存在內(nèi)存中，溫數(shù)據(jù)在SSD中，冷數(shù)據(jù)在普通硬盤中。
做數(shù)據(jù)聚合時，我們會先把海量的數(shù)據(jù)做分割，通過超級標的標簽先做數(shù)據(jù)過濾，大大縮減數(shù)據(jù)集，這樣處理數(shù)據(jù)的效率就會大大提高。”李廣表示。
多行業(yè)應用構(gòu)建生態(tài)
大數(shù)據(jù)平臺作用于各行各業(yè)，對通過大數(shù)據(jù)發(fā)現(xiàn)行業(yè)規(guī)律、減少戰(zhàn)略決策中的主觀因素影響，起到了至關(guān)重要的作用。在行業(yè)應用方面，濤思數(shù)據(jù)做了很多嘗試。
以電力行業(yè)為例，在風力發(fā)電的風場側(cè)，采集、數(shù)據(jù)、模型、服務(wù)各個層級都會產(chǎn)生大量數(shù)據(jù)，濤思數(shù)據(jù)是如何處理的呢？據(jù)李廣介紹，數(shù)據(jù)從風場側(cè)傳輸?shù)较㈥犃欣铮?shù)據(jù)服務(wù)，通過集群把產(chǎn)生的數(shù)據(jù)全部錄入和存儲，然后再應用。如果是集團側(cè)的數(shù)據(jù)需求，濤思數(shù)據(jù)會建立云端風電大數(shù)據(jù)平臺功能架構(gòu)，在底層設(shè)置分布式數(shù)據(jù)庫集群，以處理海量數(shù)據(jù)。
在場站側(cè)和中心側(cè)之間的數(shù)據(jù)協(xié)同上，李廣指出傳統(tǒng)的數(shù)據(jù)處理方式存在一些問題。例如，數(shù)據(jù)同步是半自動模式，且數(shù)據(jù)分區(qū)導致數(shù)據(jù)之間需要融合，造成數(shù)據(jù)處理效率降低等問題。
基于此，濤思數(shù)據(jù)創(chuàng)新性地提出了一套運行方案，能夠從場站側(cè)到區(qū)域集控，再到集團結(jié)構(gòu)中心，做三級數(shù)據(jù)的協(xié)同同步，能夠把所有數(shù)據(jù)自動化，大大地減輕了數(shù)據(jù)處理的協(xié)同問題。
存儲下來的數(shù)據(jù)如何進一步分析，以風電場為例，濤思數(shù)據(jù)會在云端搭建一個大數(shù)據(jù)平臺，按照非結(jié)構(gòu)化、結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)以及結(jié)構(gòu)化時序數(shù)據(jù)的分類，再錄入不同的系統(tǒng)。由于工業(yè)物聯(lián)數(shù)據(jù)80%以上是時序性數(shù)據(jù)，這些數(shù)據(jù)最終進入分布式時序數(shù)據(jù)全棧處理平臺進行處理。
TDengine平臺除在電力行業(yè)“大顯身手”外，在礦山、煙草、石油化工、智慧出行等行業(yè)均有應用。據(jù)李廣介紹，平臺目前測點數(shù)管理規(guī)模已經(jīng)超過千萬級別。其中，煙草制絲數(shù)據(jù)服務(wù)平臺在經(jīng)過時序洞察分析后，性能提升10倍，效率提升效果非常明顯。
數(shù)字化時代，能否順利實現(xiàn)數(shù)智化轉(zhuǎn)型，事關(guān)企業(yè)成敗。這也是國產(chǎn)化軟件、服務(wù)公司的難得機遇。濤思數(shù)據(jù)飛速成長的四年，離不開其對工業(yè)底層數(shù)據(jù)的深刻理解，在對大數(shù)據(jù)平臺的不斷探索與創(chuàng)新下，公司將跟隨數(shù)字經(jīng)濟發(fā)展的浪潮，再創(chuàng)佳績。
編輯：木陽 / 數(shù)據(jù)猿
來源：數(shù)據(jù)猿
刷新相關(guān)文章
數(shù)據(jù)猿創(chuàng)始人兼CEO牟蕾：數(shù)據(jù)積累、成本可控、應用場景落地是A...
我要評論
活動推薦more >
- 【大會嘉賓】威馬汽車集團戰(zhàn)2021-08-02
- 【大會嘉賓】聯(lián)通智慧足跡CM2021-08-02
- 2018 上海國際大數(shù)據(jù)產(chǎn)業(yè)高2018-12-03
- 2018上海國際計算機網(wǎng)絡(luò)及信2018-12-03
- 中國國際信息通信展覽會將于2018-09-26
- 第五屆FEA消費金融國際峰會62018-06-21
不容錯過的資訊
-
1洞見科技創(chuàng)始人姚明：隱私計算讓數(shù)據(jù)穿上
-
2亞馬遜云科技顧凡：持續(xù)創(chuàng)新的關(guān)鍵是企業(yè)
-
3創(chuàng)略科技入選“2021中國數(shù)據(jù)智能產(chǎn)業(yè)圖譜
-
42021醫(yī)藥數(shù)字化轉(zhuǎn)型論壇在滬成功召開
-
5端點入圍《2021企業(yè)數(shù)智化轉(zhuǎn)型升級服務(wù)全
-
62021卓越工程生產(chǎn)力大會10月15至16日登陸
-
7創(chuàng)略科技簽約華瓴恒信 助力醫(yī)療器械行業(yè)
-
8IOTE 2021國際物聯(lián)網(wǎng)展深圳站順利閉幕！
-
9“芯”聯(lián)萬物，一“碳”究竟，IOTE 第十
-
10“東數(shù)西算”之理解與重大意義分析
