【金猿技術(shù)展】一種時序數(shù)據(jù)的高效存儲方法——分別存儲每個數(shù)據(jù)采樣器采集的時序數(shù)據(jù)及其靜態(tài)屬性數(shù)據(jù)
【數(shù)據(jù)猿導(dǎo)讀】 該技術(shù)由TDengine投遞并參與“數(shù)據(jù)猿年度金猿策劃活動——2023大數(shù)據(jù)產(chǎn)業(yè)年度創(chuàng)新技術(shù)突破榜單及獎項”評選。

在進行海量時序數(shù)據(jù)存儲方面,傳統(tǒng)的大數(shù)據(jù)處理方案并不是專門針對時序數(shù)據(jù)處理特點進行設(shè)計的,因此存儲空間占用非常大,隨著業(yè)務(wù)的擴張,存儲成本也會不斷增加。在這種背景下,TDengine 決定研發(fā)一種更加高效的存儲方法,此方法專為時序數(shù)據(jù)的處理場景設(shè)計并優(yōu)化,它能夠高效地存儲和管理海量時序數(shù)據(jù)。通過優(yōu)化存儲結(jié)構(gòu)和算法,TDengine 能夠顯著降低存儲空間占用,并且能夠在海量數(shù)據(jù)的情況下保持出色的性能。這也使得 TDengine 成為處理海量時序數(shù)據(jù)的理想選擇,能夠幫助企業(yè)降低存儲成本并提升數(shù)據(jù)處理效率。
技術(shù)說明
本發(fā)明公開了一種高效的時序數(shù)據(jù)存儲方法,包括:分別存儲每個數(shù)據(jù)采樣器采集的時序數(shù)據(jù)及其靜態(tài)屬性數(shù)據(jù);在存儲每個時間序列時,根據(jù)每個時間序列的唯一ID,存儲對應(yīng)的時間序列數(shù)據(jù);在存儲靜態(tài)屬性數(shù)據(jù)時,將靜態(tài)屬性數(shù)據(jù)獨立存儲在另一個數(shù)據(jù)庫中,每個數(shù)據(jù)采樣器在存儲靜態(tài)屬性數(shù)據(jù)的數(shù)據(jù)庫中保存一條對應(yīng)的記錄。本發(fā)明可以節(jié)省存儲空間,提高處理效率和處理速度,幫助用戶靈活地進行查詢處理。
★專利申請?zhí)?公開號:US 11,829,377 B2
開發(fā)團隊
·帶隊負責人姓名:陶建輝
陶建輝, TDengine 的創(chuàng)始人與核心開發(fā) 。1994 年到美國留學,1997 年起,先后在芝加哥 Motorola、3Com 等公司從事無線互聯(lián)網(wǎng)的研發(fā)工作。2008 年初回到北京創(chuàng)辦和信,后被聯(lián)發(fā)科收購。2013 年初創(chuàng)辦快樂媽咪,后被太平洋網(wǎng)絡(luò)收購。2017 年 5 月創(chuàng)辦濤思數(shù)據(jù),專注物聯(lián)網(wǎng)大數(shù)據(jù)的處理,產(chǎn)品 TDengine 開源后,在 GitHub 全球趨勢排行榜上多日排名第一。濤思數(shù)據(jù)已獲紅杉、GGV、經(jīng)緯、明勢資本等多家機構(gòu)的近 7000 萬美元的投資。
團隊其他重要成員姓名:程洪澤、關(guān)勝亮、廖浩均。
·隸屬機構(gòu):TDengine
北京濤思數(shù)據(jù)科技有限公司( TAOS Data ) 瞄準日益增長的物聯(lián)網(wǎng)數(shù)據(jù)市場,專注時序空間大數(shù)據(jù)的存儲、查詢、分析和計算,不依賴任何開源或第三方軟件,開發(fā)了擁有自主知識產(chǎn)權(quán)、100% 自主可控的高性能、分布式的物聯(lián)網(wǎng)、工業(yè)大數(shù)據(jù)平臺 TDengine,核心模塊是高性能、集群開源、云原生、極簡的時序數(shù)據(jù)庫,可廣泛運用于物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、IT運維等領(lǐng)域。公司已經(jīng)申請多項技術(shù)發(fā)明專利,且全部提交 PCT 專利申請。
相關(guān)評價
在中移物聯(lián)網(wǎng)的智慧出行場景中,需要存儲車聯(lián)網(wǎng)設(shè)備的軌跡點,還要支持對車輛軌跡進行查詢。為了更好地進行數(shù)據(jù)處理,我們在 2021 年上線了 TDengine 2.0 版本的 5 節(jié)點 3 副本集群。3.0 發(fā)布后,它的眾多特性吸引著中移物聯(lián)網(wǎng)進行了大版本升級。目前中移物聯(lián)共創(chuàng)建有 102 萬張子表,已經(jīng)累積的總數(shù)據(jù)量已經(jīng)達到了 2000 億行,3 副本,磁盤占用 3.1TB,在遷移到 TDengine 3.0 之后,各方面的表現(xiàn)如下:業(yè)務(wù)的寫入峰值達到了 1.2-1.3w 行/s ,數(shù)據(jù)遷移的過程中可以達到 20w 行/s,這些情況下 TDengine 都可以輕松處理;存儲大約只有 MySQL 的 1/7;讀取數(shù)據(jù)性能也很突出,我們最常用的單設(shè)備單日查詢,可以在 0.1s 內(nèi)返回結(jié)果。
——中移物聯(lián)網(wǎng)有限公司
數(shù)據(jù)庫運維高級工程師 薛超
為了給用戶提供更好的補能體驗,蔚來能源在加電基礎(chǔ)設(shè)施上進行了大量的投入,需要對設(shè)備進行更高效的管理,業(yè)務(wù)誕生之初其用作數(shù)據(jù)存儲的選型是 MySQL + HBase,MySQL 存儲設(shè)備最新實時數(shù)據(jù),HBase 存儲設(shè)備原始數(shù)據(jù)。隨著換電站和超充站等設(shè)備在全國的快速布局,設(shè)備數(shù)量持續(xù)增長,積累的數(shù)據(jù)量越來越多,長時間跨度數(shù)據(jù)查詢效率出現(xiàn)瓶頸,再加上查詢場景不斷豐富,HBase 已經(jīng)無法滿足當前業(yè)務(wù)需要。接入 TDengine 改造完成后,查詢速度提升明顯,從使用 HBase 查詢單設(shè)備 24 小時數(shù)據(jù)的秒級返回,到使用 TDengine 查詢查詢相同數(shù)據(jù)的毫秒級返回;每天增量數(shù)據(jù)占用的存儲空間相當于原來使用 HBase 時的 50%;集群計算資源成本相比使用 HBase 節(jié)省超過 60%。
——蔚來汽車
能源數(shù)字化產(chǎn)品開發(fā)部高級工程師 李鵬飛
來源:數(shù)據(jù)猿
刷新相關(guān)文章
我要評論
不容錯過的資訊
-
12024深圳國際物聯(lián)網(wǎng)展將于6月召開!
-
2【金猿信創(chuàng)展】鼎捷軟件——賦能產(chǎn)業(yè)自主
-
3華為技術(shù)機密被盜!公安部督辦大案,一批
-
4【金猿信創(chuàng)展】英方軟件——為用戶提供自
-
5【金猿案例展】國元證券——建立一體化智
-
6Lenovo launches Personal Agent, o
-
7Huawei insider: The PC Hongmeng o
-
8《2023中國企業(yè)數(shù)智化轉(zhuǎn)型升級服務(wù)全景圖
-
9Huawei, together with industry p
-
10微軟棄用Windows混合現(xiàn)實;科大訊飛投資
大數(shù)據(jù)企業(yè)推薦more >
大家都在搜
