隨著物聯(lián)網(wǎng)等新興技術(shù)的加速發(fā)展，傳統(tǒng)企業(yè)紛紛開(kāi)始進(jìn)行數(shù)字化轉(zhuǎn)型。在此過(guò)程中，數(shù)據(jù)技術(shù)的重要性不言而喻。作為企業(yè)發(fā)展的寶貴資產(chǎn)，數(shù)據(jù)處理能力與業(yè)務(wù)發(fā)展需求息息相關(guān)，數(shù)據(jù)架構(gòu)的迭代升級(jí)也是企業(yè)在數(shù)字化轉(zhuǎn)型下持續(xù)探索的一大主題。

8 月 13 日，由濤思數(shù)據(jù)舉辦的前沿?cái)?shù)據(jù)技術(shù)交流盛會(huì)「 TDengine 開(kāi)發(fā)者大會(huì)」在北京·昆泰嘉瑞文化中心正式舉辦。在本次大會(huì)上，濤思數(shù)據(jù)創(chuàng)始人陶建輝、小米集團(tuán)副總裁崔寶秋博士、明勢(shì)資本創(chuàng)始合伙人黃明明等數(shù)十位重磅嘉賓，為與會(huì)者貢獻(xiàn)了關(guān)于開(kāi)源、基礎(chǔ)軟件的未來(lái)趨勢(shì)解讀，以及有關(guān)物聯(lián)網(wǎng)、IT 運(yùn)維等項(xiàng)目的數(shù)據(jù)架構(gòu)升級(jí)經(jīng)驗(yàn)。同時(shí)，濤思數(shù)據(jù)宣布了 TDengine 3.0 的重磅發(fā)布，并一一揭秘了其核心特性，諸多顛覆性創(chuàng)新思路讓參會(huì)者一睹為快。

“百家爭(zhēng)鳴”

思想碰撞下定位開(kāi)源與基礎(chǔ)軟件的未來(lái)

TDengine 從 2019 年 7 月就宣布了核心代碼開(kāi)源，2020 年 8 月又宣布了集群開(kāi)源，在開(kāi)源力量的影響下，發(fā)展 5 年，TDengine 的用戶實(shí)例已經(jīng)接近 14 萬(wàn)例，發(fā)展了 100+ 企業(yè)用戶。

一直以來(lái)，TDengine 的技術(shù)創(chuàng)新都是以用戶需求為出發(fā)點(diǎn)。本次大會(huì)也邀請(qǐng)到了京東科技 IoT 產(chǎn)品部技術(shù)總監(jiān)閆政和中通科技資深架構(gòu)師黃國(guó)石來(lái)到現(xiàn)場(chǎng)，為與會(huì)者講述 TDengine 在京東云物聯(lián)網(wǎng)產(chǎn)業(yè)場(chǎng)景及中通物流配送業(yè)務(wù)下車聯(lián)網(wǎng)服務(wù)平臺(tái)的應(yīng)用故事。

作為一種新的商業(yè)創(chuàng)新模式，開(kāi)源的力量我們有目共睹，但關(guān)于開(kāi)源的價(jià)值和意義，一千個(gè)人眼中有一千個(gè)哈姆雷特，百萬(wàn)個(gè)人心中有百萬(wàn)種定義。在大會(huì)主論壇上，小米集團(tuán)副總裁崔寶秋博士帶領(lǐng)大家回歸開(kāi)源的本質(zhì)，探索開(kāi)源的意義。

圖/小米集團(tuán)副總裁崔寶秋博士

他表示，在互聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能時(shí)代，開(kāi)源是人類技術(shù)進(jìn)步的最佳平臺(tái)和模式，但開(kāi)源并不只是一種提升技術(shù)品牌的方法、抑或是軟件分發(fā)的手段，它的出發(fā)點(diǎn)應(yīng)該是利他主義和長(zhǎng)期主義。“德不孤，必有鄰”，開(kāi)源項(xiàng)目如果一開(kāi)始就秉承開(kāi)放、共享、平等、協(xié)同、創(chuàng)新的開(kāi)源之道，一定會(huì)有非常多的共建者自愿加入。

一定程度上，開(kāi)源的力量幫助 TDengine 贏得了國(guó)內(nèi)外的市場(chǎng)，成為眾多企業(yè)的首選時(shí)序數(shù)據(jù)庫(kù)之一，但如果想要持續(xù)成功，技術(shù)上也要不斷的創(chuàng)新，始終領(lǐng)先于“copy”者，只有這樣才能真正實(shí)現(xiàn)開(kāi)源的“利他主義”和“長(zhǎng)期主義”。

圖/TDengine 創(chuàng)始人陶建輝

在 TDengine 創(chuàng)始人陶建輝帶來(lái)的《高性能、云原生的極簡(jiǎn)時(shí)序數(shù)據(jù)處理平臺(tái)》分享中，我們看到了 TDengine 從 1.0 到 2.0 再到 3.0 的不斷迭代升級(jí)，技術(shù)的發(fā)展也在反哺著開(kāi)源社區(qū)，短短三年間，TDengine 在 GitHub 上的 star 數(shù)已經(jīng)超過(guò) 18.8k，issue 數(shù)達(dá)到了 15921。而新鮮出爐的 TDengine 3.0，打造的云原生數(shù)據(jù)庫(kù)、極簡(jiǎn)時(shí)序數(shù)據(jù)平臺(tái)、便捷的數(shù)據(jù)分析等特點(diǎn)更是對(duì)時(shí)序數(shù)據(jù)庫(kù)進(jìn)行了重新定義。

盡管中國(guó)基礎(chǔ)軟件領(lǐng)域已經(jīng)出現(xiàn)了諸如 TDengine 等數(shù)百個(gè)國(guó)產(chǎn)替代產(chǎn)品，但市場(chǎng)仍然被 Windows、Linux、MySQL、Oracle 等海外玩家壟斷。無(wú)論是數(shù)據(jù)庫(kù)還是操作系統(tǒng)軟件，國(guó)內(nèi)的市場(chǎng)幾乎一片空白。在這種發(fā)展現(xiàn)狀下，中國(guó)基礎(chǔ)軟件的下一步路要怎么走？

明勢(shì)資本創(chuàng)始合伙人黃明明認(rèn)為，二十一世紀(jì)以來(lái)，中國(guó)制造業(yè)崛起，亟需與之匹配的基礎(chǔ)軟件，而根植于上一代領(lǐng)先制造業(yè)玩家的基礎(chǔ)軟件產(chǎn)品，已經(jīng)難以滿足更大產(chǎn)值、更大場(chǎng)景、更新玩家的需求，中國(guó)企業(yè)在新一代基礎(chǔ)軟件戰(zhàn)場(chǎng)上大有可為。在這種有利背景下，技術(shù)的開(kāi)放開(kāi)源可以成為基礎(chǔ)軟件占領(lǐng)市場(chǎng)的一種手段，它將幫助企業(yè)打破信任瓶頸，向海外市場(chǎng)進(jìn)軍。

可以說(shuō)，用好開(kāi)源，國(guó)內(nèi)軟件市場(chǎng)就有望突出重圍，開(kāi)放開(kāi)源已經(jīng)成為顛覆基礎(chǔ)軟件現(xiàn)有市場(chǎng)格局的重要手段。但在開(kāi)源已經(jīng)成為趨勢(shì)的當(dāng)下，開(kāi)源想要成功也需要正確的“道”與“術(shù)”。在主論壇的圓桌討論環(huán)節(jié)，幾位嘉賓就以此為主題進(jìn)行了一輪思想碰撞。

本次討論的一個(gè)共性思想就是開(kāi)源想要成功，產(chǎn)品本身的調(diào)性和創(chuàng)新非常重要，開(kāi)源項(xiàng)目被打造出來(lái)的初衷一定是想要解決某些場(chǎng)景的共性痛點(diǎn)問(wèn)題，做有價(jià)值的事情，而想要持續(xù)吸引用戶和開(kāi)發(fā)者，還需要技術(shù)創(chuàng)新來(lái)不斷產(chǎn)生新鮮的血液。此外，開(kāi)源項(xiàng)目一定要具有全球化思維，可以通過(guò)擁抱云原生等新興技術(shù)來(lái)打通國(guó)內(nèi)外的開(kāi)源市場(chǎng)。

“技術(shù)與創(chuàng)新”

TDengine 3.0 帶來(lái)時(shí)序數(shù)據(jù)庫(kù)的革命性突破

TDengine 3.0 的重磅出爐讓一眾參會(huì)者矚目，為了讓TDengine 社區(qū)開(kāi)發(fā)者、關(guān)注者和企業(yè)用戶更加全面地了解了 3.0 的相關(guān)技術(shù)和功能，在大會(huì)下午的核心技術(shù)專場(chǎng)上，核心研發(fā)人員進(jìn)行了一系列關(guān)于 3.0 的功能點(diǎn)及核心技術(shù)的演講。

近些年來(lái)，雖然市面上的時(shí)序數(shù)據(jù)庫(kù)產(chǎn)品層出不窮，但業(yè)內(nèi)的諸多難題還未解決，包括與延遲相關(guān)的 High-Cardinality 問(wèn)題，靠第三方工具實(shí)現(xiàn)流處理、緩存和數(shù)據(jù)訂閱功能所帶來(lái)的復(fù)雜度問(wèn)題，沒(méi)有真正實(shí)現(xiàn)云原生問(wèn)題等。TDengine 3.0 正是在這種背景下應(yīng)運(yùn)而生的。

作為一款真正的云原生時(shí)序數(shù)據(jù)庫(kù)，TDengine 3.0 重構(gòu)了分布式架構(gòu)，引入 RAFT 一致性協(xié)議，可以支持 10 億個(gè)時(shí)間線、100 個(gè)節(jié)點(diǎn)，徹底解決了時(shí)序數(shù)據(jù)處理里的“高基數(shù)”問(wèn)題；完善并優(yōu)化了對(duì)消息隊(duì)列、流式計(jì)算和緩存的支持，可作為一個(gè)極簡(jiǎn)的時(shí)序數(shù)據(jù)處理平臺(tái)，解決了系統(tǒng)設(shè)計(jì)復(fù)雜且難以維護(hù)的問(wèn)題；對(duì)計(jì)算引擎進(jìn)行了全新設(shè)計(jì)優(yōu)化，可提供便捷、完備的數(shù)據(jù)分析功能。

此外，TDengine 從 1.0 到 2.0 再到 3.0，存儲(chǔ)引擎也在一路升級(jí)，TDengine 3.0 更是對(duì)存儲(chǔ)引擎進(jìn)行了全新實(shí)現(xiàn)，包含“多引擎混合存儲(chǔ)”、“針對(duì)多維度時(shí)序數(shù)據(jù)的存儲(chǔ)優(yōu)化”兩大創(chuàng)新點(diǎn)。此前，TDengine 憑借“一個(gè)設(shè)備一張表”、“超級(jí)表”的兩大創(chuàng)新設(shè)計(jì)，已經(jīng)實(shí)現(xiàn)了較高的存儲(chǔ)性能，在 3.0 對(duì)存儲(chǔ)引擎進(jìn)行優(yōu)化升級(jí)后，存儲(chǔ)性能更上一層樓。

除上述 3.0 的諸多特色外，TDengine 還提供了眾多的輔助功能：支持更強(qiáng)大靈活的標(biāo)簽索引、基于時(shí)間段的預(yù)計(jì)算、支持 Schemaless 以及更多的寫(xiě)入?yún)f(xié)議、支持 Grafana、Google Data Studio 等眾多第三方工具，支持?jǐn)?shù)據(jù)增量備份、異地容災(zāi)、邊云協(xié)同等。

目前 3.0 的所有核心代碼也已經(jīng)在 GitHub 上正式公開(kāi)，方便 TDengine 的關(guān)注者和支持者下載并體驗(yàn)。

開(kāi)源地址：https://github.com/taosdata/TDengine

“發(fā)展與實(shí)踐”

物聯(lián)網(wǎng)、IT 運(yùn)維的數(shù)據(jù)架構(gòu)升級(jí)經(jīng)驗(yàn)

物聯(lián)網(wǎng)、IT 運(yùn)維等場(chǎng)景下，海量碎片化設(shè)備和巨量時(shí)序數(shù)據(jù)給企業(yè)平臺(tái)發(fā)展帶來(lái)了一系列新的要求和新的技術(shù)挑戰(zhàn)。本次大會(huì)邀請(qǐng)了順豐科技、跨越速運(yùn)、OPPO、韻達(dá)和觀測(cè)云等一眾企業(yè)客戶，分享他們?cè)谖锫?lián)網(wǎng)、IT 運(yùn)維場(chǎng)景下的數(shù)據(jù)架構(gòu)升級(jí)經(jīng)驗(yàn)。

在順豐科技的大數(shù)據(jù)監(jiān)控平臺(tái)中，此前采用的 OpenTSDB+HBase 的全量監(jiān)控?cái)?shù)據(jù)存儲(chǔ)方案，存在依賴多、使用成本高和性能無(wú)法滿足數(shù)據(jù)處理需求等問(wèn)題。為此順豐科技決定對(duì)全量監(jiān)控?cái)?shù)據(jù)存儲(chǔ)方案進(jìn)行升級(jí)，最終在 IoTDB、Druid、ClickHouse、TDengine 幾款數(shù)據(jù)庫(kù)中選擇了 TDengine 并進(jìn)行實(shí)際應(yīng)用。

順豐科技大數(shù)據(jù)平臺(tái)研發(fā)高級(jí)工程師尹飛表示，完成改造后，順豐大數(shù)據(jù)監(jiān)控平臺(tái)擺脫了對(duì)大數(shù)據(jù)組件的依賴，有效縮短了數(shù)據(jù)處理鏈路。在寫(xiě)入和查詢方面均有顯著提升，同時(shí)服務(wù)端物理機(jī)由 21 臺(tái)降至 3 臺(tái)，每日所需存儲(chǔ)空間為 93GB（2 副本），同等副本下僅為 OpenTSDB+HBase 的約 1/10，在降本增效上顯示出了非常大的優(yōu)勢(shì)。

無(wú)獨(dú)有偶，OPPO 的穿戴產(chǎn)品類業(yè)務(wù)具有寫(xiě)入量巨大且存在離線/歷史數(shù)據(jù)補(bǔ)錄（更新）的處理需求，從提升用戶體驗(yàn)角度來(lái)講，還要具備高效的讀寫(xiě)效率以及消費(fèi)類數(shù)據(jù)的長(zhǎng)時(shí)間保存。此前使用的 MongoDB/MySQL 集群方案，后端存儲(chǔ)壓力較大，需要經(jīng)常擴(kuò)盤(pán)，同時(shí)各個(gè)集群都比較獨(dú)立，維護(hù)和需求開(kāi)發(fā)成本相對(duì)較高。

“經(jīng)歷了從 MySQL 到 MongoDB 再到 Prometheus 最后到 TDengine 的架構(gòu)選型之路，我們的選型要素主要有三點(diǎn)：首先，以業(yè)務(wù)為中心，找到業(yè)務(wù)中需要解決的關(guān)鍵問(wèn)題，通過(guò)對(duì)比不同架構(gòu)選型的表現(xiàn)結(jié)果進(jìn)行篩選；其次，系統(tǒng)要最少修改，即通過(guò)較少的改動(dòng)就能構(gòu)建新的架構(gòu)業(yè)務(wù)能力；第三，最易接入，在這一點(diǎn)上，豐富的讀寫(xiě)兼容接口相當(dāng)重要，這便于端側(cè)業(yè)務(wù)的擴(kuò)展。”OPPO 云計(jì)算中心高級(jí)后端研發(fā)工程師唐恒建表示。

除了上述兩家企業(yè)，韻達(dá)、觀測(cè)云和跨越速運(yùn)在數(shù)據(jù)架構(gòu)改造前同樣有諸多問(wèn)題。韻達(dá)此前采用 MySQL 分區(qū)+索引方式處理訂單掃描量，面對(duì)每日億級(jí)的數(shù)據(jù)量，MySQL 出現(xiàn)性能瓶頸，維護(hù)成本顯著增加；觀測(cè)云此前使用的 InfluxDB，出現(xiàn) HA（高可用）集群模式無(wú)法水平擴(kuò)容，寫(xiě)入性能約等于單機(jī)，且某云上 InfluxDB 云產(chǎn)品的高可用集群版頂配規(guī)格仍無(wú)法滿足性能要求等等問(wèn)題；跨越速運(yùn)則是采用 HBase 處理車載定位設(shè)備數(shù)據(jù)，在需要查詢較大跨度時(shí)間數(shù)據(jù)時(shí)，系統(tǒng)的性能就會(huì)顯著下降。

在應(yīng)用 TDengine 進(jìn)行系統(tǒng)改造后，韻達(dá)的寫(xiě)入速度和查詢性能都有了顯著提升，寫(xiě)入速度大概為每秒 5000 行、常用的查詢基本可以在 1 秒之內(nèi)完成；對(duì)于觀測(cè)云來(lái)說(shuō)，TDengine 的邏輯設(shè)計(jì)使得其既可以滿足高可靠，又能夠滿足大數(shù)據(jù)量級(jí)的讀寫(xiě)需求，可以很好地支撐住多租戶模式下的系統(tǒng)性能；跨越速運(yùn)的日增磁盤(pán)大小從之前的單臺(tái) 22GB 下降到 1.4GB，機(jī)器資源大幅減少，運(yùn)維成本顯著降低。

從這些企業(yè)的經(jīng)驗(yàn)中我們能看到，對(duì)于企業(yè)數(shù)據(jù)架構(gòu)升級(jí)，切中業(yè)務(wù)痛點(diǎn)才是最重要的。在多家企業(yè)的數(shù)據(jù)架構(gòu)改造實(shí)踐中，TDengine 都展現(xiàn)出了強(qiáng)大的讀寫(xiě)性能和數(shù)據(jù)壓縮能力，幫助企業(yè)解決了各種大數(shù)據(jù)處理難題。相信隨著 3.0 的優(yōu)化，TDengine 可以更好地融入到物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、IT 運(yùn)維等使用場(chǎng)景中。

結(jié)語(yǔ)

本次開(kāi)發(fā)者大會(huì)的成功舉辦，不僅是 TDengine 大力服務(wù)開(kāi)發(fā)者和用戶的一個(gè)標(biāo)志性事件，也為整個(gè)行業(yè)的技術(shù)進(jìn)步和未來(lái)發(fā)展貢獻(xiàn)了不小的力量，為關(guān)注開(kāi)源的開(kāi)發(fā)者提供了眾多創(chuàng)新性觀點(diǎn)。

TDengine 3.0 的出爐徹底解決了業(yè)內(nèi)的“High Cardinality”問(wèn)題，作為一款真正的云原生數(shù)據(jù)庫(kù)，它也為時(shí)序數(shù)據(jù)庫(kù)的發(fā)展帶來(lái)了一場(chǎng)革命性的突破。未來(lái)已來(lái)，瞄準(zhǔn)世界科技前沿，數(shù)字化時(shí)代下新的數(shù)據(jù)架構(gòu)發(fā)展道路已經(jīng)明朗。

來(lái)源：濤思數(shù)據(jù)