網(wǎng)易數(shù)帆發(fā)布全鏈路數(shù)字生產(chǎn)力平臺(tái)2.0 全面提升數(shù)據(jù)能力

網(wǎng)易數(shù)帆全鏈路數(shù)字生產(chǎn)力平臺(tái)2.0 數(shù)據(jù)猿

數(shù)據(jù)猿 | 2021-10-27 14:51

【數(shù)據(jù)猿導(dǎo)讀】 10月21日，網(wǎng)易數(shù)字+大會(huì)在杭州錢(qián)塘江畔召開(kāi)，網(wǎng)易數(shù)帆旗下網(wǎng)易有數(shù)在會(huì)上發(fā)布了全鏈路數(shù)據(jù)生產(chǎn)力平臺(tái)2.0，推出了DataOps、邏輯數(shù)據(jù)湖在內(nèi)的最新技術(shù)實(shí)踐，進(jìn)一步完善數(shù)字治理能力，促進(jìn)企業(yè)數(shù)智化轉(zhuǎn)型升級(jí)。

網(wǎng)易數(shù)帆發(fā)布全鏈路數(shù)字生產(chǎn)力平臺(tái)2.0 全面提升數(shù)據(jù)能力

10月21日，網(wǎng)易數(shù)字+大會(huì)在杭州錢(qián)塘江畔召開(kāi)，網(wǎng)易數(shù)帆旗下網(wǎng)易有數(shù)在會(huì)上發(fā)布了全鏈路數(shù)據(jù)生產(chǎn)力平臺(tái)2.0，推出了DataOps、邏輯數(shù)據(jù)湖在內(nèi)的最新技術(shù)實(shí)踐，進(jìn)一步完善數(shù)字治理能力，促進(jìn)企業(yè)數(shù)智化轉(zhuǎn)型升級(jí)。

網(wǎng)易有數(shù)產(chǎn)品總經(jīng)理余利華表示，邁入數(shù)據(jù)生產(chǎn)力平臺(tái)2.0階段，更應(yīng)該夯實(shí)自身技術(shù)服務(wù)能力，從大數(shù)據(jù)底座、到數(shù)據(jù)中臺(tái)、再到數(shù)據(jù)應(yīng)用，每個(gè)鏈路都需要更好的打磨才能服務(wù)好客戶，達(dá)成實(shí)際業(yè)務(wù)中“人人用數(shù)據(jù)、時(shí)時(shí)用數(shù)據(jù)”的目標(biāo)，真正發(fā)揮數(shù)據(jù)生產(chǎn)力。

過(guò)去一年，全鏈路數(shù)據(jù)生產(chǎn)力1.0的提出，以數(shù)據(jù)中臺(tái)、數(shù)據(jù)應(yīng)用為兩大節(jié)點(diǎn)，讓企業(yè)大數(shù)據(jù)決策水平提升實(shí)現(xiàn)正向閉環(huán)，將數(shù)據(jù)價(jià)值從業(yè)務(wù)系統(tǒng)中釋放。在1.0的實(shí)踐中，網(wǎng)易數(shù)帆發(fā)現(xiàn)，全鏈路數(shù)據(jù)生產(chǎn)力的閉環(huán)仍然存在一些阻滯，其中數(shù)據(jù)中臺(tái)的節(jié)點(diǎn)，各個(gè)系統(tǒng)數(shù)據(jù)的物理聚合成本越來(lái)越高，數(shù)據(jù)開(kāi)發(fā)的低效拖慢交付應(yīng)用，同時(shí)中臺(tái)對(duì)于實(shí)時(shí)數(shù)據(jù)的處理要求日趨增多；在數(shù)據(jù)應(yīng)用的節(jié)點(diǎn)，非結(jié)構(gòu)化數(shù)據(jù)的理解需要更多的手段支撐。

作為今年的重要看點(diǎn)，網(wǎng)易數(shù)帆是如何解決上述問(wèn)題，實(shí)現(xiàn)全鏈路數(shù)據(jù)生產(chǎn)力從1.0到2.0的躍遷？這其中又有哪些創(chuàng)新技術(shù)的推出？

提升數(shù)據(jù)開(kāi)發(fā)效率，試試有數(shù)DataOps

大會(huì)當(dāng)天，網(wǎng)易數(shù)帆推出了今年數(shù)據(jù)中臺(tái)的重磅升級(jí)——有數(shù)DataOps，旨在幫助企業(yè)解決數(shù)據(jù)開(kāi)發(fā)過(guò)程中的效率和質(zhì)量問(wèn)題，可以說(shuō)是將DevOps的理念應(yīng)用于數(shù)據(jù)開(kāi)發(fā)領(lǐng)域，以縮短洞察周期，推動(dòng)項(xiàng)目持續(xù)集成（CI）和持續(xù)部署（CD）。

網(wǎng)易數(shù)帆_全鏈路數(shù)字生產(chǎn)力平臺(tái)2.0_數(shù)據(jù)猿-1

DataOps全流程

大會(huì)現(xiàn)場(chǎng)，余利華還展示了網(wǎng)易云音樂(lè)使用DataOps成功實(shí)踐。通過(guò)設(shè)置獨(dú)立的開(kāi)發(fā)環(huán)境、自動(dòng)測(cè)試流程，云音樂(lè)可以有效排查上線前代碼中存在的風(fēng)險(xiǎn)，實(shí)現(xiàn)自動(dòng)運(yùn)行測(cè)試。從效果上看，在使用有數(shù)DataOps產(chǎn)品后，因代碼提交產(chǎn)生的數(shù)據(jù)質(zhì)量問(wèn)題下降了接近90%，平均需求交付周期從5天下降到2.5天，效率直接提升100%。

邏輯數(shù)據(jù)湖：從“Collect”到“Connect”

企業(yè)建設(shè)數(shù)據(jù)中臺(tái)不應(yīng)該是把所有的數(shù)據(jù)全部收集（Collect）到一個(gè)載體后再開(kāi)始應(yīng)用，隨著數(shù)據(jù)的不斷涌入，用一種連接(Connect)的方式重復(fù)利用數(shù)據(jù)，成為了當(dāng)下技術(shù)領(lǐng)先廠商們思考的手段。

余利華指出，數(shù)據(jù)中臺(tái)建設(shè)之初，往往誤以為只要把數(shù)據(jù)集中到一起，就能讓數(shù)據(jù)充分被利用。但在這些年與客戶交流后發(fā)現(xiàn)，企業(yè)想要構(gòu)建一個(gè)物理上集中的數(shù)據(jù)中臺(tái)非常困難。那么能否通過(guò)一種方式，在不要求數(shù)據(jù)遷移的前提下，將數(shù)據(jù)納入數(shù)據(jù)中臺(tái)管理？

大會(huì)現(xiàn)場(chǎng)，網(wǎng)易數(shù)帆發(fā)布了首創(chuàng)的，基于邏輯數(shù)據(jù)湖的數(shù)據(jù)中臺(tái)。作為一種構(gòu)建物理分散，邏輯統(tǒng)一的數(shù)據(jù)中臺(tái)，其核心價(jià)值就是統(tǒng)一源數(shù)據(jù)信息、數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)源，同時(shí)兼容遺留系統(tǒng)，支持Oracle/MySQL/Vertica等7類(lèi)系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一開(kāi)發(fā)和統(tǒng)一治理。

網(wǎng)易數(shù)帆_全鏈路數(shù)字生產(chǎn)力平臺(tái)2.0_數(shù)據(jù)猿-2

基于邏輯數(shù)據(jù)湖的數(shù)據(jù)中臺(tái)

邁入實(shí)時(shí)中臺(tái)時(shí)代，Arctic引擎驅(qū)動(dòng)力

面對(duì)日益增長(zhǎng)的數(shù)據(jù)規(guī)模以及越來(lái)越低時(shí)延的數(shù)據(jù)處理要求，流處理正在成為大數(shù)據(jù)廠商亟待精進(jìn)的業(yè)務(wù)能力之一。企業(yè)對(duì)于實(shí)時(shí)數(shù)據(jù)的管理需求日益顯著，特別是對(duì)于像廣告、風(fēng)控、促銷(xiāo)、物流等業(yè)務(wù)場(chǎng)景，只有依賴(lài)強(qiáng)大的流計(jì)算引擎才能支持實(shí)時(shí)動(dòng)態(tài)的數(shù)據(jù)結(jié)果。

為了解決這些問(wèn)題，網(wǎng)易數(shù)帆推出了有數(shù)實(shí)時(shí)數(shù)據(jù)湖引擎Arctic，不僅實(shí)現(xiàn)了流批一體存儲(chǔ)，還支持無(wú)縫對(duì)接數(shù)據(jù)中臺(tái)數(shù)據(jù)治理體系，可以說(shuō)是極大地增強(qiáng)了數(shù)據(jù)攝取性能，特別是對(duì)于海量日志、事件等變更頻繁、實(shí)時(shí)性高的數(shù)據(jù)加工等業(yè)務(wù)場(chǎng)景，有著十分廣闊的技術(shù)實(shí)踐空間。

此外，搭載數(shù)據(jù)湖引擎Arctic，網(wǎng)易數(shù)帆“有數(shù)實(shí)時(shí)數(shù)據(jù)中臺(tái)”更是成功入選多個(gè)國(guó)家級(jí)大數(shù)據(jù)標(biāo)桿示范項(xiàng)目評(píng)選，包括像今年中國(guó)大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)“十佳大數(shù)據(jù)案例”，工信部試點(diǎn)示范項(xiàng)目等等。

有數(shù)機(jī)器學(xué)習(xí)平臺(tái)：AI深化數(shù)據(jù)應(yīng)用

隨著物聯(lián)網(wǎng)和移動(dòng)設(shè)備的發(fā)展，產(chǎn)生的數(shù)據(jù)越來(lái)越多，種類(lèi)也包括圖片、文本、視頻等非結(jié)構(gòu)化數(shù)據(jù)，這使得機(jī)器學(xué)習(xí)模型可以獲得越來(lái)越多的數(shù)據(jù)。在全鏈路的數(shù)據(jù)應(yīng)用節(jié)點(diǎn)上，網(wǎng)易數(shù)帆也分享了自己多年的實(shí)戰(zhàn)經(jīng)驗(yàn)，推出了有數(shù)機(jī)器學(xué)習(xí)平臺(tái)，去幫助企業(yè)理解及處理非結(jié)構(gòu)化數(shù)據(jù)。

本次推出的網(wǎng)易有數(shù)機(jī)器學(xué)習(xí)平臺(tái)，經(jīng)過(guò)網(wǎng)易多年內(nèi)部業(yè)務(wù)驗(yàn)證，能夠大幅提升機(jī)器學(xué)習(xí)迭代效率。在機(jī)器學(xué)習(xí)的各個(gè)階段都能提供有效支持，通過(guò)無(wú)縫對(duì)接數(shù)據(jù)中臺(tái)，使得數(shù)據(jù)訪問(wèn)變得非常簡(jiǎn)單。同時(shí)還提供Notebook和可視化建模兩種方式，支持TensorFlow，PyTorch主流算法框架，一鍵部署等等。

除了以上技術(shù)亮點(diǎn)，大會(huì)還發(fā)布了有數(shù)BI數(shù)據(jù)準(zhǔn)備，針對(duì)缺乏專(zhuān)業(yè)人員的小微企業(yè)來(lái)說(shuō)，可以借助有數(shù)BI數(shù)據(jù)準(zhǔn)備，建立自助式ETL實(shí)現(xiàn)輕量級(jí)湖倉(cāng)。

本次全鏈路數(shù)據(jù)生產(chǎn)力平臺(tái)2.0的發(fā)布，標(biāo)志著網(wǎng)易數(shù)帆數(shù)據(jù)能力的全面提升，最終目的還是通過(guò)技術(shù)手段去解決企業(yè)實(shí)際業(yè)務(wù)中暴露的難點(diǎn)，提升數(shù)據(jù)價(jià)值的有效利用。

來(lái)源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來(lái)源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來(lái)源：數(shù)據(jù)猿”與作者名稱(chēng)，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。