ModelWhale 是和鯨科技自主研發(fā)的一款數(shù)據(jù)科學(xué)云端協(xié)作工具，為數(shù)據(jù)工作者提供了即開即用的云端分析環(huán)境，用戶可以高效地完成數(shù)據(jù)管理、編程分析、模型訓(xùn)練、模型管理、資源管理、任務(wù)管理等工作。此外， Jupyter Notebook 交互式和 Canvas 拖拽式兩種分析界面，還可支持團(tuán)隊(duì)間的代碼級(jí)協(xié)作與高效的成果流轉(zhuǎn)，更有效地挖掘和利用數(shù)據(jù)價(jià)值，令數(shù)據(jù)科學(xué)團(tuán)隊(duì)的工作更加輕松、便捷。

應(yīng)用場(chǎng)景/人群

目前，基于“社區(qū)+工具”的商業(yè)模式，和鯨的“數(shù)據(jù)科學(xué)協(xié)同平臺(tái)”覆蓋高校、科研機(jī)構(gòu)、企業(yè)三大場(chǎng)景。中國(guó)氣象局國(guó)家氣象信息中心、醫(yī)學(xué)信息研究所、鵬城實(shí)驗(yàn)室、IBM、中國(guó)聯(lián)通、平安科技、百度、攜程、快手、拍拍貸、同盾科技、好未來(lái)等企業(yè)已在部分業(yè)務(wù)場(chǎng)景中使用了和鯨社區(qū)和 ModelWhale 工具進(jìn)行數(shù)據(jù)價(jià)值的創(chuàng)造。

以醫(yī)學(xué)信息研究所為例，此機(jī)構(gòu)擁有著豐富的文獻(xiàn)資源、醫(yī)學(xué)特色資源和醫(yī)藥衛(wèi)生科學(xué)數(shù)據(jù)，并且希望能充分發(fā)揮醫(yī)學(xué)數(shù)據(jù)的價(jià)值，建成能夠?qū)Ａ酷t(yī)學(xué)數(shù)據(jù)進(jìn)行分析和建模的醫(yī)學(xué)數(shù)據(jù)挖掘平臺(tái)，助力行業(yè)培養(yǎng)更多專業(yè)的醫(yī)學(xué)數(shù)據(jù)挖掘人才。同時(shí)，讓研究所的科研人員快速進(jìn)行數(shù)據(jù)建模、數(shù)據(jù)挖掘、模型訓(xùn)練等工作，最大化釋放醫(yī)學(xué)數(shù)據(jù)的研究?jī)r(jià)值，和鯨為其搭建了一個(gè)教學(xué)和科學(xué)研究一體化的醫(yī)學(xué)數(shù)據(jù)挖掘平臺(tái)，此平臺(tái)依托于 ModelWhale 可按需配置應(yīng)用模塊的定制化功能，通過(guò)給學(xué)生和科研人員賬號(hào)配置不同模塊，實(shí)現(xiàn)教學(xué)和科研功能的區(qū)分，并幫助學(xué)院領(lǐng)導(dǎo)與導(dǎo)師在一個(gè)平臺(tái)完成科研任務(wù)、教學(xué)任務(wù)的統(tǒng)一和協(xié)同管理。有效提升信息所內(nèi)部教學(xué)和科研工作開展效率的同時(shí)，也構(gòu)造了良好的人才培養(yǎng)和科研轉(zhuǎn)化生態(tài)圈。
 
●ModelWhale 科研版

基于量化的科研生產(chǎn)與協(xié)作需求，為科研機(jī)構(gòu)及團(tuán)隊(duì)提供的科研協(xié)作平臺(tái)。支持 GPU、CPU 算力升級(jí)調(diào)用，提供開箱即用的 Python、R、Julia 語(yǔ)言生態(tài)，具備完善的論文生產(chǎn)功能，便捷的團(tuán)隊(duì)協(xié)作分享機(jī)制和一體化代碼文獻(xiàn)管理。幫助導(dǎo)師精準(zhǔn)把控項(xiàng)目細(xì)節(jié)，加快研究進(jìn)度，讓團(tuán)隊(duì)成員擺脫繁復(fù)的基礎(chǔ)工作，迅速進(jìn)入研究重要階段，大幅提升科研探索效率和論文質(zhì)量。

隨著科研數(shù)據(jù)體量、維度的大幅增加，科研課題的多元化?？蒲袌F(tuán)隊(duì)對(duì)于數(shù)據(jù)處理和團(tuán)隊(duì)協(xié)同難度逐漸提高，需要引入大量云資源，并需要為團(tuán)隊(duì)提供統(tǒng)一的協(xié)作系統(tǒng)，這不僅需要進(jìn)行繁復(fù)的基礎(chǔ)工作，對(duì)于一些沒有計(jì)算機(jī)背景的團(tuán)隊(duì)成員更是十分困難。從硬件到軟件，為科研實(shí)驗(yàn)室專門配置一套高性能計(jì)算能力的設(shè)備往往需要花費(fèi)上百萬(wàn)甚至千萬(wàn)，而硬件技術(shù)的快速更迭使得高性能計(jì)算集群頻繁換代，帶來(lái)潛在且不菲的更新成本。

和鯨科技旗下的數(shù)據(jù)科學(xué)工具 ModelWhale 科研版，不僅提供了Python、R、Julia 語(yǔ)言的豐富生態(tài)，覆蓋了上百種主流數(shù)據(jù)分析工具功能，也為團(tuán)隊(duì)提供了統(tǒng)一的云計(jì)算環(huán)境，只需一鍵環(huán)境配置和項(xiàng)目分享，從數(shù)據(jù)到模型甚至論文報(bào)告都可以一鍵共享，完成無(wú)縫實(shí)時(shí)協(xié)作。和鯨ModelWhale 科研版，實(shí)際上提供了一整套完整的數(shù)據(jù)科學(xué)相關(guān)科研解決方案。

對(duì)于科研導(dǎo)師來(lái)說(shuō)，ModelWhale 科研版能夠幫助導(dǎo)師精準(zhǔn)把控項(xiàng)目細(xì)節(jié)，加快研究進(jìn)度，讓團(tuán)隊(duì)成員擺脫繁復(fù)的基礎(chǔ)工作，迅速進(jìn)入研究重要階段，大幅提升科研探索效率和論文質(zhì)量。同時(shí)也讓科研團(tuán)隊(duì)直接跳過(guò)瑣碎的運(yùn)維管理，從繁重的基礎(chǔ)工作中解放，無(wú)需任何硬件部署和運(yùn)維，快速在應(yīng)用層開展研究工作，根據(jù)任務(wù)需求彈性調(diào)度云算力，既高效又經(jīng)濟(jì)。

具備云資源彈性調(diào)度、開箱即用的環(huán)境配置、交互式編程、便捷的代碼庫(kù)、豐富的學(xué)習(xí)資源、多人實(shí)時(shí)在線協(xié)作、任務(wù)與權(quán)限靈活管理、論文復(fù)現(xiàn)等諸多優(yōu)勢(shì)的 ModelWhale 科研版，不僅在深度學(xué)習(xí)等前沿科研領(lǐng)域有著很好的應(yīng)用前景，在歷史、社科和經(jīng)濟(jì)學(xué)這些人文學(xué)科也有著豐富的應(yīng)用。據(jù)悉，ModelWhale 科研版推出后，受到了眾多高校與科研機(jī)構(gòu)的廣泛關(guān)注，并已經(jīng)在國(guó)內(nèi)的頂級(jí)高校如清華大學(xué)、上海交通大學(xué)的科研團(tuán)隊(duì)中得到應(yīng)用。

●ModelWhale 教育版

除了科研版之外，和鯨還推出了 ModelWhale 教育版，包括實(shí)訓(xùn)教學(xué)平臺(tái)、管理平臺(tái)、課程體系、課程內(nèi)容、實(shí)訓(xùn)項(xiàng)目、優(yōu)質(zhì)師資與師資培訓(xùn)、就業(yè)與企業(yè)需求對(duì)接等全方位服務(wù)，使得數(shù)據(jù)科學(xué)的教學(xué)工作更加簡(jiǎn)單高效，大幅提高學(xué)習(xí)效果與就業(yè)水平。教育版已被清華大學(xué)、北京大學(xué)、中國(guó)人民大學(xué)、上海交通大學(xué)、同濟(jì)大學(xué)等知名院校以及中國(guó)醫(yī)學(xué)科學(xué)院采用，作為在“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”專業(yè)以及相關(guān)輔修專業(yè)、交叉學(xué)科中的數(shù)據(jù)科學(xué)教學(xué)平臺(tái)。

ModelWhale 教育版基于高校的學(xué)科建設(shè)與發(fā)展需求，為高校提供數(shù)據(jù)科學(xué)與人工智能一站式教學(xué)解決方案，包括實(shí)訓(xùn)教學(xué)平臺(tái)、管理平臺(tái)、課程體系、課程內(nèi)容、實(shí)訓(xùn)項(xiàng)目、優(yōu)質(zhì)師資與師資培訓(xùn)、就業(yè)與企業(yè)需求對(duì)接等全方位服務(wù)，使得數(shù)據(jù)科學(xué)的教學(xué)工作更加簡(jiǎn)單高效，讓學(xué)生擺脫純理論教學(xué)的桎梏，快速融入到實(shí)戰(zhàn)式學(xué)習(xí)中，大幅提高學(xué)習(xí)效果與就業(yè)水平。

產(chǎn)品功能

一、數(shù)據(jù)管理

●數(shù)據(jù)源接入：用戶可將分析所需的各類格式數(shù)據(jù)文件上傳至 ModelWhale ，進(jìn)行安全統(tǒng)一的管理、展現(xiàn)與共享，也可遠(yuǎn)程訪問數(shù)據(jù)庫(kù)直接調(diào)取使用，無(wú)需下載、存儲(chǔ)與重復(fù)維護(hù)等繁瑣流程。文件形式數(shù)據(jù)可以以數(shù)據(jù)集形式進(jìn)行管理。對(duì)于結(jié)構(gòu)化數(shù)據(jù)文件，可自動(dòng)生成描述性統(tǒng)計(jì)、頻數(shù)可視化分布；對(duì)于關(guān)系型數(shù)據(jù)庫(kù)可在線查看、篩選各數(shù)據(jù)庫(kù)表與詳細(xì)字段。

●數(shù)據(jù)源管理：ModelWhale 支持配置與管理不同數(shù)據(jù)源的訪問路徑、使用權(quán)限、描述文檔等信息。使用權(quán)限上，支持以用戶組形式對(duì)使用權(quán)限進(jìn)行統(tǒng)一管理。針對(duì)數(shù)據(jù)集形式的數(shù)據(jù)源，掛載分析時(shí)可自動(dòng)將該數(shù)據(jù)加載到分析環(huán)境中；針對(duì)數(shù)據(jù)庫(kù)形式的數(shù)據(jù)源，在分析時(shí)將自動(dòng)在環(huán)境中嵌入訪問憑證，然后進(jìn)行遠(yuǎn)程訪問，避免出現(xiàn)訪問憑證的安全泄漏。
 
二、分析工具

●Notebook 交互式分析：ModelWhale 提供針對(duì)數(shù)據(jù)分析流程進(jìn)行專業(yè)優(yōu)化的Jupyter Notebook 環(huán)境，支持版本管理、變量管理、資源監(jiān)控等專業(yè)功能，擁有不斷更新的數(shù)據(jù)科學(xué)常用算法代碼片段，涵蓋數(shù)據(jù)分析處理、可視化與常用模型功能，支持 Cell 輸入輸出的隱藏發(fā)布、PPT 模式演示、HTML、PDF 格式導(dǎo)出等多樣化的呈現(xiàn)方式。

●Canvas 拖拽式分析：ModelWhale 可基于圖形化、組件化的操作進(jìn)行數(shù)據(jù)預(yù)處理、數(shù)據(jù)可視化、統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)建模工作，并支持一鍵轉(zhuǎn)換為 Notebook 進(jìn)行深度代碼分析，幫助團(tuán)隊(duì)快速搭建分析流程，進(jìn)一步提升數(shù)據(jù)工作效率與體驗(yàn)。

三、模型管理

●模型解析：ModelWhale 支持對(duì)主流機(jī)器學(xué)習(xí)框架輸出的模型文件進(jìn)行可視化解析，用戶能夠直觀的獲取模型的內(nèi)部結(jié)構(gòu)，查看模型組成、模型結(jié)構(gòu)以及每層網(wǎng)絡(luò)節(jié)點(diǎn)的輸入、輸出和對(duì)應(yīng)的參數(shù)說(shuō)明。

●訓(xùn)練記錄：ModelWhale支持對(duì)每次模型訓(xùn)練記錄當(dāng)次使用的數(shù)據(jù)、運(yùn)行的代碼、訓(xùn)練過(guò)程中關(guān)注的參數(shù)以及運(yùn)行中的性能情況進(jìn)行查看，通過(guò)對(duì)比分析模型在訓(xùn)練過(guò)程中的各種重要評(píng)價(jià)和硬件使用情況，進(jìn)一步優(yōu)化大規(guī)模模型訓(xùn)練成本。

●模型服務(wù)：ModelWhale 支持將產(chǎn)出的模型文件通過(guò)一鍵部署的方式構(gòu)建 RESTful API 服務(wù)。該服務(wù)以 API 的形式呈現(xiàn)，使得平臺(tái)內(nèi)開發(fā)者能夠基于 API 進(jìn)行模型的開發(fā)或調(diào)用，通過(guò)即時(shí)調(diào)用獲取推斷結(jié)果。此外，用戶還可將已經(jīng)部署的服務(wù)，例如數(shù)據(jù)讀取、數(shù)據(jù)推斷、數(shù)據(jù)可視化等靈活組合，構(gòu)建新的服務(wù)供其他研究人員調(diào)用，以提高服務(wù)的便捷性和可復(fù)用性。

四、協(xié)作管理

●任務(wù)規(guī)劃：ModelWhale 可進(jìn)行任務(wù)拆解與分配、進(jìn)度交流與分享，輕松同步團(tuán)隊(duì)進(jìn)展；用戶資料與成果在知識(shí)庫(kù)中可輕松沉淀與梳理，方便協(xié)作者直接查看與使用。

●代碼式協(xié)作：ModelWhale 可在項(xiàng)目中添加協(xié)作者實(shí)現(xiàn)團(tuán)隊(duì)協(xié)同，團(tuán)隊(duì)間可針對(duì)每個(gè)代碼塊的分析結(jié)果進(jìn)行討論和批注，甚至一鍵輕松 Fork 他人代碼，實(shí)現(xiàn) Notebook cell 級(jí)別代碼版本的比對(duì)與合并，還可定義項(xiàng)目輸出功能，支持基于數(shù)據(jù)和模型產(chǎn)出的工作流。
 
五、計(jì)算引擎

●鏡像管理：ModelWhale 為用戶提供即開即用的 Python 與 R 語(yǔ)言開發(fā)環(huán)境，并提供統(tǒng)一使用的數(shù)據(jù)科學(xué)鏡像，鏡像中包含常用機(jī)器學(xué)習(xí)框架與數(shù)據(jù)分析研究過(guò)程中的常用工具包，支持用戶根據(jù)分析需求快速構(gòu)建自定義鏡像，以滿足不同應(yīng)用的分析需求。

●彈性算力調(diào)度：ModelWhale 提供基于 Kubernetes 的調(diào)度服務(wù)，每次項(xiàng)目運(yùn)行時(shí)將從對(duì)應(yīng)實(shí)例類型的集群中，調(diào)度對(duì)應(yīng)配置的機(jī)器并提供計(jì)算服務(wù)。當(dāng)項(xiàng)目關(guān)閉后，可以自動(dòng)釋放運(yùn)算資源，使資源能夠服務(wù)于其它業(yè)務(wù)，實(shí)現(xiàn)計(jì)算資源利用率和可復(fù)用性的有效提升。SaaS 模式支持跨云調(diào)度 AWS、阿里云、華為云、騰訊云的計(jì)算資源，私有化模式可支持在公有云和私有云環(huán)境的獨(dú)立部署。

●離線訓(xùn)練任務(wù)：ModelWhale 離線訓(xùn)練任務(wù)可支持調(diào)度單機(jī) CPU 實(shí)例、單機(jī) GPU 實(shí)例與分布式 GPU 集群算力，用戶可指定實(shí)例類型、Notebook、鏡像進(jìn)行離線訓(xùn)練，實(shí)時(shí)返回訓(xùn)練結(jié)果以及訓(xùn)練過(guò)程中的資源使用情況，并將訓(xùn)練結(jié)果在系統(tǒng)內(nèi)進(jìn)行同步與保存。GPU 集群支持基于 Horovod 的環(huán)狀規(guī)約（Ring - AllReduce）架構(gòu)下的分布式機(jī)器學(xué)習(xí)方法，它是高性能計(jì)算中常用的技術(shù)，相比傳統(tǒng)的參數(shù)服務(wù)器架構(gòu)，它可以顯著分散網(wǎng)絡(luò)傳輸?shù)膲毫?，且隨著集群的規(guī)模增大性能線性增加。用戶只需修改少量的單機(jī)代碼就可以將訓(xùn)練腳本改為分布式的版本，大大優(yōu)化調(diào)試成本。

產(chǎn)品優(yōu)勢(shì)

細(xì)粒度的權(quán)限管理

對(duì)數(shù)據(jù)、算力、項(xiàng)目、成員進(jìn)行細(xì)粒度的權(quán)限管理，保證企業(yè)內(nèi)部的數(shù)據(jù)安全；通過(guò)自動(dòng)測(cè)評(píng)模塊高效管理算法模型，實(shí)現(xiàn)對(duì)算法的生命周期管理。

功能豐富的專業(yè)化分析界面

ModelWhale 通過(guò)自主研發(fā)的Notebook、Canvas可直觀呈現(xiàn)研究過(guò)程，模型解析功能讓成果更好地被詮釋，云端分析環(huán)境支持研究結(jié)果一鍵復(fù)現(xiàn)。

業(yè)界領(lǐng)先的資源調(diào)度能力

統(tǒng)一的開發(fā)環(huán)境：ModelWhale 在容器中預(yù)安裝所有主流數(shù)據(jù)科學(xué)的算法和框架，數(shù)據(jù)科學(xué)家一方面可以開箱即用地使用自己已經(jīng)熟悉的算法，同時(shí)能夠?qū)崟r(shí)與他人同步自己的分析成果；提供實(shí)時(shí)存儲(chǔ)的文件系統(tǒng)，云端保存數(shù)據(jù)分析的中間結(jié)果。

拖拉拽式編程

Modelwhale提供拖拉拽的Canvas模塊化編程組件，組件搭建后，數(shù)據(jù)小白也可以輕松修改參數(shù)完成工作。

使用客戶/人群

和鯨科技的核心產(chǎn)品 ModelWhale ，擁有了出色的用戶體驗(yàn)和產(chǎn)品口碑，贏得了包括了中國(guó)氣象局國(guó)家氣象信息中心、醫(yī)學(xué)信息研究所、金風(fēng)科技、鵬城實(shí)驗(yàn)室、清華大學(xué)、上海交通大學(xué)、同濟(jì)大學(xué)、華東師范大學(xué)、中國(guó)電信、中國(guó)銀聯(lián)、中電科等在內(nèi)的，國(guó)內(nèi)最優(yōu)秀的一批機(jī)構(gòu)客戶的信任。使用人數(shù)已超100萬(wàn)人次。

市場(chǎng)價(jià)值

資料經(jīng)驗(yàn)分享，節(jié)約學(xué)習(xí)成本

ModelWhale 數(shù)據(jù)科學(xué)云端協(xié)同平臺(tái)可支持一鍵分享自己的學(xué)習(xí)經(jīng)驗(yàn)、人工智能算法及數(shù)據(jù)集，形成和鯨社區(qū)（目前已覆蓋了130,000+優(yōu)質(zhì)數(shù)據(jù)人才）的開放學(xué)習(xí)文化，方便社區(qū)內(nèi)的成員互相幫助及分享研究成果，從而可加速人才提升，并降低學(xué)習(xí)成本。

協(xié)作效率提升，人力消耗降低

ModelWhale 數(shù)據(jù)科學(xué)云端協(xié)同平臺(tái)是基于云技術(shù)的原生平臺(tái)，方便協(xié)作并能夠提升數(shù)據(jù)科學(xué)技術(shù)的運(yùn)用效率，可減少人工智能研發(fā)人員在協(xié)作過(guò)程中產(chǎn)生的相關(guān)人力資源浪費(fèi)。

分析門檻降低，數(shù)據(jù)價(jià)值擴(kuò)大

ModelWhale提供便捷的代碼片段收藏與調(diào)用功能，更有拖拽式編程界面，降低數(shù)據(jù)科學(xué)技術(shù)使用成本，同時(shí)提供拖拉拽的Canvas模塊化編程組件，組件搭建后，數(shù)據(jù)小白也可以輕松修改參數(shù)完成工作。

智能人才匹配，減少時(shí)間浪費(fèi)

通過(guò)基于 ModelWhale 的人工智能及數(shù)據(jù)科學(xué)競(jìng)賽以及眾包項(xiàng)目，能夠?yàn)槠髽I(yè)更加精準(zhǔn)、快速的找到最合適的人才，大幅降低人才與企業(yè)需求的匹配成本。

創(chuàng)新兼顧風(fēng)險(xiǎn)，試錯(cuò)成本可控

ModelWhale 的人工智能及數(shù)據(jù)科學(xué)競(jìng)賽與眾包項(xiàng)目，能夠充分利用全社會(huì)人才之智，在降低人工智能創(chuàng)新成本與風(fēng)險(xiǎn)的同時(shí)，最大化的產(chǎn)出優(yōu)秀成果，促進(jìn)企業(yè)的業(yè)務(wù)創(chuàng)新與增值、提升企業(yè)的核心價(jià)值，從而推動(dòng)企業(yè)快速發(fā)展。

產(chǎn)品所屬企業(yè)·和鯨科技：

和鯨科技（主體為“上海和今信息科技有限公司”）2015年4月創(chuàng)始于上海，是愛分析評(píng)選的“中國(guó)數(shù)據(jù)智能創(chuàng)新企業(yè)50強(qiáng)”，專注于“數(shù)據(jù)科學(xué)協(xié)同平臺(tái)”的數(shù)據(jù)智能科技公司，以“connect people with data 數(shù)據(jù)與人的高價(jià)值鏈接”為使命，專注于挖掘商業(yè)數(shù)據(jù)和數(shù)據(jù)人才的價(jià)值。

和鯨社區(qū)（原“科賽網(wǎng)”）是中國(guó)知名的第三方數(shù)據(jù)科學(xué)社區(qū)之一，最早一批專注于大數(shù)據(jù)算法比賽的平臺(tái)，擁有近13+萬(wàn)注冊(cè)數(shù)據(jù)科學(xué)家用戶，輻射超過(guò)30萬(wàn)數(shù)據(jù)人才群體。和鯨科技旗下的ModelWhale（原K-Lab），是具備國(guó)際領(lǐng)先性的數(shù)據(jù)科學(xué)SaaS平臺(tái)，可滿足數(shù)據(jù)科學(xué)家、人工智能工程師、商業(yè)分析師等數(shù)據(jù)工作者在線完成分類、建模、分析、可視化、結(jié)果輸出等任務(wù)，并支持私有化部署和云端協(xié)同，幫助企業(yè)、高校、科研機(jī)構(gòu)開展工業(yè)級(jí)數(shù)據(jù)科學(xué)應(yīng)用與人工智能研發(fā)。

來(lái)源：數(shù)據(jù)猿