近幾年，Jupyter Notebook 為數(shù)據(jù)科學(xué)家們提供了與數(shù)據(jù)有效交互的工具。用戶(hù)可以運(yùn)行代碼、查看結(jié)果，然后重復(fù)數(shù)據(jù)之間的循環(huán)和迭代。使用 Jupyter Notebook 進(jìn)行研究成為了數(shù)據(jù)科學(xué)家們快速制作原型和探索分析的首選。

然而，數(shù)據(jù)科學(xué)的實(shí)際工作流程，不僅包括數(shù)據(jù)科學(xué)家們利用 Jupyter Notebook 處理數(shù)據(jù)、制作模型，還包括其他成員之間大量的溝通協(xié)作，如：數(shù)據(jù)科學(xué)家和數(shù)據(jù)源端溝通數(shù)據(jù)的接入、和開(kāi)發(fā)運(yùn)維溝通服務(wù)的容器化和部署、和業(yè)務(wù)方溝通業(yè)務(wù)需求和數(shù)據(jù)服務(wù)效果等。因此，在線 Jupyter Notebook 和低代碼、拖拽式編程工具逐漸發(fā)展，用于優(yōu)化數(shù)據(jù)模型開(kāi)發(fā)和應(yīng)用的全流程。

本文介紹了數(shù)據(jù)科學(xué)分析工具的發(fā)展進(jìn)程，并對(duì)應(yīng)了不同形態(tài)的工具的主要特征、應(yīng)用場(chǎng)景，以期幫助數(shù)據(jù)科學(xué)家、業(yè)務(wù)專(zhuān)家等各領(lǐng)域的人員了解數(shù)據(jù)科學(xué)生態(tài)下的關(guān)鍵工具，進(jìn)而優(yōu)化工作流，加速數(shù)據(jù)驅(qū)動(dòng)的研究及決策。

目錄

Jupyter Notebook 交互式編程

Jupyter Notebook 是什么？

Jupyter 并非理想的 Notebook

在線 Jupyter Notebook

1. 云原生

2. 功能拓展

3. 協(xié)作開(kāi)放

低代碼、拖拽式編程

低代碼是什么？

為什么要用低代碼？

1. 可視化模型驅(qū)動(dòng)數(shù)據(jù)研究

2. 低代碼拖拽改善協(xié)作方式

Canvas 與 Notebook 的互補(bǔ)與轉(zhuǎn)換

ModelWhale 以人為徑，助力協(xié)同創(chuàng)新

海量數(shù)據(jù)挖掘、數(shù)據(jù)密集型研究的應(yīng)用范式

專(zhuān)業(yè)性強(qiáng)、工程能力相對(duì)較弱的復(fù)合型分析研究者的強(qiáng)力支撐

結(jié)尾

Jupyter Notebook 交互式編程

Jupyter Notebook 是什么？

對(duì)于數(shù)據(jù)分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)或是深度學(xué)習(xí)等數(shù)據(jù)科學(xué)領(lǐng)域的專(zhuān)業(yè)人員來(lái)說(shuō)，除了需要具備一些數(shù)理統(tǒng)計(jì)知識(shí)外，還會(huì)需要通過(guò)代碼來(lái)實(shí)踐或驗(yàn)證理論想法，Jupyter Notebook 便成了數(shù)據(jù)科學(xué)家們最熟悉且常用的工具。通過(guò)它獨(dú)特的交互式開(kāi)發(fā)，適用于科研、教學(xué)等場(chǎng)景。

Jupyter 即是 Julia、Python 和 R 的縮寫(xiě)組合，另如 Notebook 含義所示，它可以以筆記的形式記錄和保存相關(guān)的代碼和輸出，并將結(jié)果以文檔的形式與其他人共享。

Jupyter Notebook（圖源：網(wǎng)絡(luò)）

Jupyter Notebook 主要有三大優(yōu)點(diǎn)：文學(xué)編程、交互展示、易于調(diào)試。

1. 文學(xué)編程

文學(xué)編程的思想強(qiáng)調(diào)人的思維邏輯的可讀性，即在對(duì)閱讀者友好的文本中插入代碼塊，讓學(xué)習(xí)進(jìn)程和探索進(jìn)程變得可記錄可回溯，不斷累積知識(shí)，獲得增量式進(jìn)步。這種形式非常適合研究性、探索性工作。

想象一下，當(dāng)你需要做數(shù)據(jù)處理、分析建模、觀察結(jié)果時(shí)：

如果是在終端運(yùn)行程序，包含函數(shù)和類(lèi)的腳本存在其他文檔，可視化結(jié)果在不同窗口顯示，此時(shí)還需要寫(xiě)一份囊括全部的說(shuō)明文檔記錄分析思路、程序運(yùn)行、結(jié)果呈現(xiàn)......整個(gè)研究過(guò)程雜亂無(wú)章，無(wú)法專(zhuān)注于研究本身。

如果是用 Jupyter Notebook 進(jìn)行分析，代碼、可視化結(jié)果、說(shuō)明文檔都留存在同一頁(yè)面中，整個(gè)分析過(guò)程和研究思路變得異常清晰。

2. 交互展示

Jupyter Notebook 由 Cell 模塊構(gòu)成，Cell 分為 Code 和 Markdown，其中 ：

Code Cell 可以獨(dú)立編寫(xiě)、運(yùn)行代碼，并單獨(dú)反饋結(jié)果，方便試錯(cuò)和驗(yàn)證結(jié)果，對(duì)于學(xué)習(xí)數(shù)據(jù)分析、入門(mén)數(shù)據(jù)科學(xué)或者編程語(yǔ)言的初學(xué)者來(lái)說(shuō)，這種交互形式非常友好。

Markdown Cell 可撰寫(xiě)文檔，展示圖片、表格、鏈接、公式等豐富的內(nèi)容，可讀性強(qiáng)、學(xué)習(xí)成本低，一個(gè)文檔就可以涵蓋課程章節(jié)的理論知識(shí)點(diǎn)+編程實(shí)戰(zhàn)+可視化結(jié)果，將課程知識(shí)點(diǎn)完整表達(dá)，適合教學(xué)展示、課堂交互、數(shù)字化培訓(xùn)等。

Jupyter Notebook 本質(zhì)是開(kāi)源的 Web 應(yīng)用，文檔可以被輕松創(chuàng)建和共享。在團(tuán)隊(duì)協(xié)作時(shí)，代碼、敘述文本、可視化結(jié)果結(jié)合可以清晰地表述出完整的分析過(guò)程，輕易地與他人分享研究思路、復(fù)現(xiàn)研究成果，團(tuán)隊(duì)之間迅速建立有效溝通，極大地提高協(xié)作研究效率。

3. 易于調(diào)試

在數(shù)據(jù)研究中，如果需要調(diào)用深度學(xué)習(xí)模型來(lái)測(cè)試功能時(shí)，模型往往幾百M(fèi)甚至幾個(gè)G，將模型全部加載到內(nèi)存里需要耗費(fèi)大量時(shí)間。當(dāng)加載模型確定無(wú)誤，只需調(diào)試調(diào)用模型預(yù)測(cè)數(shù)據(jù)時(shí)：

如果用 IDE，每加一行代碼或每改一個(gè)參數(shù)都會(huì)花費(fèi)大量時(shí)間重新加載模型。

如果用 Jupyter Notebook，運(yùn)行一遍代碼以后變量占用的內(nèi)存不會(huì)自動(dòng)釋放。模型加載的所有數(shù)據(jù)都在內(nèi)存里，不覆蓋變量就不需要重跑 ，因此只需將代碼分段執(zhí)行，靈活調(diào)整參數(shù)。

Jupyter Notebook 并非理想的 Notebook

基于數(shù)據(jù)科學(xué)的繁榮，尤其是探索性數(shù)據(jù)分析和開(kāi)放科學(xué)的發(fā)展，Jupyter Notebook 作為一種交互式編程的范式實(shí)現(xiàn)了自己的價(jià)值，但隨著數(shù)據(jù)科學(xué)領(lǐng)域近年的飛速變化，它面臨著更現(xiàn)實(shí)的業(yè)務(wù)問(wèn)題和技術(shù)挑戰(zhàn)。

1. 繁復(fù)、易出錯(cuò)的環(huán)境搭建與版本管理

研究之初和實(shí)際研究中，不論是對(duì)于編程新手還是技術(shù)人員，都難免經(jīng)歷一系列費(fèi)時(shí)費(fèi)力的環(huán)境搭建與版本管理過(guò)程。

環(huán)境配置問(wèn)題

不同研究項(xiàng)目使用的 Python 的解釋器版本不相同，各版本之間互不兼容且長(zhǎng)期并行，但是卻需要運(yùn)行在同一個(gè)服務(wù)器環(huán)境中。而不同的 Python 解釋器版本，對(duì)軟件包、依賴(lài)庫(kù)的管理也是個(gè)問(wèn)題。因此，在本地使用 Jupyter Notebook 時(shí)經(jīng)常因?yàn)闆_突問(wèn)題導(dǎo)致系統(tǒng)出問(wèn)題，安裝環(huán)境或服務(wù)組件失敗。

Python 官網(wǎng)下載不同 Python版本（圖源：Python 官網(wǎng)）

版本控制問(wèn)題

在實(shí)際使用 Jupyter Notebook 進(jìn)行研究的過(guò)程中難免會(huì)遇到文件回退、歷史文件對(duì)比等操作，但是 Jupyter Notebook 內(nèi)容結(jié)構(gòu)通過(guò) JSON 的方式進(jìn)行組織，源代碼 、Markdown、outputs 輸出都儲(chǔ)存在一個(gè)體積較大的 .ipynb 文件中，復(fù)雜的數(shù)據(jù)結(jié)構(gòu)會(huì)導(dǎo)致 .ipynb 文件在版本比對(duì)時(shí)的可讀性很差，無(wú)法很好地做版本控制。

2. 編程使用習(xí)慣與 IDE 不同

數(shù)據(jù)科學(xué)研究人員如果有其他編程語(yǔ)言的經(jīng)驗(yàn)，經(jīng)歷過(guò)傳統(tǒng)的 IDE 時(shí)代，使用過(guò) Visual Studio 或者類(lèi)似的 IDE 進(jìn)行開(kāi)發(fā)，對(duì)編程開(kāi)發(fā)平臺(tái)有著固有印象和特定期許，那么對(duì) Jupyter Notebook 的接受程度可能不是很高。

Jupyter Notebook 定義為研究類(lèi)調(diào)試環(huán)境，不是一個(gè)真正意義上的集成開(kāi)發(fā)環(huán)境；

Jupyter Notebook 對(duì)于成規(guī)模的項(xiàng)目來(lái)說(shuō)功能過(guò)于簡(jiǎn)單，缺少必要的項(xiàng)目工具，而 IDE 的文件管理、代碼管理、工具集成以及自動(dòng)補(bǔ)全、智能提示都相對(duì)較強(qiáng)大；

Jupyter Notebook 對(duì)于分布式調(diào)測(cè)、重型異步任務(wù)的支持不夠友好；

Jupyter Notebook 對(duì)于分布式的訓(xùn)練可以通過(guò)單機(jī)多進(jìn)程的方式進(jìn)行模擬，但對(duì)于運(yùn)行非常大規(guī)模的訓(xùn)練作業(yè)，還是需要工程化代碼開(kāi)發(fā)，并搭配測(cè)試邏輯，將任務(wù)部署在集群中進(jìn)行批量運(yùn)行。

VS code 的代碼著色、補(bǔ)全和智能提示功能（圖源：網(wǎng)絡(luò)）

P.S.（我是彩蛋）CloudIDE 是后文即將出現(xiàn)的 ModelWhale 數(shù)據(jù)科學(xué)平臺(tái)另一種形式的數(shù)據(jù)分析工具，后期推文將會(huì)著重介紹。

在線 Jupyter Notebook

時(shí)下，我們面臨著數(shù)據(jù)科學(xué)的諸多挑戰(zhàn)：

數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，對(duì)大型計(jì)算、存儲(chǔ)、及數(shù)據(jù)管理提出了新的要求。

機(jī)器學(xué)習(xí)、人工智能、增強(qiáng)現(xiàn)實(shí)、物聯(lián)網(wǎng)以及幾乎所有其他突破性技術(shù)，正在進(jìn)入工業(yè)化階段。

自然科學(xué)（如氣象學(xué)和生命科學(xué)）、經(jīng)濟(jì)學(xué)、工程學(xué)和社會(huì)科學(xué)等研究領(lǐng)域都開(kāi)始利用數(shù)據(jù)科學(xué)解決領(lǐng)域問(wèn)題。

模型的大規(guī)模、復(fù)雜性和實(shí)驗(yàn)性成為各行業(yè)工作流程的主要挑戰(zhàn)。

這意味著你可能需要一個(gè)云端數(shù)據(jù)科學(xué)工具來(lái)整合現(xiàn)有的生態(tài)系統(tǒng)和數(shù)據(jù)平臺(tái)。在 Jupyter 交互式的基礎(chǔ)上，ModelWhale 應(yīng)“云”而生，更加關(guān)注基礎(chǔ)架構(gòu)、資源配置、功能拓展、協(xié)作開(kāi)放。

1. 云原生

ModelWhale 對(duì)現(xiàn)有的本地設(shè)施沒(méi)有侵入性，能夠與原有的基礎(chǔ)設(shè)施很好地兼容，提供數(shù)據(jù)科學(xué)應(yīng)用特性所配套的計(jì)算調(diào)度引擎，使得不同的研究團(tuán)隊(duì)、工作團(tuán)隊(duì)可以根據(jù)實(shí)際需求實(shí)現(xiàn)云資源的快速拓展與高效調(diào)度，同時(shí)可便捷地接入各主流廠商的云平臺(tái)、各種類(lèi)型的計(jì)算實(shí)例，對(duì)基礎(chǔ)設(shè)施的陳舊與不足提供有力的支撐補(bǔ)給。

高校、企業(yè)、科研機(jī)構(gòu)可以利用 ModelWhale 的云原生架構(gòu)輕易搭建一站式數(shù)據(jù)科學(xué)平臺(tái)，助力研究、應(yīng)用和業(yè)務(wù)的發(fā)展。

2. 功能拓展

ModelWhale 對(duì)數(shù)據(jù)探索的流程做了許多針對(duì)性的功能優(yōu)化，包裹了實(shí)現(xiàn)細(xì)節(jié)，提供了好用的功能。個(gè)人和團(tuán)隊(duì)都可輕松上手?jǐn)?shù)據(jù)分析，快捷高效地開(kāi)展數(shù)據(jù)研究工作。

數(shù)據(jù)接入

支持多種類(lèi)型格式的本地?cái)?shù)據(jù)文件上傳接入，或直接調(diào)用公開(kāi)數(shù)據(jù)集。

支持超大數(shù)據(jù)的云上調(diào)用及分析。用戶(hù)除了可以在 ModelWhale 使用數(shù)據(jù)連接調(diào)取存放在數(shù)據(jù)庫(kù)、對(duì)象存儲(chǔ)的數(shù)據(jù)外，還可以通過(guò)創(chuàng)建 NAS 空間調(diào)取 NAS 中的各類(lèi)數(shù)據(jù)。

算力接入

面向多種規(guī)格的計(jì)算資源一鍵接入。不論是單卡CPU/GPU運(yùn)算，還是多機(jī)多卡的 GPU 組成集群算力進(jìn)行分布式訓(xùn)練，可隨實(shí)際需求一鍵勾選。多機(jī) GPU 集群，支持基于 Horovod 的環(huán)狀規(guī)約架構(gòu)，可顯著分散網(wǎng)絡(luò)傳輸?shù)膲毫ΓS著集群的規(guī)模增大計(jì)算性能線性增加。

資源用量可視可控。ModelWhale 可以對(duì)每個(gè)資源的可用群體、使用時(shí)長(zhǎng)、使用時(shí)間進(jìn)行管理配置，能夠?qū)Y源的使用情況進(jìn)行可視化監(jiān)控，支持對(duì)資源的權(quán)限審核機(jī)制。

環(huán)境管理

ModelWhale 真正做到了開(kāi)箱即用，無(wú)需任何軟件安裝及環(huán)境部署，解決了科研初期基礎(chǔ)設(shè)施配置搭建的繁瑣消耗，提供了豐富的鏡像資源，包含大量數(shù)據(jù)科學(xué)和其他交叉學(xué)科的常用工具包（如：氣象、生命科學(xué)等）。

用戶(hù)可以根據(jù)需求利用標(biāo)簽篩選官方預(yù)置的安全穩(wěn)定的鏡像環(huán)境，也可以自定義鏡像環(huán)境，滿足個(gè)人或團(tuán)隊(duì)的特定運(yùn)算需求。

ModelWhale 的環(huán)境管理為每一個(gè)數(shù)據(jù)科學(xué)項(xiàng)目創(chuàng)建了隔離的開(kāi)發(fā)環(huán)境，每個(gè)開(kāi)發(fā)環(huán)境所安裝的包和依賴(lài)相互獨(dú)立，可以確保項(xiàng)目的開(kāi)發(fā)環(huán)境不相互干擾和污染。

版本控制

面對(duì)研究過(guò)程中多次修改或者迭代數(shù)次的項(xiàng)目?jī)?nèi)容，如果打算保留每個(gè)版本，就需要在每次修改前創(chuàng)建副本并重新命名，最終很可能導(dǎo)致研究者本人都無(wú)法區(qū)分有效版本。

ModelWhale 支持為復(fù)雜研究項(xiàng)目的階段性工作進(jìn)行版本管理，提供了生成項(xiàng)目版本、版本比對(duì)、內(nèi)容替換、合并版本的功能。針對(duì)每處修改，用戶(hù)可以實(shí)現(xiàn)文件級(jí)回退與 Cell 級(jí)回溯。團(tuán)隊(duì)成員也能直接查看修改歷史，將注意力放在最為重要的創(chuàng)作上，安全高效地開(kāi)展團(tuán)隊(duì)協(xié)作。

生產(chǎn)資料共享

大部分的數(shù)據(jù)研究，實(shí)質(zhì)是對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行重構(gòu)和再構(gòu)，是利用數(shù)據(jù)再生內(nèi)容和驅(qū)動(dòng)內(nèi)容的過(guò)程。已有研究?jī)?nèi)容的開(kāi)放、分享和共享，是生產(chǎn)和應(yīng)用的基礎(chǔ)，也是團(tuán)隊(duì)協(xié)作的前提。

ModelWhale 可以一鍵 Fork 團(tuán)隊(duì)成員以及和鯨社區(qū)產(chǎn)出的相關(guān)項(xiàng)目、數(shù)據(jù)集?？蒲羞^(guò)程中的所有生產(chǎn)內(nèi)容，如數(shù)據(jù)、代碼、環(huán)境，皆可打包為項(xiàng)目復(fù)制到自己的工作區(qū)，或者發(fā)布為云端的數(shù)據(jù)集、算法、模型服務(wù)，便于重用和管理，讓團(tuán)隊(duì)不同成員、企業(yè)不同部門(mén)之間有效協(xié)作，提升工作效率。

3. 協(xié)作開(kāi)放

數(shù)據(jù)研究離不開(kāi)團(tuán)隊(duì)協(xié)作，ModelWhale 提供了清晰易用的協(xié)作空間和靈活可控的管理體系。團(tuán)隊(duì)成員之間資源共享、信息融合，有效地推進(jìn)項(xiàng)目進(jìn)展，提高團(tuán)隊(duì)科研創(chuàng)新的質(zhì)量和水平，同時(shí)為基礎(chǔ)設(shè)施賦能，計(jì)算資源彈性調(diào)度，從容應(yīng)對(duì)多變科研場(chǎng)景。

團(tuán)隊(duì)空間

ModelWhale 提供了團(tuán)隊(duì)的共享視圖，可以靈活地對(duì)各類(lèi)研究課題、算法項(xiàng)目、分析任務(wù)，進(jìn)行分工拆解、任務(wù)分配、數(shù)據(jù)接入、資源分配、進(jìn)度監(jiān)控、成果驗(yàn)收、成果復(fù)用等項(xiàng)目管理工作。

同時(shí)為有教學(xué)和培訓(xùn)需求的團(tuán)隊(duì)提供了教學(xué)評(píng)一體的課程模塊，整合了教學(xué)內(nèi)容管理、課程管理、作業(yè)評(píng)測(cè)系統(tǒng)，有效提高了教師的工作效率，改善了教學(xué)管理的質(zhì)量，促進(jìn)了學(xué)生對(duì)數(shù)據(jù)分析實(shí)戰(zhàn)的參與性和積極性。

團(tuán)隊(duì)數(shù)據(jù)、代碼、項(xiàng)目等資料可沉淀在共享知識(shí)庫(kù)中，并輕松接入官方預(yù)置實(shí)戰(zhàn)案例及外部豐富的案例資源。

組織管理

ModelWhale 可實(shí)現(xiàn)統(tǒng)一高效的數(shù)據(jù)管理和資源調(diào)度。

數(shù)據(jù)管理

ModelWhale 始終保障數(shù)據(jù)安全，對(duì)多數(shù)據(jù)源類(lèi)型進(jìn)行統(tǒng)一管理，各環(huán)節(jié)具有嚴(yán)格的權(quán)限控制。管理員可以控制和分配數(shù)據(jù)庫(kù)的訪問(wèn)權(quán)限，每個(gè)數(shù)據(jù)集都有獨(dú)立的權(quán)限管理、文檔管理。結(jié)構(gòu)化數(shù)據(jù)可自動(dòng)解析統(tǒng)計(jì)性描述，提供數(shù)據(jù)文檔記錄數(shù)據(jù)字典與背景信息，幫助用戶(hù)在使用前快速了解數(shù)據(jù)。數(shù)據(jù)可一鍵掛載到不同的研究項(xiàng)目、關(guān)聯(lián)到團(tuán)隊(duì)知識(shí)庫(kù)中，便于管理具體研究協(xié)作中的數(shù)據(jù)使用情況。

算力管理

ModelWhale 以云計(jì)算能力為基礎(chǔ)，自主研發(fā)了高可用的算力調(diào)度器，具備按需計(jì)算、彈性擴(kuò)容的優(yōu)勢(shì)，從而可以支持從1個(gè)用戶(hù)到數(shù)千個(gè)用戶(hù)的低成本、高效率地快速拓展，也可滿足大規(guī)模分布式的模型訓(xùn)練需求。

ModelWhale 同時(shí)提供了對(duì)單個(gè)成員的資源用量監(jiān)控，在項(xiàng)目開(kāi)展前后可以有效規(guī)劃資源、保障計(jì)算資源的合理分配使用。企業(yè)機(jī)構(gòu)無(wú)需提前進(jìn)行資源容量規(guī)劃，資源成本有效降低，不再為閑置資源付費(fèi)。

低代碼、拖拽式編程

低代碼是什么？

低代碼是基于可視化和模型驅(qū)動(dòng)理念，讓不懂代碼的人，直接使用經(jīng)封裝的常用機(jī)器學(xué)習(xí)算法組件，通過(guò)“拖拉拽”組件，完成應(yīng)用模型的搭建。

ModelWhale Canvas 基于這種低代碼范式，結(jié)合云原生與多端體驗(yàn)技術(shù)，在多數(shù)業(yè)務(wù)場(chǎng)景下實(shí)現(xiàn)大幅度的提效降本，為團(tuán)隊(duì)協(xié)作提供了一種全新的高生產(chǎn)力開(kāi)發(fā)范式。運(yùn)用 Canvas：

不需要寫(xiě)很多代碼，對(duì)于純業(yè)務(wù)側(cè)、低代碼能力的科研人員通過(guò)可視化的圖形連接就能構(gòu)建研究框架和模型雛形。

結(jié)果可以一鍵導(dǎo)出 Notebook，組件直接轉(zhuǎn)化為代碼，確?？蓮?fù)現(xiàn)性的同時(shí)，支持在基礎(chǔ)的分析框架上進(jìn)行更精細(xì)的建模工作，方便數(shù)據(jù)科學(xué)家等進(jìn)一步優(yōu)化。

技術(shù)人員可以在 Canvas 里面預(yù)構(gòu)建模型組件和封裝常用工作流 Flow，方便業(yè)務(wù)人員直接套用。

技術(shù)人員可以根據(jù)分析需求編寫(xiě)自定義組件，優(yōu)化組件內(nèi)容結(jié)構(gòu)，提升組件能力上限。

為什么要用低代碼？

1. 可視化模型驅(qū)動(dòng)數(shù)據(jù)研究

低代碼提供了新的交互形式：可視化的圖形組件。可視化的模型是業(yè)務(wù)和技術(shù)共享的視覺(jué)語(yǔ)言，無(wú)差別無(wú)二義性，為業(yè)務(wù)人員搭建模型和數(shù)據(jù)研究人員優(yōu)化模型帶來(lái)了溝通的橋梁。雙方基于可視化的圖形組件：

業(yè)務(wù)專(zhuān)家可以向開(kāi)發(fā)人員展示業(yè)務(wù)的主要需求和難點(diǎn)，便于數(shù)據(jù)科學(xué)家熟悉和理解業(yè)務(wù)架構(gòu)。

數(shù)據(jù)科學(xué)家可以向業(yè)務(wù)專(zhuān)家演示一些常見(jiàn)的或者創(chuàng)新的解決方案，方便業(yè)務(wù)人員調(diào)整業(yè)務(wù)邏輯。

2. 低代碼拖拽改善協(xié)作方式

按照傳統(tǒng)的模式，在實(shí)際的數(shù)據(jù)工作中，業(yè)務(wù)部門(mén)只能描述需求，開(kāi)發(fā)人員又不熟悉業(yè)務(wù)，項(xiàng)目上線通常需要耗費(fèi)大量時(shí)間才能開(kāi)發(fā)完成，這會(huì)影響業(yè)務(wù)創(chuàng)新的進(jìn)程。

低代碼可以有效促進(jìn)業(yè)務(wù)人員和數(shù)據(jù)科學(xué)家、IT人員之間的協(xié)作，突出了協(xié)作中的敏捷開(kāi)發(fā)理念和數(shù)據(jù)科學(xué)實(shí)踐的結(jié)合。業(yè)務(wù)人員更接近生產(chǎn)，并且不影響原本生產(chǎn)環(huán)境的安全性、可擴(kuò)展性和長(zhǎng)期可維護(hù)性。使用低代碼、拖拽式編程：

業(yè)務(wù)人員可以快速搭建出模型，同時(shí)可以一邊試用模型，一邊與數(shù)據(jù)科學(xué)家進(jìn)行探討，找到思路差異的部分；

數(shù)據(jù)科學(xué)家也可以輕易將模型組件轉(zhuǎn)化為代碼，一邊優(yōu)化完善，一邊與業(yè)務(wù)人員確認(rèn)。

使用這種敏捷開(kāi)發(fā)模式，數(shù)據(jù)建模通?？梢钥焖偻七M(jìn)，修改部分業(yè)務(wù)邏輯后，模型服務(wù)很快就能上線。同時(shí)，推廣到各部門(mén)應(yīng)用之后，會(huì)繼續(xù)反饋各種開(kāi)發(fā)需求，基于低代碼開(kāi)發(fā)的模型服務(wù)核心業(yè)務(wù)邏輯采用配置的方式實(shí)現(xiàn)，只需要調(diào)整參數(shù)配置就可以快速的響應(yīng)需求，并更新到正式環(huán)境。

Canvas 與 Notebook 的互補(bǔ)與轉(zhuǎn)換

同樣是基于云端平臺(tái)的基礎(chǔ)架構(gòu)和功能延拓，Canvas 與 Notebook 之間不止是分析建模方式的不同，更重要地是協(xié)同方式的互補(bǔ)與轉(zhuǎn)換。

ModelWhale 針對(duì)不同場(chǎng)景的數(shù)據(jù)團(tuán)隊(duì)，提供不同的工作方式，支持以項(xiàng)目為主體來(lái)管理實(shí)際的研究。項(xiàng)目?jī)?nèi)提供不同角色不同工作流下的協(xié)作功能。包括 Notebook 的代碼級(jí)協(xié)作、Notebook 的常用代碼封裝組件、Canvas 拖拉拽分析建模、Canvas 結(jié)果與 Notebook 的轉(zhuǎn)化。

Canvas 專(zhuān)注于數(shù)據(jù)建模和業(yè)務(wù)邏輯實(shí)現(xiàn)，重點(diǎn)關(guān)注的是模型框架而不是具體編程。對(duì)于業(yè)務(wù)人員、領(lǐng)域?qū)＜襾?lái)說(shuō)，采用圖形化的拖拽操作就可以完成簡(jiǎn)單的模型構(gòu)建，表現(xiàn)業(yè)務(wù)邏輯和領(lǐng)域經(jīng)驗(yàn)；

Notebook 注重研究思路的記錄，關(guān)注數(shù)據(jù)科學(xué)本身。對(duì)于代碼優(yōu)先的數(shù)據(jù)科學(xué)家、IT人員，可以直接在 Notebook 中編寫(xiě)代碼、探索創(chuàng)作，并可將常用的代碼封裝為 Canvas 組件便于業(yè)務(wù)人員的直接調(diào)取使用；也可以選擇在 Canvas 低代碼界面編寫(xiě)代碼、自定義組件來(lái)實(shí)現(xiàn)功能，或通過(guò) Canvas 一鍵轉(zhuǎn)換為 Notebook 延續(xù) Notebook 的代碼編寫(xiě)習(xí)慣直接優(yōu)化代碼。

ModelWhale 以人為徑，助力協(xié)同創(chuàng)新

ModelWhale 以人為徑，是將不同業(yè)務(wù)能力、不同技術(shù)水平的企業(yè)機(jī)構(gòu)成員，當(dāng)作連通解決方案的途徑，助推高校、企業(yè)、機(jī)構(gòu)的人才賦能，改進(jìn)工作流程，改善共享與協(xié)作方式，回應(yīng)業(yè)務(wù)痛點(diǎn)，達(dá)成研究目標(biāo)，實(shí)現(xiàn)創(chuàng)新價(jià)值。

海量數(shù)據(jù)挖掘、數(shù)據(jù)密集型研究的應(yīng)用范式

很多行業(yè)的數(shù)據(jù)私密性很高，數(shù)據(jù)量龐大，而大部分?jǐn)?shù)據(jù)研究平臺(tái)的基礎(chǔ)設(shè)施不足以支撐大型高并發(fā)GPU運(yùn)算需求，研究人員的算法環(huán)境也不近相同。在實(shí)際數(shù)據(jù)挖掘分析過(guò)程中會(huì)經(jīng)常遇到多來(lái)源數(shù)據(jù)管理難、大規(guī)模計(jì)算調(diào)度難、數(shù)據(jù)分析環(huán)境統(tǒng)一難、交叉領(lǐng)域研究協(xié)同難等瓶頸，缺乏新的平臺(tái)助推研究人員的數(shù)據(jù)建模工作以及各領(lǐng)域數(shù)據(jù)挖掘成果的協(xié)同與管理工作。

ModelWhale 可以提供：

從底層架構(gòu)保障數(shù)據(jù)安全，基于現(xiàn)有基礎(chǔ)設(shè)施優(yōu)化工作結(jié)構(gòu)，提供私有化部署的云端計(jì)算平臺(tái)；

本地計(jì)算資源有效擴(kuò)容，多類(lèi)型數(shù)據(jù)源與GPU集群輕松接入，實(shí)現(xiàn)數(shù)據(jù)和硬件資源的集約化管理和彈性調(diào)度分配，大幅度提效降本；

研究環(huán)境開(kāi)箱即用，有效降低科研門(mén)檻，集成最新機(jī)器學(xué)習(xí)算法庫(kù)，以及各領(lǐng)域?qū)I(yè)工具包，即使是復(fù)雜研究項(xiàng)目也可多版本管理，賦能數(shù)據(jù)研究的開(kāi)展；

為協(xié)作共享提供了新的交互形式，數(shù)據(jù)、代碼、環(huán)境等研究資料一鍵打包共享，讓跨地域、跨部門(mén)、跨團(tuán)隊(duì)之間的協(xié)作在云端實(shí)現(xiàn)。

專(zhuān)業(yè)性強(qiáng)、工程能力相對(duì)較弱的復(fù)合型分析研究者的強(qiáng)力支撐

業(yè)務(wù)人員大多擁有豐富的一線經(jīng)驗(yàn)，但相對(duì)代碼工程能力薄弱。目前主要依賴(lài)口口相傳及業(yè)務(wù)需求分享，提出高價(jià)值的數(shù)據(jù)研究應(yīng)用思路，再進(jìn)一步與數(shù)據(jù)科學(xué)家、IT技術(shù)人員合作實(shí)現(xiàn)領(lǐng)域數(shù)據(jù)的分析需求，但跨角色協(xié)作傳播力度有限，分析思路與研究成果難以系統(tǒng)化地被復(fù)現(xiàn)轉(zhuǎn)化應(yīng)用。

利用 ModelWhale 的低代碼、拖拽式 Canvas 可以：

降低科研門(mén)檻，直觀地保留了業(yè)務(wù)經(jīng)驗(yàn)：使業(yè)務(wù)人員通過(guò)拖拽式組件直接搭建工作流 Flow ，完成業(yè)務(wù)邏輯的直觀體現(xiàn)和模型應(yīng)用的雛形。

有效提高了信息研究的教學(xué)質(zhì)量：將復(fù)雜的數(shù)據(jù)分析代碼圖形化簡(jiǎn)易封裝、繁瑣的數(shù)據(jù)分析步驟用可視化組件的連接有序展現(xiàn)、數(shù)據(jù)分析流程及每一步的產(chǎn)出結(jié)果清晰可見(jiàn)，再通過(guò) Canvas 轉(zhuǎn) Notebook 代碼的方式，以數(shù)據(jù)分析流程思維一一對(duì)應(yīng)代碼的編寫(xiě)，更易理解和上手代碼。

優(yōu)化跨角色的工作流程：Canvas 轉(zhuǎn)化后的代碼可以交由更熟悉編程的數(shù)據(jù)科學(xué)家、IT人員進(jìn)一步優(yōu)化，進(jìn)行精細(xì)化調(diào)整。

從而強(qiáng)力支撐：

面向業(yè)務(wù)人員、領(lǐng)域?qū)＜业臄?shù)據(jù)分析教學(xué)、培訓(xùn)、應(yīng)用，讓不同學(xué)科背景下編程能力較弱的非專(zhuān)業(yè)級(jí)數(shù)據(jù)科學(xué)家、復(fù)合型分析研究者掌握獨(dú)立自主的數(shù)據(jù)分析能力；

同時(shí)滿足數(shù)據(jù)分析部門(mén)和業(yè)務(wù)部門(mén)的不同技術(shù)水平的需求，為業(yè)務(wù)人員與數(shù)據(jù)科學(xué)家、IT技術(shù)人員的有效溝通協(xié)作建立了橋梁，實(shí)現(xiàn)了復(fù)雜研究領(lǐng)域的跨角色協(xié)同工作。

結(jié)尾

ModelWhale 數(shù)據(jù)科學(xué)平臺(tái)所提供的，不論是 Jupyter Notebook 交互式編程，還是低代碼拖拽式編程，都是為了協(xié)助不同角色、不同編程能力的用戶(hù)能夠更流暢高效地進(jìn)行分析建模及項(xiàng)目協(xié)作。ModelWhale 不僅可以云端即開(kāi)即用，同時(shí)還支持本地私有化部署，滿足企業(yè)、高校、科研機(jī)構(gòu)、政府機(jī)構(gòu)不同應(yīng)用場(chǎng)景下多樣化的研究及業(yè)務(wù)需求。

可以肯定的是，數(shù)據(jù)科學(xué)平臺(tái)會(huì)隨著數(shù)據(jù)研究壁壘的逐漸降低，企業(yè)機(jī)構(gòu)以數(shù)據(jù)為導(dǎo)向的決策需求的不斷推進(jìn)，云端數(shù)據(jù)分析工具的不斷發(fā)展，更加重視可擴(kuò)展性、強(qiáng)調(diào)用戶(hù)體驗(yàn)、重視非專(zhuān)業(yè)級(jí)數(shù)據(jù)科學(xué)家、重視團(tuán)隊(duì)協(xié)同創(chuàng)新的場(chǎng)景，尤其是借助低代碼拖拽式工具實(shí)現(xiàn)的自動(dòng)建模，數(shù)據(jù)科學(xué)平臺(tái)將會(huì)更先進(jìn)和完善，甚至可以成為一種更低門(mén)檻、更強(qiáng)交互、可廣泛培訓(xùn)的工具技能。

來(lái)源：Model Whale