大數(shù)據(jù)時(shí)代下，科學(xué)大數(shù)據(jù)已經(jīng)成為科技創(chuàng)新和社會(huì)經(jīng)濟(jì)發(fā)展的新動(dòng)力。生物信息學(xué)經(jīng)過(guò)近30年的發(fā)展，從最初的基因組數(shù)據(jù)的收集和存儲(chǔ)，到利用數(shù)學(xué)建模和人工智能思想，挖掘數(shù)據(jù)背后的生物學(xué)意義、對(duì)樣本數(shù)據(jù)進(jìn)行合理分類、建立合理的二級(jí)和三級(jí)數(shù)據(jù)庫(kù)，再到利用比較基因組學(xué)的方法，通過(guò)短讀序列拼接、基因預(yù)測(cè)和功能注釋，已有一定的能力用于處理龐大復(fù)雜的基因組數(shù)據(jù)。2019年，科技部、財(cái)政部對(duì)原有國(guó)家平臺(tái)開(kāi)展優(yōu)化調(diào)整工作，通過(guò)部門推薦和專家咨詢，經(jīng)研究共形成20個(gè)國(guó)家科學(xué)數(shù)據(jù)中心，其中包括國(guó)家基因組科學(xué)數(shù)據(jù)中心、國(guó)家微生物科學(xué)數(shù)據(jù)中心、國(guó)家人口健康科學(xué)數(shù)據(jù)中心等。我國(guó)是生物數(shù)據(jù)生產(chǎn)大國(guó)，生命大數(shù)據(jù)是人口健康和國(guó)家安全的重要戰(zhàn)略資源。然而我國(guó)生物數(shù)據(jù)面臨因存儲(chǔ)零散，缺乏系統(tǒng)監(jiān)管而丟失和流失的問(wèn)題，亟需建設(shè)我國(guó)自己的生命大數(shù)據(jù)保存和管理體系。

現(xiàn)階段，科研院所、企業(yè)已經(jīng)意識(shí)到數(shù)據(jù)的重要性，在不斷地投入基礎(chǔ)建設(shè)、硬件資源保存和管理數(shù)據(jù)，并逐步向應(yīng)用層拓展，充分挖掘大數(shù)據(jù)的價(jià)值。某研究所為了應(yīng)對(duì)龐大的數(shù)據(jù)量購(gòu)置了眾多的計(jì)算和存儲(chǔ)資源，然而卻沒(méi)有專業(yè)的IT人員進(jìn)行統(tǒng)一的管理和優(yōu)化使用，另外，生物信息分析應(yīng)用流程沒(méi)有標(biāo)準(zhǔn)化管理，命令行調(diào)用的生物信息分析流程不能滿足所有人的使用，需要將流程進(jìn)行可視化封裝。隨著新購(gòu)置高通量測(cè)序儀的投入使用，現(xiàn)階段計(jì)算存儲(chǔ)資源也已經(jīng)不能滿足需求，需要進(jìn)一步擴(kuò)容。

實(shí)施時(shí)間：

基于上述案例背景，某研究所采購(gòu)組學(xué)大數(shù)據(jù)分析平臺(tái)，與榮聯(lián)達(dá)成合作，項(xiàng)目實(shí)施重要節(jié)點(diǎn)如下：

2020年5月，組學(xué)大數(shù)據(jù)分析平臺(tái)平臺(tái)采購(gòu)項(xiàng)目競(jìng)爭(zhēng)性磋商；
2020年5月，組學(xué)大數(shù)據(jù)分析平臺(tái)平臺(tái)采購(gòu)項(xiàng)目投標(biāo)；
2020年6月，中標(biāo)成功，雙方簽訂合同；
2020年6月，榮聯(lián)備貨、發(fā)貨；
2020年7月，到貨，榮聯(lián)技術(shù)人員到場(chǎng)實(shí)施；
2020年7月，與原有計(jì)算存儲(chǔ)資源進(jìn)行統(tǒng)一協(xié)調(diào)；
2020年8月，生物信息分析流程進(jìn)行遷移、定制化開(kāi)發(fā)、標(biāo)準(zhǔn)化、可視化封裝；
2020年8月，平臺(tái)進(jìn)行測(cè)試，聯(lián)調(diào)以及試運(yùn)行；
2020年9月，平臺(tái)驗(yàn)收成功。

應(yīng)用場(chǎng)景

組學(xué)大數(shù)據(jù)分析平臺(tái)是專注于二代、三代基因測(cè)序數(shù)據(jù)以及組學(xué)數(shù)據(jù)的存儲(chǔ)、計(jì)算、管理和行業(yè)應(yīng)用的一站式系統(tǒng)。系統(tǒng)包括Helicube計(jì)算調(diào)度引擎、生物信息學(xué)分析工具和流程、本地化各類數(shù)據(jù)庫(kù)、Database.bio基因組瀏覽器以及可視化生物信息分析平臺(tái)。應(yīng)用范圍涵蓋精準(zhǔn)醫(yī)學(xué)、動(dòng)植物、微生物、檢驗(yàn)檢疫、農(nóng)業(yè)等各領(lǐng)域組學(xué)分析。適用于以高通量測(cè)序技術(shù)作為主要研究手段的企業(yè)、醫(yī)院、科研院所機(jī)構(gòu)。支持用戶本地化部署和榮聯(lián)生物云云端部署兩種方式。

此次協(xié)助某研究所搭建的組學(xué)大數(shù)據(jù)分析平臺(tái)主要應(yīng)用于多組學(xué)的大數(shù)據(jù)分析挖掘平臺(tái)，集成生物信息學(xué)分析平臺(tái)（全基因組測(cè)序、全外顯子測(cè)序、轉(zhuǎn)錄組測(cè)序、16s擴(kuò)增子測(cè)序分析、宏基因組測(cè)序數(shù)據(jù)分析等），跨組學(xué)數(shù)據(jù)集成分析等技術(shù)平臺(tái)，同時(shí)具有規(guī)?；⒏咄?、大數(shù)據(jù)研究及技術(shù)整合的特點(diǎn)。

此平臺(tái)充分使用生物信息學(xué)分析方法，以基因測(cè)序和云計(jì)算平臺(tái)為技術(shù)手段來(lái)分析生命遺傳、變異等特性的研究平臺(tái)，是針對(duì)高通量測(cè)序下機(jī)數(shù)據(jù)的存儲(chǔ)、計(jì)算、管理、應(yīng)用分析整體化的解決方案，平臺(tái)包含多種組學(xué)數(shù)據(jù)分析流程、工具、數(shù)據(jù)庫(kù)資源，可視化的操作界面，更加便于用戶的使用。平臺(tái)不僅包含全面的組學(xué)分析流程，同時(shí)要求具備較強(qiáng)的數(shù)據(jù)計(jì)算、管理能力以及極強(qiáng)的并發(fā)處理能力，可以彈性對(duì)接云計(jì)算資源。支持可視化分析，也可支持命令行分析，可以為眾多科研任務(wù)同時(shí)提供分布式的計(jì)算、存儲(chǔ)、數(shù)據(jù)管理以及可視化分析服務(wù)。

面臨挑戰(zhàn)

研究取得突破和發(fā)展是依靠對(duì)科技資源和數(shù)據(jù)的全面掌握與深入挖掘分析，如何快速、準(zhǔn)確地處理龐大的數(shù)據(jù)，是目前面臨的挑戰(zhàn)。為此，某研究所多次進(jìn)行平臺(tái)建設(shè)以滿足數(shù)據(jù)的增長(zhǎng)需求，隨之而來(lái)的是眾多的計(jì)算和存儲(chǔ)資源無(wú)法進(jìn)行統(tǒng)一的管理，也沒(méi)有實(shí)現(xiàn)資源最優(yōu)的配置使用。數(shù)據(jù)的持續(xù)增長(zhǎng)，平臺(tái)需要進(jìn)一步擴(kuò)容，使得前期的各種問(wèn)題暴露，因此研究所希望能對(duì)以往計(jì)算存儲(chǔ)資源進(jìn)行評(píng)估、擴(kuò)容，最終進(jìn)行統(tǒng)一管理，不僅如此，生物信息分析流程也需要標(biāo)準(zhǔn)化、可視化封裝，方便科研人員的快捷使用。為了挖掘數(shù)據(jù)價(jià)值，平臺(tái)設(shè)計(jì)管理訪問(wèn)權(quán)限，最終實(shí)現(xiàn)數(shù)據(jù)共享，分級(jí)管理。

面臨的挑戰(zhàn)總結(jié)如下：

1.多套存儲(chǔ)環(huán)境和應(yīng)用平臺(tái)需要統(tǒng)一管理；
2.生物信息流程是命令行訪問(wèn)，需要一定的專業(yè)基礎(chǔ)，不方便非生物信息專業(yè)的科研人員使用，需要進(jìn)行標(biāo)準(zhǔn)化、可視化封裝；
3.新購(gòu)置高通量測(cè)序儀投入使用，包括二代測(cè)序儀和三代測(cè)序儀，目前存儲(chǔ)單元不能滿足新上測(cè)序儀的分析需求；
4.長(zhǎng)遠(yuǎn)考慮，隨著業(yè)務(wù)量的增長(zhǎng)，平臺(tái)需要可在線快速擴(kuò)容；
5.需要對(duì)原有計(jì)算、存儲(chǔ)資源充分利舊。

數(shù)據(jù)支持

針對(duì)某研究所需求，配備專業(yè)的IT技術(shù)人員和生物信息技術(shù)人員一同評(píng)估，設(shè)計(jì)合理的存儲(chǔ)、計(jì)算資源方案和生物信息分析流程的個(gè)性化開(kāi)發(fā)部署。

存儲(chǔ)資源：評(píng)估某研究所測(cè)序儀滿負(fù)荷運(yùn)行時(shí)一年產(chǎn)生的下機(jī)數(shù)據(jù)量，大約PB級(jí)；初步先按照30%負(fù)載進(jìn)行存儲(chǔ)設(shè)計(jì)規(guī)劃存儲(chǔ)空間。存儲(chǔ)空間具備橫向、縱向擴(kuò)展性。原有的存儲(chǔ)資源，可用作備份存儲(chǔ)。分布式存儲(chǔ)可以滿足計(jì)算存儲(chǔ)的需求，雙控制器橫向及縱向擴(kuò)展模式，包括控制單元和存儲(chǔ)單元。

計(jì)算平臺(tái)：MGISEQ200以及MGISEQ2000等測(cè)序儀下機(jī)數(shù)據(jù)格式為fq，在云平臺(tái)上進(jìn)行數(shù)據(jù)質(zhì)量控制以及后續(xù)的二次分析。需要新增計(jì)算資源納入云平臺(tái)，用于下機(jī)數(shù)據(jù)的生物信息學(xué)分析，統(tǒng)一使用云平臺(tái)進(jìn)行調(diào)度、管理。而原有的計(jì)算資源也要逐步遷移應(yīng)用，納入云平臺(tái)。進(jìn)行統(tǒng)一管理。原有的服務(wù)器在增加配件后也可納入云平臺(tái)。

SaaS云平臺(tái)：需要豐富的生物信息分析工具和流程，可一鍵操作。支持多場(chǎng)景多元化數(shù)據(jù)分析，為生物數(shù)據(jù)挖掘賦能。

應(yīng)用技術(shù)與實(shí)施過(guò)程

基于某研究所現(xiàn)存設(shè)備狀況及需求，設(shè)計(jì)整體的平臺(tái)數(shù)據(jù)架構(gòu)。從基礎(chǔ)建設(shè)到應(yīng)用層流程部署。

平臺(tái)數(shù)據(jù)中心架構(gòu)：

一站式數(shù)據(jù)管理、生物信息分析、數(shù)據(jù)發(fā)布可視化云平臺(tái)：

根據(jù)某研究所數(shù)據(jù)量部署分布式存儲(chǔ)系統(tǒng)、分布式計(jì)算系統(tǒng)以及數(shù)據(jù)管理系統(tǒng)。

分布式存儲(chǔ)系統(tǒng)：

隨著分析算法和工具的不斷豐富，不同分析階段訪問(wèn)數(shù)據(jù)的模式也越來(lái)越多樣化，對(duì)于存儲(chǔ)的帶寬、IOPS和延遲等性能指標(biāo)都有不同的需求，所以無(wú)法通過(guò)單一的存儲(chǔ)系統(tǒng)來(lái)解決生物信息分析所面對(duì)的所有問(wèn)題。正確的做法是在理解生物信息分析應(yīng)用的基礎(chǔ)上，做極致的性能優(yōu)化，集合多套存儲(chǔ)系統(tǒng)，把他們有效的整合在一起，達(dá)到物盡其用的效果。通過(guò)與數(shù)據(jù)管理與計(jì)算系統(tǒng)的結(jié)合，使得數(shù)據(jù)不再僵化的存儲(chǔ)在一個(gè)統(tǒng)一的大池子里面，而是能夠智能的流動(dòng)起來(lái)。為某研究所部署分布式存儲(chǔ)系統(tǒng)。

分布式計(jì)算系統(tǒng)：

隨著數(shù)據(jù)規(guī)模的不斷膨脹，運(yùn)算的規(guī)模和復(fù)雜度也會(huì)不斷的增加，這就產(chǎn)生了很多問(wèn)題：首先是規(guī)模問(wèn)題，因?yàn)閿?shù)據(jù)量大了，必然會(huì)遇到規(guī)模的瓶頸，突破規(guī)模瓶頸是“算”遇到的第一個(gè)問(wèn)題；接下來(lái)需要對(duì)應(yīng)用的感知，因?yàn)樯镄畔⒎治鏊玫降牧鞒毯统绦蛟絹?lái)越多樣化，數(shù)據(jù)類型也越來(lái)越復(fù)雜，很難用傳統(tǒng)的計(jì)算調(diào)度方式來(lái)滿足。比如有些分析是浮點(diǎn)密集型的，而有些是多核并發(fā)的，對(duì)于前者需要用到高主頻的CPU，而對(duì)于后者則應(yīng)采用眾核的系統(tǒng)。同樣，不同的存儲(chǔ)系統(tǒng)的特性也是不一樣的，不可能用一套存儲(chǔ)來(lái)滿足各種類型數(shù)據(jù)的存儲(chǔ)需要。所以對(duì)于算來(lái)說(shuō)要能夠驅(qū)動(dòng)應(yīng)用感知，隨著計(jì)算的推演能夠選擇合適的計(jì)算和存儲(chǔ)資源。

數(shù)據(jù)管理MetaHunter：

實(shí)際上存儲(chǔ)系統(tǒng)只是解決了數(shù)據(jù)空間的問(wèn)題，除此之外，還需要對(duì)數(shù)據(jù)進(jìn)行管理。數(shù)據(jù)管理的對(duì)象是數(shù)據(jù)的描述信息，即元數(shù)據(jù)，以及用戶定義的生物信息相關(guān)數(shù)據(jù)，如：物種信息，項(xiàng)目信息，SNP 變異注視等等。需要具備的能力是對(duì)預(yù)定義的和實(shí)時(shí)根據(jù)策略提取的元數(shù)據(jù)通過(guò)建立的各種高級(jí)索引組織在一起，形成結(jié)構(gòu)化/半結(jié)構(gòu)化的數(shù)據(jù)，以供快速的根據(jù)特征發(fā)現(xiàn)數(shù)據(jù)、動(dòng)態(tài)組織數(shù)據(jù)集、多維度的對(duì)數(shù)據(jù)進(jìn)行排序、挖掘，根據(jù)結(jié)果數(shù)據(jù)溯源分析流程及流程每一階段的工具版本。

元數(shù)據(jù)管理 —— 真正大數(shù)據(jù)感知，構(gòu)建數(shù)據(jù)處理與業(yè)務(wù)創(chuàng)新的橋梁：

• 秒級(jí)數(shù)據(jù)發(fā)現(xiàn)：不再依賴數(shù)據(jù)存儲(chǔ)路徑，通過(guò)數(shù)據(jù)特征（標(biāo)簽）快速準(zhǔn)確找到數(shù)據(jù)。
• 多維度數(shù)據(jù)觀察: 根據(jù)任意（工業(yè)或行業(yè)）屬性發(fā)現(xiàn)數(shù)據(jù)，使空間分配和調(diào)配更合理。
• 動(dòng)態(tài)構(gòu)建數(shù)據(jù)層次視圖：根據(jù)用戶需求可以瞬間生成全新的數(shù)據(jù)層級(jí)組織關(guān)系。

SaaS云平臺(tái)——可視化生物信息分析平臺(tái)：

為了更好的幫助客戶搭建流程，榮聯(lián)派出生物信息技術(shù)人員到某研究所駐場(chǎng)工作，完成生物信息分析流程的開(kāi)發(fā)、遷移、優(yōu)化，整合大量生物信息學(xué)流程和軟件。所有生物信息學(xué)流程部署在云平臺(tái)上并進(jìn)行可視化封裝，分析流程采用拖拽式即可完成部署，簡(jiǎn)便易操作。助力某研究所高效獲取、挖掘和轉(zhuǎn)化生命科學(xué)領(lǐng)域數(shù)據(jù)價(jià)值。

云平臺(tái)簡(jiǎn)單易用，可以按需部署常用工具集和分析流程，也支持用戶自己對(duì)分析流程編輯，零代碼基礎(chǔ)要求，拖拽式操作。作業(yè)狀態(tài)提醒支持系統(tǒng)消息和郵件提醒。

平臺(tái)中以項(xiàng)目為管理單元，項(xiàng)目可分享協(xié)作。項(xiàng)目創(chuàng)建者可以加入項(xiàng)目成員并可控制權(quán)限。

同一個(gè)項(xiàng)目?jī)?nèi)可以共享文件、流程和分析結(jié)果，實(shí)現(xiàn)多人團(tuán)隊(duì)協(xié)作。方便團(tuán)隊(duì)間多級(jí)權(quán)限管理，使項(xiàng)目分配更加合理。

平臺(tái)在使用過(guò)程中計(jì)算資源支持彈性拓展，分析過(guò)程中需求用到多少資源，平臺(tái)能快速調(diào)配計(jì)算資源，并采用最優(yōu)配置。

多層次安全防護(hù)，數(shù)據(jù)信息全面安全保障：

• 數(shù)據(jù)加密傳輸，采用業(yè)界通用標(biāo)準(zhǔn)的安全傳輸協(xié)議；
• 云端加密存儲(chǔ)，AES-256加密算法；
• 嚴(yán)格的用戶權(quán)限控制、多租戶數(shù)據(jù)嚴(yán)格隔離，完善的審計(jì)日志；
• 符合HIPAA法案等多種監(jiān)管條例；
• 為保障數(shù)據(jù)的完整性，對(duì)數(shù)據(jù)進(jìn)行多重備份。

項(xiàng)目實(shí)施完畢后，可視化生物信息云平臺(tái)能夠充分利用計(jì)算和存儲(chǔ)資源；內(nèi)嵌的計(jì)算分析軟件無(wú)需擔(dān)憂兼容性和版本沖突；擺脫繁瑣的命令行管理方式，通過(guò)全中文圖形化界面，讓生物數(shù)據(jù)的研究變得更加簡(jiǎn)單、高效；此外，當(dāng)可視化生物信息云平臺(tái)在研究所本地的計(jì)算資源不足時(shí)，可以彈性在榮聯(lián)IDC的可視化云平臺(tái)上完成生物信息學(xué)的分析。

商業(yè)改變

商業(yè)價(jià)值：

1.使用云計(jì)算、大數(shù)據(jù)、高性能計(jì)算、人工智能、區(qū)塊鏈、5G、安全防護(hù)等技術(shù)，在算法、算力上實(shí)現(xiàn)突破，確保數(shù)據(jù)安全可靠的同時(shí)推動(dòng)生物數(shù)據(jù)的深入挖掘和數(shù)據(jù)共享；

2.在一套硬件資源基礎(chǔ)上即可動(dòng)態(tài)構(gòu)建云計(jì)算、大數(shù)據(jù)、人工智能、高性能計(jì)算等計(jì)算平臺(tái)，實(shí)現(xiàn)多種計(jì)算框架的融合、資源的統(tǒng)一管理和調(diào)度；

3.生物數(shù)據(jù)的敏感性、多樣性、應(yīng)用的復(fù)雜性，可以通過(guò)IT平臺(tái)實(shí)現(xiàn)標(biāo)準(zhǔn)化數(shù)據(jù)安全及分級(jí)體系，自動(dòng)實(shí)現(xiàn)數(shù)據(jù)分析的可視化、以及數(shù)據(jù)管理的標(biāo)準(zhǔn)化；

客戶價(jià)值：

1.從傳統(tǒng)分析平臺(tái)遷移到榮聯(lián)分析平臺(tái)上以后，客戶的CPU資源擴(kuò)充了2倍，但是數(shù)據(jù)分析交付能力達(dá)到了以往的6倍；

2.客戶的集群系統(tǒng)日常CPU利用率接近100%; 所有磁盤的使用率也超過(guò)了95%，將硬件的性能極限完全發(fā)揮了出來(lái)，基本上打滿物理網(wǎng)絡(luò)帶寬和磁盤帶寬；

3.在分布式計(jì)算引擎的協(xié)助下，客戶一個(gè)作業(yè)的特殊階段輕松的被分解為4000路并行，每天有超過(guò)20000+ 任務(wù)運(yùn)行在高度并行的計(jì)算集群里；

4.利用強(qiáng)大的分布式執(zhí)行引擎和流程編排引擎， 2個(gè)生物信息分析工程師在1個(gè)月內(nèi)，用200個(gè)工具開(kāi)發(fā)了100+復(fù)雜的分析流程。

關(guān)于案例提交企業(yè)·榮聯(lián)科技集團(tuán)：

榮聯(lián)科技集團(tuán)股份有限公司（簡(jiǎn)稱榮聯(lián)科技集團(tuán)），是專業(yè)的數(shù)字化服務(wù)提供商，中國(guó)企業(yè)數(shù)字化服務(wù)的領(lǐng)導(dǎo)者。公司具有二十多年行業(yè)信息化建設(shè)的豐富經(jīng)驗(yàn)，以云服務(wù)、數(shù)據(jù)服務(wù)、自有產(chǎn)品和服務(wù)、數(shù)據(jù)中心建設(shè)四大板塊業(yè)務(wù)為主體，積極布局物聯(lián)網(wǎng)、大數(shù)據(jù)、5G+邊緣計(jì)算、人工智能等技術(shù)領(lǐng)域，為客戶提供IT+DT+OT全生命周期的數(shù)字化建設(shè)、生產(chǎn)、運(yùn)營(yíng)及服務(wù)。榮聯(lián)科技集團(tuán)于2001年正式成立，2011年在深圳證券交易所掛牌上市，股票代碼002642.sz。

榮聯(lián)科技集團(tuán)生命科學(xué)事業(yè)部深耕生命科學(xué)領(lǐng)域，尤其生物信息和精準(zhǔn)醫(yī)療十五年，為基因數(shù)據(jù)研究、臨床應(yīng)用研發(fā)了擁有自主知識(shí)產(chǎn)權(quán)的智能數(shù)據(jù)操作系統(tǒng)（分布式存儲(chǔ)系統(tǒng)、數(shù)據(jù)管理系統(tǒng)、計(jì)算系統(tǒng)），快速變異檢測(cè)等生物信息分析工具、流程和數(shù)據(jù)庫(kù)等，核心產(chǎn)品包括：NGS基因數(shù)據(jù)分析一體化解決方案、臨床輔助決策支持系統(tǒng)、組學(xué)大數(shù)據(jù)平臺(tái)、數(shù)據(jù)中心建設(shè)和SaaS云服務(wù)，實(shí)現(xiàn)生物醫(yī)療與信息技術(shù)的深度融合和創(chuàng)新應(yīng)用。

來(lái)源：數(shù)據(jù)猿