本系統(tǒng)技術(shù)上采用了一種松耦合的分布式工作流協(xié)調(diào)系統(tǒng)和方法，用戶可以通過調(diào)用接口服務(wù)API，對工作流進行定義、上線和運維等操作；整個調(diào)度系統(tǒng)通過集成分布式定時引擎Quartz，來定時調(diào)度工作流并添加到工作流派發(fā)分布式消息隊列MQ，接收工作流并處理其任務(wù)依賴關(guān)系，將協(xié)調(diào)后待執(zhí)行的業(yè)務(wù)型任務(wù)添加到任務(wù)派發(fā)分布式消息隊列MQ；分布式任務(wù)執(zhí)行器Worker從任務(wù)派發(fā)分布式消息隊列MQ中接收各業(yè)務(wù)型任務(wù)并執(zhí)行，將任務(wù)執(zhí)行結(jié)果通過任務(wù)回調(diào)分布式消息隊列MQ回調(diào)至分布式工作流協(xié)調(diào)器Coordinator；最后Coordinator將任務(wù)執(zhí)行結(jié)果持久化保存到數(shù)據(jù)庫，用于反饋給用戶。本系統(tǒng)專注于邏輯協(xié)調(diào)處理，保證工作流協(xié)調(diào)處理與任務(wù)執(zhí)行充分解耦，提升系統(tǒng)的吞吐量、擴展性以及伸縮性。

技術(shù)說明

本系統(tǒng)針對現(xiàn)有技術(shù)的不足，采用一種松耦合的分布式工作流協(xié)調(diào)方法，讓Coordinator專注于邏輯協(xié)調(diào)處理，保證工作流協(xié)調(diào)處理與任務(wù)執(zhí)行充分解耦，提升系統(tǒng)的吞吐量、擴展性以及伸縮性。

系統(tǒng)主體架構(gòu)圖

整個調(diào)度系統(tǒng)包括：接口服務(wù)API，分布式工作流協(xié)調(diào)器Coordinator，分布式任務(wù)執(zhí)行器Worker，高可用緩存Cache，分布式消息隊列MQ，數(shù)據(jù)庫RDBMS和分布式協(xié)調(diào)服務(wù)Zookeeper。

處理流程圖

接口服務(wù)API通過Zookeeper來監(jiān)控分布式工作流協(xié)調(diào)器Coordinator和分布式任務(wù)執(zhí)行器Worker的服務(wù)情況。

分布式消息隊列MQ包括工作流派發(fā)分布式消息隊列MQ（workflow-MQ）、任務(wù)派發(fā)分布式消息隊列MQ（task-dispatch-WorkerGroup-MQ）和任務(wù)回調(diào)分布式消息隊列MQ（task-callback-MQ）。

分布式工作流協(xié)調(diào)器Coordinator執(zhí)行以下功能：集成分布式定時引擎Quartz，定時調(diào)度工作流并發(fā)送到workflow-MQ；從workflow-MQ接收工作流進行處理；處理工作流到任務(wù)隊列的DAG拓撲和優(yōu)先級排序；將工作流實例及其任務(wù)實例的創(chuàng)建、狀態(tài)更新的數(shù)據(jù)持久化保存到數(shù)據(jù)庫；將工作流及其任務(wù)隊列的上下文緩存到高可用緩存redis中；業(yè)務(wù)類型任務(wù)通過task-dispatch-WorkerGroup-MQ派發(fā)到分布式任務(wù)執(zhí)行器Worker，邏輯型任務(wù)直接在協(xié)調(diào)器Coordinator上執(zhí)行；任務(wù)實例執(zhí)行結(jié)果通過task-callback-MQ獲?。辉u估自身主機內(nèi)存、計算資源和線程池的使用率從而合理接收工作流。

分布式任務(wù)執(zhí)行器Worker負責各業(yè)務(wù)型任務(wù)的接收、執(zhí)行、回調(diào)；評估自身主機內(nèi)存、計算資源和線程池的使用率從而合理接收任務(wù)。

協(xié)調(diào)處理過程示意圖

使用本系統(tǒng)的帶來的優(yōu)勢效果：

1、API在工作流定時上線Quartz時配置優(yōu)先級，保證工作流的優(yōu)先級順序；Coordinator在工作流由DAG轉(zhuǎn)節(jié)點任務(wù)隊列時，進行拓撲排序結(jié)合優(yōu)先級排序，保證工作流中任務(wù)隊列的優(yōu)先級順序；提高了調(diào)度的精確性。

2、增加高可用緩存redis，來緩存工作流實例及其任務(wù)隊列上下文，獨立的上下文緩存使得工作流實例的內(nèi)部任務(wù)回調(diào)和派發(fā)處理可以跨Coordinator進行，更大程度的實現(xiàn)Coordinator的分布式能力，提高系統(tǒng)的業(yè)務(wù)處理能力。

3、增加MQ，用于工作流和任務(wù)派發(fā)、回調(diào)的消息隊列，提高系統(tǒng)的吞吐量；并且MQ的分布式消費保證了工作流和任務(wù)不被重復消費。

4、將傳統(tǒng)的Coordinator與Worker通過MQ松耦合；保證Coordinator和Worker各自的職責單一且明確，業(yè)務(wù)更輕量；MQ對于系統(tǒng)變更或適配更多類型Worker友好。

★專利申請?zhí)?公開號：202111061941.2

開發(fā)團隊

·帶隊負責人姓名：原攀峰

原攀峰，北京航空航天大學計算機碩士，十余年大數(shù)據(jù)、隱私計算行業(yè)研發(fā)經(jīng)驗，國內(nèi)外發(fā)明專利15篇。前阿里巴巴集團大數(shù)據(jù)平臺高級技術(shù)專家，阿里御膳房、阿里云數(shù)加平臺&DataWorks初創(chuàng)團隊核心技術(shù)骨干，阿里云隱私計算平臺（DataTrust）總架構(gòu)師和研發(fā)負責人，從零到一完成DataTrust產(chǎn)品工程研發(fā)及商業(yè)化落地。

團隊其他重要成員姓名：陳廷權(quán)、李會朋、李斌松。

·隸屬機構(gòu)：數(shù)新網(wǎng)絡(luò)

數(shù)新網(wǎng)絡(luò)，全稱浙江數(shù)新網(wǎng)絡(luò)有限公司，2020年7月成立，總部位于杭州。公司創(chuàng)始人陳廷梁（花名：王賁）是原阿里云大數(shù)據(jù)平臺研發(fā)總監(jiān)，御膳房、DataWorks平臺創(chuàng)始人，數(shù)加平臺總負責人。數(shù)新作為一家擁抱開源，專注于云數(shù)據(jù)平臺的大數(shù)據(jù)服務(wù)商，致力于結(jié)合全球云數(shù)倉先進理念，打造適合中國落地路徑的云數(shù)倉體系。通過公司自主研發(fā)的DataCyber產(chǎn)品序列，包括云數(shù)據(jù)平臺CyberMeta，云數(shù)據(jù)科學平臺CyberScience，數(shù)據(jù)運維平臺CyberOPS，數(shù)據(jù)分析平臺CyberExcel，可提供數(shù)據(jù)匯聚到數(shù)據(jù)服務(wù)、高效建模、智能運維、智能分析的一站式服務(wù)，讓數(shù)據(jù)從采集到展現(xiàn)、從分析到驅(qū)動應(yīng)用得到高質(zhì)量結(jié)合，整體提升企業(yè)競爭力。

公司已于2022年8月完成數(shù)千萬元Pre-A輪融資，獲得資本市場的高度認可。目前公司團隊人數(shù)已逾百人。公司成立以來，營業(yè)收入的年平均增長率達到20%，由于對費用的控制力度較大，凈利潤的年平均增長率達到30%，公司輕資產(chǎn)，輕負債，資產(chǎn)負債率低于30%，產(chǎn)品毛利率高達70%，2022年度獲得數(shù)千萬的融資，資金量充足。

相關(guān)評價

數(shù)新網(wǎng)絡(luò)為我司的數(shù)據(jù)平臺進行全面升級，提供了實時計算平臺、數(shù)據(jù)資產(chǎn)管理平臺，在數(shù)據(jù)及時性得到大幅度提升，極大程度提供了各部門的工作效率。

——某大型國有能源公司

隨著能源大數(shù)據(jù)共享平臺的深度建設(shè)，企業(yè)用戶和社會用戶的數(shù)據(jù)需求也逐漸增多，數(shù)字化轉(zhuǎn)型升級迫在眉睫，數(shù)新網(wǎng)絡(luò)提供的云數(shù)據(jù)平臺，從數(shù)據(jù)接入、數(shù)據(jù)集成、數(shù)據(jù)加工到數(shù)據(jù)共享，提供了一站式服務(wù)能力，助力數(shù)據(jù)融合，加速數(shù)據(jù)共享。

——某大型國有電力公司

來源：數(shù)據(jù)猿