本月，知名開源大數(shù)據(jù)引擎Flink社區(qū)對外透露，2022年阿里巴巴、騰訊、字節(jié)跳動等中國企業(yè)貢獻(xiàn)了超過一半的代碼，其中阿里巴巴對Flink核心代碼貢獻(xiàn)最大，中國開發(fā)者已經(jīng)成為Flink全球化社區(qū)的中堅力量。

Flink是全球范圍內(nèi)被廣泛使用的開源大數(shù)據(jù)計算引擎， 數(shù)據(jù)顯示，F(xiàn)link的Github Star數(shù)和貢獻(xiàn)者人數(shù)每年以超30%的速度增長，Github Star數(shù)超2萬個，上千名貢獻(xiàn)者（contributors），月下載量峰值突破1400萬次，連續(xù)兩年蟬聯(lián) Apache基金會財年報告最活躍項目。

來源：Flink

作為分布式流數(shù)據(jù)流引擎，流計算引擎內(nèi)核是Flink的核心競爭力之一，F(xiàn)link不斷進(jìn)行加速優(yōu)化以及提升容錯能力，而其另一個核心競爭力“流批一體”則在近年來備受關(guān)注。

什么是流批一體？我們知道實時生成流數(shù)據(jù)，離線生成批數(shù)據(jù)，如采用不同系統(tǒng)處理，很容易產(chǎn)生數(shù)據(jù)延遲、數(shù)據(jù)不一致等問題，流批一體模型將流數(shù)據(jù)和批數(shù)據(jù)集成到同一個處理系統(tǒng)中，實現(xiàn)更加實時、高效、靈活的數(shù)據(jù)處理，同時減少不必要的系統(tǒng)復(fù)雜性。

隨著大數(shù)據(jù)在電商、金融、物聯(lián)網(wǎng)、電信等領(lǐng)域的深入應(yīng)用，實時數(shù)據(jù)已經(jīng)成為必選項，處理好“流批一體”保證批流數(shù)據(jù)一致，已成為必答題，經(jīng)歷過數(shù)個雙11，活躍在100多家企業(yè)，目前已是全球范圍內(nèi)大數(shù)據(jù)實時計算業(yè)界事實標(biāo)準(zhǔn)的Flink正在解答這個問題。

阿里引領(lǐng)Flink迅速崛起，成為事實上的行業(yè)標(biāo)準(zhǔn)

Flink 最初是由德國柏林工業(yè)大學(xué)的幾個博士生和研究生從學(xué)校開始做起來的大數(shù)據(jù)研究項目，2014年，其核心成員在此基礎(chǔ)上開發(fā)了 Flink，同時將 Flink 計算的主流方向定位為Streaming（流式計算），并在同年將 Flink 捐贈給 阿帕奇軟件基金會。一年后，F(xiàn)link即成為 Apache 的頂級項目。

后來Flink社區(qū)又經(jīng)過九年的發(fā)展，持續(xù)保持流式計算的領(lǐng)先地位，有超過20萬開發(fā)者關(guān)注、超過100家國內(nèi)外知名公司參與代碼貢獻(xiàn)，成為了全球范圍內(nèi)實時流計算的事實標(biāo)準(zhǔn)，可以說在全球的各個行業(yè)，只要大家想到實時流計算，基本上都會選擇 Apache Flink。

而隨著Flink 國際化生態(tài)不斷繁榮發(fā)展的過程中，中國開發(fā)者在其中發(fā)揮了越來越大的作用，根據(jù)OSS Insight 網(wǎng)站的數(shù)據(jù)統(tǒng)計，目前Flink 社區(qū)在 Github 上產(chǎn)生的 Pull Request 有 45% 是來自中國的開發(fā)者。

2020年Flink中國社區(qū)誕生（https://flink-learning.org.cn/），2022年，眾多國內(nèi)開發(fā)者在Flink 社區(qū)公眾號上發(fā)布了文章， Flink 社區(qū)公眾號的訂閱人數(shù)亦超過 6萬名，今年還推出了 Apache Flink 官方視頻號。

Flink近年來在中國的繁榮與引領(lǐng)全球的發(fā)展，這一切與阿里巴巴在其中的推動作用是分不開的。最初Flink是在搜索推薦中進(jìn)入阿里開發(fā)者的視線，后來其在走向巔峰的“雙11”中發(fā)揮越來越大的作用，能夠處理萬億級的數(shù)據(jù)，開始服務(wù)全集團(tuán)以及阿里云。2019年，阿里巴巴一舉收購了Flink初創(chuàng)公司Data Artisans（后更名為 Ververica），并開源Blink、將其回饋Flink社區(qū)，同時也將阿里向國際化邁進(jìn)重要一步。

來源：阿里巴巴

Flink 誕生之后的幾年，就遇到一個瓶頸，早期開發(fā) Flink 的時候，都要寫 Java 程序，通過 DataStream的API 寫 Java 代碼，這對于多數(shù)數(shù)據(jù)分析師來說有一定門檻，在數(shù)據(jù)分析師的世界里，標(biāo)準(zhǔn)的語言是 SQL，這也是當(dāng)時 Flink 難以推廣的一個原因。后來，阿里將自己內(nèi)部積累的 Blink SQL 貢獻(xiàn)給了 Flink 社區(qū)，從此 Flink 社區(qū)具有一套比以前快了十倍的 Stream SQL，因此大幅降低了開發(fā)門檻，這也是最近兩三年Flink加速普及的一個原因。

Alink 是阿里巴巴機(jī)器學(xué)習(xí)算法團(tuán)隊從 2017 年開始基于Flink的分布式、批流一體研發(fā)的新一代機(jī)器學(xué)習(xí)算法平臺，結(jié)合阿里巴巴的業(yè)務(wù)場景，提供豐富的算法組件庫和便捷的操作框架，開發(fā)者可以一鍵搭建覆蓋數(shù)據(jù)處理、特征工程、模型訓(xùn)練、模型預(yù)測的算法模型開發(fā)全流程。2019年阿里巴巴將其在Flink上開源，宣告了 Flink 正式切入 AI 領(lǐng)域，2020年，Alink新增數(shù)十個開源算法，2021年，阿里繼續(xù)貢獻(xiàn)30多個經(jīng)典的機(jī)器學(xué)習(xí)算法，覆蓋常見的特征工程場景。

2020 年，阿里將 Blink 內(nèi)核合并到 Flink 內(nèi)核中，全面支持開源社區(qū)的發(fā)展。2020年的雙11，F(xiàn)link 包攬阿里集團(tuán)內(nèi)部所有的全鏈路實時化解決方案，規(guī)模達(dá)到百萬級 CPU Core。并且在資源沒有增長的情況下，提高了一倍業(yè)務(wù)能力，實時數(shù)據(jù)處理峰值更是達(dá)到 40 億條記錄/秒的新高。

Flink Forward Asia 2022大會上，阿里再次表態(tài)：目前，“阿里巴巴自用的技術(shù)”、“向阿里云客戶提供的技術(shù)”、“向社區(qū)開源的技術(shù)”是三位一體的，在阿里及其他企業(yè)場景中形成個性化、系統(tǒng)化的需求，與開源社區(qū)關(guān)注的點(diǎn)是互補(bǔ)的，阿里巴巴可以將自己的最佳實踐貢獻(xiàn)到開源社區(qū)，讓社區(qū)的應(yīng)用性和大規(guī)模企業(yè)使用的穩(wěn)定性、彈性等等有很好的結(jié)合。

2021年7月，國際權(quán)威咨詢機(jī)構(gòu)Forrester發(fā)布的全球數(shù)據(jù)流分析報告顯示，阿里云憑借領(lǐng)先的實時計算產(chǎn)品Ververica、大規(guī)模實踐和開發(fā)者友好度，挺進(jìn)“強(qiáng)勁表現(xiàn)者”象限，刷新了國內(nèi)公司在數(shù)據(jù)流計算領(lǐng)域的最好成績。目前，F(xiàn)link 已經(jīng)成為了全球范圍內(nèi)實時流計算的事實標(biāo)準(zhǔn)，阿里巴巴在Flink的貢獻(xiàn)達(dá)到10.5%，也是Flink事實上最大的貢獻(xiàn)者。

來源：OSS Insight

Flink開啟“流批一體”進(jìn)化論

2020年，F(xiàn)link 在阿里的發(fā)展進(jìn)入新階段，從流式計算進(jìn)階到全鏈路流批一體化。

流批一體并非是新概念，在2015年就已經(jīng)出現(xiàn)，但長期停留在理論層面。流批一體的初衷是讓開發(fā)人員能夠用同一套接口實現(xiàn)大數(shù)據(jù)的流計算和批計算，進(jìn)而保證處理過程與結(jié)果的一致性。實際這個需求是長期存在的，舉例而言，同一家券商，既要跑實時的股票交易，也要處理離線的財報數(shù)據(jù)，有很多計算是需要疊加兩類數(shù)據(jù)的結(jié)果，比如像市盈率 = 市值 / 凈利潤，市值是實時，凈利潤一般就是離線。

而流批一體近年來的迅速推進(jìn)部分得益于電商如火如荼的發(fā)展，讓落地“流批一體”的優(yōu)先級迅速得到提高。像一個典型的大促活動如“雙11”，運(yùn)營小二需要通過實時數(shù)據(jù)（當(dāng)前的訂單交易）和歷史數(shù)據(jù)（昨天的訂單交易）進(jìn)行不同維度、不同時間周期的比對，從而對當(dāng)前的活動情況作出判斷，這些數(shù)據(jù)是業(yè)務(wù)決策的重要判斷依據(jù)。

盡管當(dāng)時天貓已經(jīng)上了SQL，增強(qiáng)了實時數(shù)據(jù)的分析能力，用戶仍要同時維護(hù)兩條數(shù)據(jù)鏈路：一套是基于批處理技術(shù)，在每天晚上計算出的離線數(shù)據(jù)報表，一套是基于流處理技術(shù)算出當(dāng)天的實時數(shù)據(jù)報表，然后針對實時和歷史數(shù)據(jù)進(jìn)行對比分析。從架構(gòu)來看，在實時鏈路上，F(xiàn)link 需要將數(shù)據(jù)寫入 Kafka 等流式存儲中，在離線鏈路上，F(xiàn)link 往往要將數(shù)據(jù)寫入到 Hive/Iceberg/Hudi 等批式存儲中，兩條存儲鏈路是割裂的，造成較大的管理難度。

只有SQL還無法解決數(shù)據(jù)層割裂問題，來源：Flink Forward Asia 2022

運(yùn)營或者數(shù)據(jù)分析人員需要的是一個能夠橫跨離線和實時的數(shù)據(jù)系統(tǒng)或者SQL，他們僅僅只需要關(guān)注的是業(yè)務(wù)上面的邏輯，而不需要去關(guān)注底層的數(shù)據(jù)是流還是批的執(zhí)行模式。

SQL 只能夠解決計算層的一些體驗問題，即使 Flink 具備流批一體 SQL 的能力，能夠?qū)崿F(xiàn)全量增量開發(fā)一體化的體驗，但它依然沒有辦法解決存儲層割裂的問題，而阿里正在引領(lǐng)Flink開啟的進(jìn)化，其核心就是通過 Flink 流批一體的 SQL 和流批一體的存儲，構(gòu)建一套真正一體化體驗的流式數(shù)倉 - Streaming Data Warehouse。

在 Streaming Data Warehouse 新的理念和形態(tài)中，可以保證所有的數(shù)據(jù)端到端都可以實時流動；整個全鏈路的開發(fā)過程中，用戶都可以有全增量一體化的開發(fā)體驗，并且有統(tǒng)一的數(shù)據(jù)存儲和管理體系。

阿里巴巴開源委員會副主席、阿里云開源大數(shù)據(jù)平臺負(fù)責(zé)人、Flink中文社區(qū)發(fā)起人王峰表示，如果要去做下一代的 Streaming Data Warehouse 架構(gòu)。第一步要完善的就是流批一體存儲。目前在開源生態(tài)中還沒有一款真正能夠?qū)崿F(xiàn)高性能流讀流寫、批讀批寫的流批一體存儲。因此， Flink 社區(qū)去年推出了全新子項目 Table Store（現(xiàn)已更名為Paimon，以下用Paimon替代），并在近期升級為Apache孵化器項目，它的定位就是實現(xiàn)流批一體的存儲能力。

負(fù)責(zé)Paimon（原Table Store）項目的阿里巴巴高級技術(shù)專家李勁松談到，存儲在這個架構(gòu)中主要有三個作用：

1、消息隊列。因為全鏈路是流起來的，存儲本身要做一個消息隊列，可流寫、可流讀，需要有一定的順序性。

2、沉淀數(shù)據(jù)。沉淀的歷史數(shù)據(jù)需要要面向各生態(tài)計算引擎，做到可分析。沉淀數(shù)據(jù)之后，這部分?jǐn)?shù)據(jù)應(yīng)該被管理。

3、存儲需要增強(qiáng)流計算，讓流計算變得更簡單，解決流計算的難題。

2022年，阿里在Flink發(fā)起Paimon項目，實現(xiàn)了流批一體的存儲能力，幫助 Flink 從 Streaming Computing（流式計算）走向 Streaming Data Warehouse（流式數(shù)倉）。

Paimon的設(shè)計完全遵循現(xiàn)在新一代存算分離的理念，可以把數(shù)據(jù)存儲在 HDFS 或者主流云存儲上。它的核心存儲格式是由 Lake Store 和 Log Store 兩部分組成，可以實現(xiàn)高性能的流讀流寫、批讀批寫，支持在流模式與批模式下讀寫大規(guī)模數(shù)據(jù)集；支持秒級數(shù)據(jù)新鮮度的批查詢和OLAP查詢；支持消費(fèi)與產(chǎn)生增量數(shù)據(jù)，可作為傳統(tǒng)與流式數(shù)倉的各級存儲。除了默認(rèn)對接 Flink 之外，它也能對接 Spark、Hive、Trino 等主流的開源計算引擎。

來源：Flink Forward Asia 2022

在Flink Forward Asia 2022大會上王峰現(xiàn)場演示了Streaming Data Warehouse的Demo，我們看到，在一個訂單的模擬環(huán)境下，有兩張帶有實時數(shù)據(jù)的事實表，主訂單表和子訂單表，也有兩張離線的維度表，用戶維表和國家維表，利用Paimon，系統(tǒng)可以形成一張寬表，運(yùn)營人員可以對明細(xì)表按年和國家進(jìn)行匯總，計算出 GMV 金額，也能對國家維表進(jìn)行字段更新，對于使用者來說，是無感的，同時又是高效的。

在更大的數(shù)據(jù)測試中，Paimon亦表現(xiàn)出良好的效果。TPC-H是數(shù)據(jù)領(lǐng)域公認(rèn)的測試集，阿里測試人員在TPC-H中生成6000 萬條訂單數(shù)據(jù)，模擬業(yè)務(wù)的真實狀況，然后利用Flink CDC做數(shù)據(jù)同步，將MySQL的數(shù)據(jù)同步到數(shù)據(jù)湖倉表中，一條鏈路將它寫入到Apache Hudi 里，一條鏈路寫入到Paimon。結(jié)果顯示，Paimon明顯領(lǐng)先了Hudi的更新能力。在數(shù)據(jù)查詢的性能上明顯領(lǐng)先了Hudi的MOR模式，比較接近COW模式。

Flick Paimon對比測試結(jié)果，來源：Flink Forward Asia 2022

“Flink 之所以能夠成為新一代流計算引擎的關(guān)鍵點(diǎn)在于，它是一款有狀態(tài)的流計算，除了低延遲、高吞吐的流計算能力，它能將流計算和狀態(tài)存儲進(jìn)行有機(jī)融合，從而在框架層支持整個流計算狀態(tài)的精準(zhǔn)數(shù)據(jù)一致性。”王峰如是說。

Flink將帶領(lǐng)“流批一體”去向何方

流批一體的進(jìn)化還沒有結(jié)束，解決存儲問題對于流批一體而言，邁出了堅實的一步。流批一體需要解決的問題不僅僅是存儲問題，還需要解決數(shù)據(jù)處理模型、算法、實時性、可擴(kuò)展性和容錯性等多個問題，以實現(xiàn)高效、高可靠、高靈活的數(shù)據(jù)處理。

大數(shù)據(jù)架構(gòu)的各個環(huán)節(jié)，都面臨著流批一體的問題，如數(shù)據(jù)接入層流批一體：離線與實時是否使用統(tǒng)一數(shù)據(jù)采集方式；計算邏輯層流批一體：流與批處理是否使用統(tǒng)一 SQL 語法或者 ETL 組件；計算引擎層流批一體：流與批使用同一套計算引擎，從根本上避免同一個處理邏輯流批兩套代碼問題。

提升Flink流式數(shù)倉的用戶體驗，也需要Flink生態(tài)的各個公司共同努力。像Paimon不單有阿里巴巴的參與，字節(jié)跳動等一些公司也參與了項目的共建。另外我們看到像快手、京東、數(shù)禾、Shopee等公司在FFA大會上都分享了各自的經(jīng)驗。

同時，流式數(shù)倉也是一個系統(tǒng)工程，不只是單一的組件，牽一發(fā)動全身，也要靠Flink 的整體提升，并能夠在云原生、人工智能等領(lǐng)域與新興場景有效結(jié)合起來。阿里巴巴主導(dǎo)下的Flink近年來構(gòu)建的開源創(chuàng)新項目有：

● 開源 Flink CDC 項目，填補(bǔ)了 Flink 對接和處理數(shù)據(jù)庫變更數(shù)據(jù)的空白，為 Flink 打開了數(shù)據(jù)庫數(shù)據(jù)實時同步、數(shù)據(jù)庫數(shù)據(jù)實時加工等新場景。目前 Flink CDC 項目的 GitHub star 已有 3500 多，并在國內(nèi)獲得了廣泛的落地，并吸引了 Decodable、Cloudera，騰訊云等海內(nèi)外知名云服務(wù)商集成。

● 開源 Flink Remote Shuffle 項目，用來解決 Flink 大規(guī)模批處理作業(yè)的穩(wěn)定性問題。

● 發(fā)起Flink ML 項目，提供機(jī)器學(xué)習(xí)API和基礎(chǔ)設(shè)施函數(shù)庫，簡化機(jī)器學(xué)習(xí)工作管線構(gòu)建工作。

王峰表示，后續(xù) Flink 將會對整個狀態(tài)存儲管理體系進(jìn)行更大的升級，變成一個徹底的存算分離架構(gòu)來適應(yīng)云原生環(huán)境。“我們希望所有的狀態(tài)數(shù)據(jù)全部都原生在 HDFS 或者云存儲之上，本地磁盤和內(nèi)存只是狀態(tài)數(shù)據(jù)的緩存加速層，構(gòu)建一套體系化的 Tiered State Backend 系統(tǒng)。”

云原生大背景下，F(xiàn)link的部署模式從靜態(tài)standalone模式演化到主動模式，再到適應(yīng)性模式。Flink 可以像云上其他應(yīng)用一樣根據(jù)所給的資源，通過改變自身拓?fù)浣Y(jié)構(gòu)來動態(tài)調(diào)整運(yùn)行。

對于最近熱議的AIGC領(lǐng)域，不只是離線的知識，也將涉及到大量實時數(shù)據(jù)的計算，像新聞、股票信息。流批一體技術(shù)可以將實時數(shù)據(jù)和歷史數(shù)據(jù)統(tǒng)一存儲和處理，使得類似ChatGPT的產(chǎn)品可以在同一平臺上進(jìn)行數(shù)據(jù)分析、建模和訓(xùn)練。同時，流批一體還可以提升數(shù)據(jù)的實時處理和分析能力，可以讓 ChatGPT們更快地響應(yīng)用戶的需求，提高交互效率。

在兩年前，阿里就開源了AI Flow。AI Flow是大數(shù)據(jù)及 AI 的處理流程平臺，在 AI Flow 中定義不同數(shù)據(jù)之間的關(guān)系以及元數(shù)據(jù)格式等，就能夠非常方便地搭建一套大數(shù)據(jù)及 AI 處理的流程。同年，推出大數(shù)據(jù)與 AI 一體化流程管理解決方案Flink AI Extended，不僅支持深度學(xué)習(xí)引擎和 Flink 計算引擎的集成，其工作流（Flink AI Flow）也應(yīng)用了一體化設(shè)計思想。

去年，F(xiàn)link還將ML模塊（機(jī)器學(xué)習(xí)算法庫）升級到2.0版本，目前它是Flink全新的一個子項目，我們知道機(jī)器學(xué)習(xí)的算法庫，其運(yùn)算核心是迭代計算框架，因此在 Flink ML 2.0 項目中，基于 Flink Data Stream 流批一體的 API，重建了一套流批一體的迭代計算框架。它不僅支持傳統(tǒng)的同步迭代訓(xùn)練，也支持異步的迭代訓(xùn)練模型。

王峰說道，F(xiàn)link 不只支持有限數(shù)據(jù)集的訓(xùn)練，也支持無限流數(shù)據(jù)集上的在線迭代訓(xùn)練，同時借助 Flink Checkpoint 分布式框架的優(yōu)勢，也支持整個分布式訓(xùn)練斷點(diǎn)的異常恢復(fù)。這對一些需要長時間運(yùn)行的訓(xùn)練任務(wù)具有良好的生產(chǎn)意義。

從創(chuàng)新的開發(fā)者到國際化的管理者

由于Flink支持面越來越廣泛，能夠適用的場景越來越多，目前已在政務(wù)、金融、制造、零售、交通出行、傳媒、游戲、科技等行業(yè)大規(guī)模應(yīng)用，傳統(tǒng)企業(yè)得到持續(xù)快速增長。值得注意的是，阿里云基于Apache Flink推出了實時計算Flink云產(chǎn)品和全球統(tǒng)一的Flink企業(yè)版平臺Ververica Platform，推動Flink在各國發(fā)展，幫助上千家全球企業(yè)更高效地進(jìn)行實時業(yè)務(wù)升級。

作為Flink 的創(chuàng)始團(tuán)隊，Ververica 和 Flink 有著非常密切的關(guān)系，Ververica 成立的初衷就是為了提供 Flink 的企業(yè)級支持和服務(wù)，多年來阿里云旗下的Ververica一直在推動 Flink 的發(fā)展和應(yīng)用，幫助企業(yè)用戶更好地應(yīng)用 Flink 技術(shù)，從而提高實時數(shù)據(jù)處理和分析的效率。

阿里巴巴則借助Flink社區(qū)，不斷積累國際化的經(jīng)驗和影響力。如阿里云推出的 Flink on Alibaba Cloud 產(chǎn)品為用戶提供了穩(wěn)定可靠的 Flink 服務(wù)，幫助用戶在云上快速構(gòu)建 Flink 應(yīng)用，推動了 Flink 的應(yīng)用普及和國際化推廣。阿里巴巴還主辦多場 Flink Forward 大會等國際性的活動，向全球用戶和開發(fā)者展示了阿里巴巴在 Flink 技術(shù)上的實踐和經(jīng)驗，并促進(jìn)了 Flink 技術(shù)在全球范圍內(nèi)的推廣和創(chuàng)新。

目前Flink已經(jīng)成為 Apache 基金會最活躍的頂級項目之一，F(xiàn)link 的社區(qū)成員覆蓋到歐洲、北美、東南亞各地，涵蓋了學(xué)術(shù)界、工業(yè)界、開源社區(qū)等各個領(lǐng)域。作為其中的主導(dǎo)者，阿里巴巴國際化社區(qū)的管理也得到日益增強(qiáng)，根據(jù)統(tǒng)計，阿里培養(yǎng)了70%以上的Flink 項目管理委員會（PMC）成員和貢獻(xiàn)者（committor）。

在整個 Flink 國際化生態(tài)不斷繁榮發(fā)展的過程中，隨著中國開發(fā)者發(fā)起的創(chuàng)新項目越來越得到國際同行的認(rèn)可，在體驗增強(qiáng)的同時，阿里巴巴更加能夠承擔(dān)起國際級創(chuàng)新項目領(lǐng)導(dǎo)者的角色，在技術(shù)創(chuàng)新、標(biāo)準(zhǔn)制定和技術(shù)標(biāo)準(zhǔn)化等方面發(fā)揮更加重要的作用，推動全球技術(shù)的發(fā)展，這與單純收購一家國外公司有所區(qū)別，前者將為阿里巴巴進(jìn)一步全球化的發(fā)展奠定堅實的基礎(chǔ)。

文：陸易斯 / 數(shù)據(jù)猿

來源：數(shù)據(jù)猿