本月，亞馬遜創(chuàng)始人貝索斯正式宣布卸任CEO一職，將大權(quán)交給AWS CEO 安迪·賈西(Andy Jassy)，后者用了不到20年時間將AWS打造成全球最大的云服務(wù)提供商，亦是亞馬遜最大的利潤貢獻部門，去年營收達453.7億美元；AWS還曾被知名投資銀行Cowen分析師John Blackledge估值為令人難以置信的5060億美元，排在全球前10位。

AWS今年有了自己的中文名稱——亞馬遜云科技。它在中國數(shù)據(jù)管理市場的表現(xiàn)也是不凡。根據(jù)國際權(quán)威分析機構(gòu)弗若斯特·沙利文 Frost & Sullivan發(fā)布的《2020 年中國數(shù)據(jù)管理解決方案市場報告》（后簡稱《報告》），針對成長指數(shù)、創(chuàng)新指數(shù)、基本指數(shù)三大維度，對各廠商數(shù)據(jù)管理解決方案競爭力進行了評估，亞馬遜云科技綜合實力排名第一，且三項指數(shù)均名列第一。

亞馬遜云科技已開啟“2021 亞馬遜云科技中國峰會”，該峰會在技術(shù)方面設(shè)定了七個主題，而其中“智能湖倉”是今年新設(shè)定的主題。關(guān)于“湖倉”話題本身就是今年同行們競相討論的焦點。近日，數(shù)據(jù)猿聯(lián)合業(yè)內(nèi)媒體，就“智能湖倉”為主題，采訪了亞馬遜云科技大中華區(qū)云服務(wù)產(chǎn)品部總經(jīng)理顧凡，并對“智能湖倉架構(gòu)如何助力企業(yè)挖掘數(shù)據(jù)價值、滿足客戶數(shù)據(jù)融合的需求、推動企業(yè)向智能化轉(zhuǎn)型”等話題進行了訪談交流。

從數(shù)據(jù)倉庫到智能湖倉的前世今生

顧凡引用了《經(jīng)濟學(xué)人》在2017年刊載過的一句話：“世界上最有價值的資源已經(jīng)不再是石油，而是數(shù)據(jù)。”這樣的論斷在今天已經(jīng)成為現(xiàn)實。

然而，如今挖掘數(shù)據(jù)價值可能沒以往那么容易，面臨著三大現(xiàn)實挑戰(zhàn)：首先，今天每個小時產(chǎn)生的數(shù)據(jù)比20年前每年產(chǎn)生數(shù)據(jù)的總和還要多。2010年，Pentaho首席技術(shù)官James Dixon首次提出數(shù)據(jù)湖的概念，當(dāng)時是針對日益增多的大數(shù)據(jù)存儲需求，除了結(jié)構(gòu)化數(shù)據(jù)以外，還有海量的非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)，要把這些數(shù)據(jù)集中存儲在被稱為數(shù)據(jù)湖的地方。在傳統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)倉庫階段，數(shù)據(jù)是經(jīng)過整理、清晰易懂的，而大部分數(shù)據(jù)湖里的數(shù)據(jù)是不經(jīng)處理直接堆砌的，那么數(shù)據(jù)湖就有可能變成“數(shù)據(jù)沼澤”，篩選難度變大。

來源：沙利文、頭豹研究院

顧凡還補充了兩點：“如今比過去有更復(fù)雜的使用場景，不同分析場景下的需求更加個性化和定制化，數(shù)據(jù)湖里的原始數(shù)據(jù)難以直接利用；對實時數(shù)據(jù)快速決策要求提高，過去隔幾天跑報表寫出一個報告習(xí)以為常，現(xiàn)在決策速度比以往加快了很多，有些決策是分鐘級的，甚至在一些實時流分析中實時就應(yīng)該給出決策。”

表：數(shù)據(jù)倉庫與數(shù)據(jù)湖對比，來源：亞馬遜云科技

因此，把二者連接起來的Lakehouse（湖倉架構(gòu)）應(yīng)運而生，將數(shù)據(jù)湖與數(shù)據(jù)倉庫的優(yōu)勢充分結(jié)合起來。客戶仍將數(shù)據(jù)存儲在數(shù)據(jù)湖中，同時可以使用數(shù)據(jù)倉庫的多種專用數(shù)據(jù)服務(wù)，從而快速、敏捷地作出決策，獲得市場上高性價比的競爭優(yōu)勢。顧凡把Lakehouse做了形象的比喻，就好像湖邊搭建了很多小房子，有的負責(zé)數(shù)據(jù)分析，有的進行批處理，有的來檢索音視頻，而這些數(shù)據(jù)源流，都可以從數(shù)據(jù)湖里輕松取得。

沙利文和頭豹研究院在《報告》中表明，如今數(shù)據(jù)湖和數(shù)據(jù)倉庫的邊界正在慢慢模糊，數(shù)據(jù)湖自身的治理能力、數(shù)據(jù)倉庫延伸到外部存儲的能力都得到了加強。在湖倉的架構(gòu)下，數(shù)據(jù)變得更具資產(chǎn)化，從營銷、研發(fā)、供應(yīng)鏈等關(guān)鍵價值節(jié)點重構(gòu)了企業(yè)價值鏈，并能夠?qū)崟r支持企業(yè)決策，加速了企業(yè)數(shù)據(jù)的價值創(chuàng)造。

圖：數(shù)據(jù)湖和數(shù)據(jù)倉庫作為加速器參與大數(shù)據(jù)管理，來源：沙利文、頭豹研究院

不僅如此，湖倉架構(gòu)對人工智能的發(fā)展更具現(xiàn)實意義。湖倉架構(gòu)最初的倡導(dǎo)者Databricks首席執(zhí)行官Ali Ghodsi曾說：“為什么要考慮這一架構(gòu)？最重要的原因是與機器學(xué)習(xí)和人工智能有關(guān)，這對于大多數(shù)企業(yè)來說非常具有戰(zhàn)略意義。”數(shù)據(jù)倉庫不支持的那些非結(jié)構(gòu)化數(shù)據(jù)，例如視頻、音頻、任意文本，如今這樣的數(shù)據(jù)數(shù)量龐大，都存儲在了數(shù)據(jù)湖中，而這些原始數(shù)據(jù)對于機器學(xué)習(xí)來說十分重要。

亞馬遜云科技智能湖倉是一種架構(gòu)，而非產(chǎn)品

亞馬遜云科技作為數(shù)據(jù)管理解決方案的領(lǐng)導(dǎo)者，一直保持著行業(yè)領(lǐng)先地位。目前全球已有數(shù)十萬企業(yè)借助亞馬遜的云服務(wù)，采用智能湖倉架構(gòu)，構(gòu)建了他們的數(shù)據(jù)湖，同時完成其數(shù)據(jù)分析和機器學(xué)習(xí)的工作負載。在過去的半年里，亞馬遜云科技與光環(huán)新網(wǎng)、西云數(shù)據(jù)緊密合作，發(fā)布了近40項相關(guān)服務(wù)。

“亞馬遜云科技智能湖倉是一個架構(gòu)，而非一個產(chǎn)品，”顧凡表示，“好的架構(gòu)具有一定的彈性和靈活性，是可以往里面添加產(chǎn)品的，并有能力根據(jù)業(yè)務(wù)需求的迭代與演進，支撐十年以上，需要足以應(yīng)付將來”。

那么，從數(shù)據(jù)流的角度，亞馬遜云科技的智能湖倉架構(gòu)長什么樣呢？

來源：亞馬遜云科技

首先，可以明顯地看到架構(gòu)最核心的部分是“湖倉存儲（Lake house Storage）”，在這里，“湖”與“倉”打通，數(shù)據(jù)可以自由流動，“湖”代表了高可用、高擴展、低成本，而“倉”代表了結(jié)構(gòu)化、超級復(fù)雜查詢、極致性能。在“湖倉”之下是數(shù)據(jù)源和數(shù)據(jù)攝取，無論是結(jié)構(gòu)化還是非結(jié)構(gòu)化數(shù)據(jù)，經(jīng)過攝取后保存到智能湖倉的存儲層；在“湖倉”之上則是處理層、消費層，前者構(gòu)建了專門的分析引擎，經(jīng)過分析處理之后傳遞給消費層，用戶在此進行交互式數(shù)據(jù)查詢、BI分析和機器學(xué)習(xí)等操作。

亞馬遜云科技智能湖倉架構(gòu)不是簡單地將湖與倉打通，而是將湖、倉與專門構(gòu)建的數(shù)據(jù)服務(wù)連接成為一個整體，數(shù)據(jù)在其間無縫移動。在此過程中，首先要打破數(shù)據(jù)孤島形成一個數(shù)據(jù)湖；其次，圍繞著數(shù)據(jù)湖，在不同應(yīng)用場景為用戶提供相應(yīng)的分析工具；接下來，確保數(shù)據(jù)在湖、倉以及專門的服務(wù)之間能夠自由移動；然后，用統(tǒng)一的方式去管理湖里面數(shù)據(jù)的安全性、訪問控制和審計；最后，采用低成本的方法將“湖倉”各自的優(yōu)勢有效利用起來。

“這個架構(gòu)里很重要的一點是數(shù)據(jù)的無縫移動”，顧凡表示，“數(shù)據(jù)移動”是智能湖倉架構(gòu)的精髓，既可以將數(shù)據(jù)湖中最近幾個月的“熱數(shù)據(jù)”攝取到數(shù)據(jù)倉庫中；反過來，也可以將大量冷門歷史數(shù)據(jù)從數(shù)據(jù)倉庫轉(zhuǎn)移到成本更低廉的數(shù)據(jù)湖內(nèi)，同時這些移到湖里的數(shù)據(jù)，仍然能被查詢使用。在這里，亞馬遜云科技考慮了三種主要移動方式，也分別給出了解決辦法：

1） 由內(nèi)向外的數(shù)據(jù)移動

客戶將數(shù)據(jù)存儲在數(shù)據(jù)湖中，然后將其中的部分數(shù)據(jù)移動到某個專用數(shù)據(jù)存儲以執(zhí)行額外的機器學(xué)習(xí)或分析處理。如想統(tǒng)計某個APP的日活、轉(zhuǎn)化，可能會直接在數(shù)據(jù)湖中采集原始數(shù)據(jù)，然后將其中的一部分移動到某個數(shù)據(jù)倉庫以滿足每日報告之用。

2） 由外向內(nèi)的數(shù)據(jù)移動

客戶將數(shù)據(jù)存儲在數(shù)據(jù)倉庫中，然后將該數(shù)據(jù)移動到某個數(shù)據(jù)湖中以進行分析。如客戶從數(shù)據(jù)倉庫中將某個地區(qū)產(chǎn)品銷售的查詢結(jié)果作為樣本復(fù)制到他們的數(shù)據(jù)湖中，再利用機器學(xué)習(xí)對更大的數(shù)據(jù)集，運行產(chǎn)品推薦算法。

3） 環(huán)湖數(shù)據(jù)移動

數(shù)據(jù)在湖周邊不同的存儲數(shù)據(jù)庫之間傳遞。如客戶可能將存儲在其數(shù)據(jù)庫中的產(chǎn)品目錄數(shù)據(jù)復(fù)制到搜索服務(wù)中，以方便通過產(chǎn)品目錄查詢，并從該數(shù)據(jù)庫下載搜索查詢。

來源：亞馬遜云科技

既然談到移動和整合，有三個設(shè)計理念是亞馬遜云科技所有數(shù)據(jù)分析類產(chǎn)品和智能湖倉架構(gòu)貫穿一致的想法：一是為云優(yōu)化，在亞馬遜云科技的體系里，數(shù)據(jù)倉庫系統(tǒng)都是云原生的，當(dāng)對它們進行開發(fā)的時候，彈性沒有限制，可以做到非常好的線性擴展；二是專門構(gòu)建，由于數(shù)據(jù)處理和分析場景是多元化的，必須要專門構(gòu)建不同的分析引擎；三是完全托管，針對客戶業(yè)務(wù)無差別的繁重的工作由亞馬遜云科技幫助他們來完成。

顧凡認為，亞馬遜云科技智能湖倉未來一定會跟“機器學(xué)習(xí)”相連，并將經(jīng)歷三個階段：第一階段是數(shù)據(jù)基礎(chǔ)設(shè)施現(xiàn)代化，因為傳統(tǒng)的數(shù)據(jù)處理方式應(yīng)對不了如此大規(guī)模的數(shù)據(jù)處理，也不具備成本優(yōu)勢；第二階段是通過湖倉掛鉤，能夠?qū)?shù)據(jù)進行有效分析，進而讓數(shù)據(jù)產(chǎn)生更大的價值；第三階段是接入機器學(xué)習(xí)進行預(yù)測和推理，幫助和驅(qū)動企業(yè)做出有效的判斷和決策。

“過去數(shù)據(jù)的作用是在事后支持業(yè)務(wù)的運行，一旦企業(yè)進入到機器學(xué)習(xí)階段，數(shù)據(jù)就有可能前置，驅(qū)動業(yè)務(wù)做創(chuàng)新，還能幫客戶想出一堆業(yè)務(wù)創(chuàng)新的點子來。今后考驗的是業(yè)務(wù)人員能否跟數(shù)據(jù)人員配合得很好，把數(shù)據(jù)能力用起來，賦能業(yè)務(wù)的創(chuàng)新。”顧凡如是說。

亞馬遜云科技智能湖倉瞄準(zhǔn)的是客戶需求，而非競爭對手

在分享會上，亞馬遜云科技強調(diào)了“智能湖倉”架構(gòu)的五大獨特優(yōu)勢：第一，靈活擴展、安全可靠；第二，專門構(gòu)建、極致性能；第三，數(shù)據(jù)融合、統(tǒng)一治理；第四，敏捷分析、深度智能；第五，擁抱開源、開放共贏。同時顧凡表示，亞馬遜云科技的產(chǎn)品研發(fā)更多是瞄準(zhǔn)客戶的需求而不是競爭對手，由于競爭對手也在解決客戶的問題，所以我們并不忽視市場和競爭對手。

與競爭對手常用的“湖倉一體”表述有所不同，亞馬遜云科技使用了另一個詞——智能湖倉。顧凡對此表示，“這種表述背后的含義是‘打通湖倉‘，并非‘一體‘的概念，我們?nèi)匀皇欠珠_的湖與倉，并不是大一統(tǒng)的產(chǎn)品，重在把兩者中間的通道建立起來，數(shù)據(jù)可以無縫移動和融合?？蛻魰骖檭烧叩膬?yōu)勢，既有很好的查詢性能，數(shù)據(jù)量還能擴容更多。”

顧凡舉例說：“亞馬遜云科技的數(shù)據(jù)倉庫服務(wù)Amazon Redshift一般存放過去12-24個月的數(shù)據(jù)，其他的數(shù)據(jù)會放在數(shù)據(jù)湖里面，如果使用有‘智能湖倉引擎’之稱的Amazon Redshift Spectrum工具寫一個查詢，可以將10%的熱數(shù)據(jù)放進倉內(nèi)，90%的數(shù)據(jù)還在湖里面，Amazon Redshift Spectrum能完成跨湖和倉的查詢，而這一切對客戶是無感的，他們關(guān)心的只是我的東西不僅在PB級別的數(shù)據(jù)倉庫里能查到，在EB級別的湖里面也可以進行查詢，最終能夠完成業(yè)務(wù)需求。”

如亞馬遜云科技服務(wù)過的TCL集團，其內(nèi)部有眾多的業(yè)務(wù)部門，每天產(chǎn)生海量數(shù)據(jù)，首先是把所有數(shù)據(jù)都注入到Amazon S3數(shù)據(jù)湖中，消除了數(shù)據(jù)孤島，但與此同時又需要完成大量的BI報表和分析報告，所以要把數(shù)據(jù)加載到Amazon Redshift數(shù)倉，支持各個前端系統(tǒng)的BI分析。那些相對冷的數(shù)據(jù)仍存儲在Amazon S3里，然后再通過前面提到的Amazon Redshift Spectrum去做跨湖倉的查詢。據(jù)顧凡介紹，此次TCL涉及200多個BI報表以及其他各種各樣的數(shù)據(jù)，原來需要幾天才能完成的事情，采用了亞馬遜云科技的智能湖倉架構(gòu)后，現(xiàn)在只需一兩個小時。

對于TCL而言，打通湖倉完成數(shù)據(jù)查詢只是一個開始，由于其自身的業(yè)務(wù)逐步拓展到智能家電市場，此時通過智能家電的傳感器產(chǎn)生大量的IoT數(shù)據(jù)，大都只能存儲在數(shù)據(jù)湖里，同時又需要分析用戶行為、為用戶提供增值服務(wù)、對機器進行運維管理等操作，此時智能湖倉架構(gòu)更能發(fā)揮出作用。

亞馬遜云科技服務(wù)過的另一個客戶豐田，在2019年即部署了車聯(lián)網(wǎng)服務(wù)。豐田在其大部分車?yán)锒寂鋫淞塑囕d數(shù)據(jù)通信模塊DCM，然后通過客戶授權(quán)的方式把數(shù)據(jù)傳至豐田互聯(lián)采用Amazon S3構(gòu)建的超大數(shù)據(jù)湖中，然后亞馬遜云科技通過托管集群平臺Amazon EMR對整個數(shù)據(jù)做ETL處理。當(dāng)ETL處理結(jié)束后，就可以根據(jù)車輛不同的使用場景，對用戶的行為，比如駕駛習(xí)慣進行分析，進而依據(jù)分析結(jié)果給駕駛?cè)私ㄗh，甚至可以根據(jù)駕駛?cè)说鸟{駛習(xí)慣判斷其保險應(yīng)該給什么程度的折扣。

當(dāng)數(shù)據(jù)基礎(chǔ)設(shè)施逐漸成熟，服務(wù)應(yīng)用場景的拓展不斷加速及深化時，智能湖倉的行業(yè)應(yīng)用已從平臺搭建向各領(lǐng)域的核心業(yè)務(wù)進行延伸。

“作為一家研究虛擬玩家和商品推薦算法的AI公司，我們希望專注在算法的迭代與創(chuàng)新上，不太想把過多的精力、人力成本投入到數(shù)據(jù)基礎(chǔ)設(shè)施管理上面”，啟元世界CTO龍海濤分享了與亞馬遜云科技合作的經(jīng)驗，“我們正在打造游戲全生命周期的產(chǎn)品矩陣，用領(lǐng)先的AI和數(shù)據(jù)分析能力，幫助游戲快速上線，改善用戶體驗，提升客戶留存，以期獲得更大的成功。未來，亞馬遜云科技智能湖倉與AI/ML服務(wù)組件的深度融合能力，能為我們產(chǎn)品矩陣的快速落地、規(guī)模發(fā)展提供最有力的支持。”

圖：大數(shù)據(jù)管理對行業(yè)核心價值節(jié)點帶來的變化，來源：沙利文、頭豹研究院

“我們從16年成立到現(xiàn)在一直跟亞馬遜云科技合作”, 曾獲得IDG億元投資的數(shù)字營銷創(chuàng)業(yè)公司馳騖信息創(chuàng)始人兼CEO程華奕講道，“亞馬遜云科技是我們五年創(chuàng)業(yè)歷程最好的合作伙伴，一方面，我們數(shù)據(jù)資產(chǎn)采用了亞馬遜云科技提供的基礎(chǔ)架構(gòu)，舉例而言，我們在服務(wù)某零售客戶的時候，將其所有的數(shù)據(jù)資產(chǎn)——幾百PB的數(shù)據(jù)量都沉淀在數(shù)據(jù)湖里，既打破了數(shù)據(jù)孤島，又可以做到自主可控；另一方面，基于亞馬遜云科技的智能湖倉架構(gòu)，實現(xiàn)全鏈路、全生命周期觸達，包括十幾個業(yè)務(wù)場景，千萬級會員數(shù)據(jù)，多線程業(yè)務(wù)數(shù)據(jù)，真正形成了營銷閉環(huán)。”

在顧凡加入亞馬遜的7年時間里，正是AWS在中國市場高速發(fā)展的時期。在擔(dān)任亞馬遜云科技大中華區(qū)云服務(wù)產(chǎn)品部總經(jīng)理之前，根據(jù)公開資料顯示，顧凡還曾擔(dān)任亞馬遜中國區(qū)副總裁，直接操盤過電商零售等業(yè)務(wù)，這些經(jīng)歷讓他不只有技術(shù)服務(wù)商的視角，對部分行業(yè)客戶的痛點也有切身感受。

“當(dāng)然不光是技術(shù)，更重要的是人和服務(wù)，需要有‘扶上馬送一程’的態(tài)度。亞馬遜云科技無論是數(shù)據(jù)實驗室、機器學(xué)習(xí)解決方案實驗室，還是專業(yè)服務(wù)，均以客戶賦能為使命，讓客戶快速地完成從想法到原型再到生產(chǎn)系統(tǒng)，直到機器學(xué)習(xí)模型的提升，秉持‘扶上馬送一程’的態(tài)度，讓我們在技術(shù)之外還能走得更遠。”顧凡對媒體表示。

來源： 數(shù)據(jù)猿