亞馬遜云科技:點燃云原生數(shù)據(jù)庫創(chuàng)新的星星之火
原創(chuàng) 月滿西樓 | 2023-05-23 18:26
【數(shù)據(jù)猿導(dǎo)讀】 近期,發(fā)生了一件對全球數(shù)據(jù)庫市場具有標志性的事情:依據(jù)Gartner的數(shù)據(jù),亞馬遜云科技作為一個純云廠商,2022年數(shù)據(jù)庫營收230億美元,同比增長19.6%。在全球數(shù)據(jù)庫市場份額方面,繼2020年超過甲骨文之后,亞馬遜云科技于2022年超過微軟,奪得全球數(shù)據(jù)庫領(lǐng)導(dǎo)者的桂冠。目前,亞馬遜云...

近10年,全球數(shù)據(jù)庫市場加速變革,云數(shù)據(jù)庫尤其是云原生數(shù)據(jù)庫成為整個數(shù)據(jù)庫市場的關(guān)鍵變量。某種程度上,亞馬遜云科技作為全球云原生數(shù)據(jù)庫的領(lǐng)導(dǎo)者,具有行業(yè)風向標的價值。
近期,發(fā)生了一件對全球數(shù)據(jù)庫市場具有標志性的事情:依據(jù)Gartner的數(shù)據(jù),亞馬遜云科技作為一個純云廠商,2022年數(shù)據(jù)庫營收230億美元,同比增長19.6%。在全球數(shù)據(jù)庫市場份額方面,繼2020年超過甲骨文之后,亞馬遜云科技于2022年超過微軟,奪得全球數(shù)據(jù)庫領(lǐng)導(dǎo)者的桂冠。目前,亞馬遜云科技占據(jù)2022年全球數(shù)據(jù)庫市場25.3%的份額。從2013年首次出現(xiàn)在Gartner數(shù)據(jù)庫市場份額圖以來,亞馬遜云科技的排名就在逐年上升,且是頭部數(shù)據(jù)庫巨頭中上升態(tài)勢最明顯的云廠商。
某種意義上,亞馬遜云科技的勝利,代表了云原生數(shù)據(jù)庫的勝利。因此,我們可以從亞馬遜云科技的發(fā)展情況,來看云原生數(shù)據(jù)庫替代傳統(tǒng)數(shù)據(jù)庫的必然性,以及云原生數(shù)據(jù)庫的未來發(fā)展趨勢。
直面數(shù)據(jù)洪流,云原生數(shù)據(jù)庫構(gòu)建堅實的數(shù)據(jù)底座
隨著互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的發(fā)展,人類正進入數(shù)據(jù)爆炸的時代。依據(jù)IDC Global DataSphere的數(shù)據(jù),2021年,全球數(shù)據(jù)總量達到了84.5ZB,預(yù)計到2026年,全球結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)總量將達到221.2ZB。
除了數(shù)據(jù)規(guī)??焖贁U張,數(shù)據(jù)市場還呈現(xiàn)出一些新特點:許多應(yīng)用(如金融交易,社交媒體,物聯(lián)網(wǎng))需要實時或近實時處理數(shù)據(jù),對數(shù)據(jù)的實時處理能力的要求越來越高;復(fù)雜的業(yè)務(wù)需求,需要提升數(shù)據(jù)庫系統(tǒng)的復(fù)雜查詢性能;數(shù)據(jù)安全性和隱私性的問題也越來越突出,需要實現(xiàn)對數(shù)據(jù)訪問的細粒度控制,保證數(shù)據(jù)庫系統(tǒng)的合規(guī)性;在處理多個來源、多樣化的數(shù)據(jù)時,依然要保證數(shù)據(jù)的一致性和數(shù)據(jù)質(zhì)量;在全球范圍內(nèi)高效、安全地管理和低延遲訪問數(shù)據(jù)等。
面對呼嘯而來的數(shù)據(jù)海嘯,傳統(tǒng)的數(shù)據(jù)庫已經(jīng)越來越難以應(yīng)對。在這種情況下,云原生數(shù)據(jù)庫顯現(xiàn)出多方面的優(yōu)勢。云原生數(shù)據(jù)庫被設(shè)計為能夠在全球范圍內(nèi)工作,可以處理分布在世界各地的數(shù)據(jù),確保數(shù)據(jù)的高可用性和一致性。對于需要全球運營的企業(yè),這是一項關(guān)鍵優(yōu)勢;云原生數(shù)據(jù)庫提供了強大的多租戶支持和資源隔離機制,在一個數(shù)據(jù)庫系統(tǒng)中,可以同時為多個用戶或應(yīng)用提供服務(wù),而每個用戶的數(shù)據(jù)和操作不會影響其他用戶;云原生數(shù)據(jù)庫通常提供自動化的資源管理功能,能夠根據(jù)需要自動擴展或收縮資源;云原生數(shù)據(jù)庫支持分布式架構(gòu),可以容易地進行水平擴展、處理大規(guī)模數(shù)據(jù)等。
由于云原生數(shù)據(jù)庫具備上述優(yōu)勢,正好契合數(shù)字化時代對超大規(guī)模、多模態(tài)數(shù)據(jù)的處理需求,云原生數(shù)據(jù)庫已經(jīng)成為全球數(shù)據(jù)庫市場的關(guān)鍵變革力量。亞馬遜云科技的成功,就是這一行業(yè)趨勢的一個證明。
羅馬不是一天建成的
羅馬不是一天建成的,對于科技企業(yè)而言,長期、巨量的研發(fā)投入是獲得技術(shù)領(lǐng)先優(yōu)勢的必要基礎(chǔ)。
數(shù)據(jù)猿在《誰在真心搞研發(fā),誰只是在忽悠?》一文中,分析了全球19家頭部科技巨頭近5年的研發(fā)費用數(shù)據(jù)(說明 :由于不同資本市場的年報報告期有所差別,為了進行統(tǒng)一對比分析,我們對數(shù)據(jù)做了處理。中國大陸公司主要選取2017-2021年年報數(shù)據(jù),換算為2018-2022財年數(shù)據(jù),其余企業(yè)則選取2018-2022財年數(shù)據(jù),并將單位統(tǒng)一換算成美元)。
數(shù)據(jù)來源:各企業(yè)財報
數(shù)據(jù)來源:各公司財報
從上面的數(shù)據(jù)可以看出,在全球科技巨頭中,亞馬遜的研發(fā)投入一直處于頂尖水平,尤其是近三年超越谷歌、微軟,成為全球研發(fā)投入最高的科技企業(yè),并逐步拉開與其他企業(yè)的差距。2022財年,亞馬遜云科技的研發(fā)投入超過700億美元,大幅超過微軟、谷歌等巨頭。正是由于亞馬遜堅持在研發(fā)上投入巨資,其持續(xù)引領(lǐng)全球技術(shù)創(chuàng)新,獲得領(lǐng)先優(yōu)勢。
云計算是亞馬遜研發(fā)投入的“重鎮(zhèn)”,每年數(shù)百億美元的研發(fā)資源有很大一部分就投入云計算技術(shù)產(chǎn)品研發(fā),而云原生數(shù)據(jù)庫又是其中一個重要領(lǐng)域。
云原生數(shù)據(jù)庫是整個云計算有機整體的一部分,亞馬遜云科技整體的技術(shù)優(yōu)勢,也對云數(shù)據(jù)庫的發(fā)展大有裨益??梢哉f,亞馬遜云科技在云原生數(shù)據(jù)庫上的領(lǐng)先,是其整體云計算優(yōu)勢的一個“側(cè)寫”。
正是長期高強度的研發(fā)投入,讓亞馬遜云科技不斷取得技術(shù)突破。接下來,我們從亞馬遜云科技在不同時間節(jié)點發(fā)布的數(shù)據(jù)庫產(chǎn)品,來分析其在云原生數(shù)據(jù)庫領(lǐng)域的技術(shù)創(chuàng)新歷程:
2006年,Amazon S3: 這雖然不是一個數(shù)據(jù)庫產(chǎn)品,但S3的發(fā)布標志著亞馬遜云科技開始進入云存儲領(lǐng)域,為后續(xù)數(shù)據(jù)庫產(chǎn)品的發(fā)展奠定了基礎(chǔ)。
2009年,Amazon RDS: 這是亞馬遜云科技發(fā)布的首個云數(shù)據(jù)庫產(chǎn)品,支持多種關(guān)系數(shù)據(jù)庫引擎,如MySQL、PostgreSQL等,這標志著亞馬遜云科技開始推動數(shù)據(jù)庫服務(wù)的云化。
2011年,Amazon ElastiCache: 這是一個完全管理的在內(nèi)存中的數(shù)據(jù)存儲,它優(yōu)化了具有高吞吐量和低延遲的實時應(yīng)用程序,在提高數(shù)據(jù)庫性能和響應(yīng)時間方面具有重要價值。
2012年,Amazon DynamoDB: 這是亞馬遜云科技發(fā)布的首個NoSQL數(shù)據(jù)庫產(chǎn)品,支持鍵值存儲模型,滿足大規(guī)模、低延遲的數(shù)據(jù)處理需求,這標志著亞馬遜云科技開始探索非關(guān)系數(shù)據(jù)庫領(lǐng)域,推動數(shù)據(jù)庫服務(wù)的多樣化。同年,亞馬遜云科技還推出Amazon Redshift,這是亞馬遜云科技發(fā)布的首個數(shù)據(jù)倉庫產(chǎn)品,提供PB級的數(shù)據(jù)分析服務(wù),這標志著亞馬遜云科技開始進入大數(shù)據(jù)處理領(lǐng)域,推動數(shù)據(jù)庫服務(wù)的擴展性和分析能力。
2014年,Amazon Aurora: 這是亞馬遜云科技自主研發(fā)的關(guān)系數(shù)據(jù)庫產(chǎn)品,兼容MySQL和PostgreSQL,但在性能和可用性上進行了優(yōu)化,這標志著亞馬遜云科技開始進行數(shù)據(jù)庫引擎的創(chuàng)新,推動數(shù)據(jù)庫服務(wù)的性能和可靠性。
2016年,Amazon Database Migration Service (DMS): DMS的發(fā)布意味著亞馬遜云科技致力于提供更加全面的數(shù)據(jù)庫遷移解決方案,進一步降低了用戶從傳統(tǒng)數(shù)據(jù)庫向云原生數(shù)據(jù)庫遷移的難度和復(fù)雜性。
2017年,Amazon DynamoDB Global Tables: 這是DynamoDB的一種全球化解決方案,它允許在多個地理區(qū)域之間自動復(fù)制數(shù)據(jù),從而提供了快速的本地性能和全球數(shù)據(jù)的故障轉(zhuǎn)移能力,這是亞馬遜云科技在全球分布式數(shù)據(jù)管理方面的重要創(chuàng)新。
2018年,Amazon Aurora Serverless v1: 這是亞馬遜云科技發(fā)布的首個無服務(wù)器數(shù)據(jù)庫產(chǎn)品,根據(jù)實時負載自動調(diào)整數(shù)據(jù)庫的計算能力,這標志著亞馬遜云科技開始推動數(shù)據(jù)庫服務(wù)的自動化和智能化。
2019年,Amazon DocumentDB:這是亞馬遜云科技發(fā)布的兼容MongoDB API的文檔數(shù)據(jù)庫服務(wù),體現(xiàn)了亞馬遜云科技對開源數(shù)據(jù)庫生態(tài)的重視和支持,以及其在提供更多樣化的數(shù)據(jù)處理解決方案方面的持續(xù)創(chuàng)新。
2020年,Amazon Timestream: 這是亞馬遜云科技發(fā)布的首個時序數(shù)據(jù)庫產(chǎn)品,專門用于處理時間序列數(shù)據(jù),這標志著亞馬遜云科技開始針對特定數(shù)據(jù)類型和應(yīng)用場景進行數(shù)據(jù)庫產(chǎn)品的創(chuàng)新。
2021年,Babelfish for Aurora,使得用戶可以更容易地將現(xiàn)有的SQL Server數(shù)據(jù)庫遷移到Aurora PostgreSQL。
2022年,Amazon Aurora Serverless v2,進一步優(yōu)化了無服務(wù)器數(shù)據(jù)庫的性能和響應(yīng)速度,這標志著亞馬遜云科技在數(shù)據(jù)庫服務(wù)的自動化、智能化上做出了更深入的創(chuàng)新。
從上面的時間節(jié)點來看,云原生數(shù)據(jù)庫技術(shù)創(chuàng)新方面的發(fā)展歷程,是一個從云化、多樣化、大數(shù)據(jù)處理、性能優(yōu)化、自動化和智能化、特定數(shù)據(jù)類型處理、全球化到進一步的自動化和智能化的過程。無論是關(guān)系數(shù)據(jù)庫,還是非關(guān)系數(shù)據(jù)庫,無論是數(shù)據(jù)倉庫,還是時序數(shù)據(jù)庫,無論是全球化的數(shù)據(jù)管理,還是無服務(wù)器的數(shù)據(jù)庫模型,亞馬遜云科技都在其中發(fā)揮了引領(lǐng)者和推動者的作用。
需要指出的是,技術(shù)本身并不產(chǎn)生價值,技術(shù)的價值來源于應(yīng)用。在這方面,亞馬遜自身在使用數(shù)據(jù)庫方面的真實經(jīng)歷,具有典型借鑒價值。早在2019年,亞馬遜就將存儲在近7500個Oracle數(shù)據(jù)庫中的75 PB內(nèi)部數(shù)據(jù),遷移到Amazon DynamoDB (工作流引擎/客戶檔案/促銷折扣管理)、Amazon Aurora (庫存管理服務(wù)IMS)、 Amazon Relational Database Service(Amazon RDS)、Amazon Redshift (分析型工作負載)、Amazon ElastiCache (緩存服務(wù)請求)等多項亞馬遜云科技數(shù)據(jù)庫中,涵蓋了如復(fù)雜采購、目錄管理、訂單執(zhí)行、會計系統(tǒng)、視頻流工作負載等亞馬遜全部的專有系統(tǒng)。并且,遷移過程無需停機。通過數(shù)據(jù)庫遷移,成本降低了60%,間接費用降低了70%,性能卻提升了40%。
實際上,不僅亞馬遜可以通過應(yīng)用云原生數(shù)據(jù)庫來大幅提升效率、降低成本,其他企業(yè)也同樣可以。并且,云原生數(shù)據(jù)庫發(fā)展迅速,經(jīng)過幾年的發(fā)展,云原生數(shù)據(jù)庫的價值除了降本增效外,還會為企業(yè)帶來更多額外的業(yè)務(wù)收益。對于企業(yè)而言,可以通過采用先進的云原生數(shù)據(jù)庫,來釋放數(shù)據(jù)的業(yè)務(wù)價值。
接下來,我們就來深入分析一下云原生數(shù)據(jù)庫的最新發(fā)展趨勢,以及最新技術(shù)將給企業(yè)帶來的技術(shù)紅利。
云原生數(shù)據(jù)庫的發(fā)展方向:與數(shù)據(jù)分析、AI服務(wù)的深度集成
云原生數(shù)據(jù)庫的創(chuàng)新之路才剛剛開始,遠未到終局。例如,針對不同業(yè)務(wù)場景構(gòu)建數(shù)據(jù)庫,這種“專庫專用”的模式可以大大提高數(shù)據(jù)庫的性能和效率,幫助客戶更好地滿足業(yè)務(wù)需求;基于Serverless Database技術(shù)實現(xiàn)極致彈性。未來,云原生數(shù)據(jù)庫可能會更加無服務(wù)器化,支持更靈活的計費模式,如按請求計費、按數(shù)據(jù)量計費等;全球數(shù)據(jù)庫是云原生數(shù)據(jù)庫支持企業(yè)全球化業(yè)務(wù)的重要解決方案,全球數(shù)據(jù)庫可以在全球范圍內(nèi)的多個數(shù)據(jù)中心部署數(shù)據(jù)庫實例,提供數(shù)據(jù)復(fù)制,負載均衡,故障切換等功能,以實現(xiàn)全球的數(shù)據(jù)一致性和業(yè)務(wù)連續(xù)性。
除了上述優(yōu)勢外,尤其值得注意的是云原生數(shù)據(jù)庫與大數(shù)據(jù)、AI以及整個云計算體系的深度集成,這將為釋放企業(yè)的數(shù)據(jù)價值帶來巨大的推力。
數(shù)據(jù)已經(jīng)成為繼土地、勞動力、資本、技術(shù)之后的第五種生產(chǎn)要素,如何通過應(yīng)用來釋放數(shù)據(jù)要素價值,成為整個數(shù)據(jù)產(chǎn)業(yè)需要回答的問題。云原生數(shù)據(jù)庫作為整個數(shù)據(jù)智能大廈的基礎(chǔ),通過將數(shù)據(jù)庫與上層大數(shù)據(jù)、AI服務(wù)集成,來更好賦能數(shù)據(jù)應(yīng)用,將是云原生數(shù)據(jù)庫的重要發(fā)展方向。
以亞馬遜云科技為例,其基于云原生數(shù)據(jù)庫,構(gòu)建起涵蓋數(shù)據(jù)存儲、查詢、數(shù)據(jù)分析、機器學(xué)習(xí)、商業(yè)智能、編目與治理的端到端的數(shù)據(jù)戰(zhàn)略。
亞馬遜云科技構(gòu)建端到端的數(shù)據(jù)戰(zhàn)略
亞馬遜云科技作為全球領(lǐng)先的云廠商,其提供了一系列強大的云原生數(shù)據(jù)庫、大數(shù)據(jù)和AI服務(wù)。這些服務(wù)之間緊密集成,提供了一站式的數(shù)據(jù)平臺,支持各種復(fù)雜的數(shù)據(jù)應(yīng)用。例如,Amazon Redshift提供全托管式 PB級別的數(shù)據(jù)倉庫服務(wù),允許用戶在云上進行大規(guī)模的數(shù)據(jù)分析;Amazon S3與Redshift、EMR、Athena 等服務(wù)緊密集成,為大數(shù)據(jù)處理和分析提供了強大的支持;Amazon EMR支持批處理、交互查詢、機器學(xué)習(xí)、流處理等各種大數(shù)據(jù)處理模式,并集成了 S3、Redshift、DynamoDB 等服務(wù),用戶可以在 EMR 中直接處理這些服務(wù)中的數(shù)據(jù);SageMaker 是一種完全托管的機器學(xué)習(xí)服務(wù),集成了亞馬遜云科技 的大數(shù)據(jù)和數(shù)據(jù)庫服務(wù),用戶可以直接處理這些服務(wù)中的數(shù)據(jù),簡化了機器學(xué)習(xí)流程;QuickSight 作為商業(yè)智能服務(wù),集成了亞馬遜云科技的數(shù)據(jù)庫和大數(shù)據(jù)服務(wù),用戶可以在 QuickSight 中直接訪問和分析這些服務(wù)中的數(shù)據(jù),然后對數(shù)據(jù)進行可視化分析。
在云環(huán)境下,數(shù)據(jù)庫、大數(shù)據(jù)和AI服務(wù)的集成顯得尤為重要。它們并不是孤立存在的,而是在數(shù)據(jù)的生命周期中各司其職,互相配合,提供了從數(shù)據(jù)采集、存儲、處理、分析到最終應(yīng)用的全流程解決方案。
云原生數(shù)據(jù)庫,除了其在擴展性、彈性、可靠性等技術(shù)特性方面的顯著優(yōu)越性外,更重要的在于它能快速整合云服務(wù)中的其他重要元素,形成一個完整的數(shù)據(jù)處理和分析的生態(tài)。在這個生態(tài)中,數(shù)據(jù)庫、大數(shù)據(jù)和AI等服務(wù)相互補充,形成一個強大的“戰(zhàn)斗集群”。
在這種情況下,提供全面、集成的云服務(wù)的公司顯然具有更強的競爭力。他們能為客戶提供一站式的解決方案,減少客戶在技術(shù)選擇和集成上的困擾,使客戶能更專注于他們的業(yè)務(wù),這是許多單一數(shù)據(jù)庫公司難以復(fù)制的。
云原生數(shù)據(jù)庫可以通過APIs和服務(wù)調(diào)用與同在云平臺上的其他服務(wù)(例如大數(shù)據(jù)處理工具、AI和機器學(xué)習(xí)服務(wù)等)進行無縫交互。這種集成性能力使得開發(fā)者可以更容易地構(gòu)建、部署和擴展復(fù)雜的應(yīng)用。例如,數(shù)據(jù)可以從云原生數(shù)據(jù)庫中讀取,然后通過大數(shù)據(jù)服務(wù)進行處理,最后通過AI服務(wù)進行模型訓(xùn)練和預(yù)測。整個過程無需數(shù)據(jù)遷移,不僅提高了效率,也減少了數(shù)據(jù)丟失或泄露的風險。而傳統(tǒng)的單一數(shù)據(jù)庫公司,由于缺乏相應(yīng)的大數(shù)據(jù)和AI等云服務(wù),往往需要通過第三方服務(wù)進行集成,這就會涉及到諸如數(shù)據(jù)傳輸、安全性、性能優(yōu)化、兼容性等問題,難度和成本都會相對較高。
此外,云服務(wù)提供商通常擁有豐富的服務(wù)體系,例如存儲服務(wù)、計算服務(wù)、網(wǎng)絡(luò)服務(wù)、安全服務(wù)等。這些服務(wù)可以與云原生數(shù)據(jù)庫進行深度集成,形成一個完整的解決方案,滿足用戶的各種需求。而對于單一數(shù)據(jù)庫公司,他們往往只能提供數(shù)據(jù)庫服務(wù),無法提供全面的解決方案,這就限制了他們在滿足用戶需求時的靈活性和全面性。
綜上,云原生數(shù)據(jù)庫已成為數(shù)據(jù)庫發(fā)展的方向,這源于它對云計算的優(yōu)勢利用和對大規(guī)模、多樣化、實時性數(shù)據(jù)的處理能力。云原生數(shù)據(jù)庫不僅滿足了傳統(tǒng)的存儲和查詢需求,而且隨著大數(shù)據(jù)和AI集成的趨勢,已經(jīng)成為數(shù)據(jù)驅(qū)動決策和智能應(yīng)用的重要平臺。
在這背景下,能提供云原生數(shù)據(jù)庫的綜合云廠商,如亞馬遜云科技,通過其云服務(wù)集成、大數(shù)據(jù)處理和AI技術(shù)等優(yōu)勢,以及豐富的生態(tài)系統(tǒng),已在推動云原生數(shù)據(jù)庫發(fā)展和提供集成服務(wù)方面展現(xiàn)出顯著優(yōu)勢。亞馬遜云科技這類綜合云廠商將繼續(xù)引領(lǐng)數(shù)據(jù)庫發(fā)展,推動云原生數(shù)據(jù)庫與大數(shù)據(jù)、AI集成,推動數(shù)字化轉(zhuǎn)型和數(shù)字經(jīng)濟建設(shè),釋放數(shù)據(jù)作為新型生產(chǎn)要素的價值,進一步推動社會的數(shù)字化進程。
文:月滿西樓 / 數(shù)據(jù)猿
來源:數(shù)據(jù)猿
刷新相關(guān)文章
我要評論
不容錯過的資訊
-
1公司老板被AI詐騙430萬;AI圖像編輯技術(shù)D
-
22023中國AIGC應(yīng)用研究報告 | 附120頁
-
3《2023中國數(shù)據(jù)智能產(chǎn)業(yè)圖譜1.0版》重磅
-
42023中國智能客服領(lǐng)域最具商業(yè)合作價值企
-
5亞馬遜云科技能為“醫(yī)療和生命科學(xué)”做些
-
6【報名】ChatGPT能讓智能客服更上一層樓
-
7算一筆細賬,ChatGPT、文心一言這類大模
-
82023中國元宇宙領(lǐng)域最具商業(yè)合作價值企業(yè)
-
9深度:ChatGPT只是表面的喧囂,大模型才
-
10數(shù)博預(yù)告|“場景大數(shù)據(jù)”理論與實踐研討
大數(shù)據(jù)企業(yè)推薦more >
大家都在搜
