云棲大會(huì):阿里云計(jì)算能力再次飛躍 流計(jì)算2.0每秒峰值達(dá)千萬QPS
數(shù)據(jù)觀 | 2017-10-13 10:30
【數(shù)據(jù)猿導(dǎo)讀】 10月12日,阿里巴巴集團(tuán)副總裁周靖人在云棲大會(huì)上發(fā)布了阿里云在大數(shù)據(jù)計(jì)算能力上的新突破:將BigBench數(shù)據(jù)規(guī)模擴(kuò)展到100T;流計(jì)算2.0每秒峰值達(dá)千萬QPS,整體鏈路延時(shí)亞秒級(jí);E-MapReduce對(duì)比同類產(chǎn)品平均性能提升3倍。

10月12日,阿里巴巴集團(tuán)副總裁周靖人在云棲大會(huì)上發(fā)布了阿里云在大數(shù)據(jù)計(jì)算能力上的新突破:將BigBench數(shù)據(jù)規(guī)模擴(kuò)展到100T;流計(jì)算2.0每秒峰值達(dá)千萬QPS,整體鏈路延時(shí)亞秒級(jí);E-MapReduce對(duì)比同類產(chǎn)品平均性能提升3倍。
周靖人說,數(shù)據(jù)是機(jī)器智能創(chuàng)新的基礎(chǔ),擁有充沛的計(jì)算能力才能全面釋放數(shù)據(jù)的價(jià)值。我們希望通過不斷的釋放阿里云的計(jì)算紅利,幫助開發(fā)者抓住更多市場(chǎng)機(jī)遇。
BigBench全球首次達(dá)到100TB
TPCx-BigBench是大數(shù)據(jù)端到端真實(shí)復(fù)雜的業(yè)界領(lǐng)先測(cè)試基準(zhǔn),目前,TPC官網(wǎng)公布的測(cè)試最大規(guī)模為10TB,最佳性能是1491.23BBQpm。
當(dāng)天,阿里云與Intel合作,在最新的Intel硬件上,基于公共云發(fā)布的BigBench On MaxCompute+PAI,全球首次將規(guī)模拓展到100TB,達(dá)到7000 BBQpm,也是首個(gè)基于公共云服務(wù)的Benchmark。
據(jù)介紹,大會(huì)結(jié)束后,MaxCompute會(huì)在公共云開放一個(gè)月的測(cè)試環(huán)境,并開源BigBench On MaxCompute+PAI的SDK(繼承自TPCx-Bigbench,并使之運(yùn)行在阿里云的大數(shù)據(jù)環(huán)境上),供開發(fā)者驗(yàn)證試用。
在規(guī)模上的優(yōu)秀表現(xiàn),得益于MaxCompute的海量數(shù)據(jù)處理能力和機(jī)器學(xué)習(xí)算法高效性,MaxCompute基于阿里云自主研發(fā)的分布式操作系統(tǒng)飛天,單集群服務(wù)器規(guī)模可以達(dá)到萬臺(tái)以上,數(shù)據(jù)規(guī)模達(dá)到EB級(jí)。
在性能上,MaxCompute新一代處理引擎從Compiler、Optimizer、Runtime等模塊進(jìn)行的持續(xù)深度優(yōu)化。此外,MaxCompute與Intel開展深度合作,軟硬結(jié)合深度優(yōu)化。
英特爾數(shù)據(jù)中心事業(yè)部副總裁Robert Hays - ”我們非常高興能夠和阿里云共同在最新的英特爾® 至強(qiáng)® 可擴(kuò)展處理器平臺(tái)上對(duì)MaxCompute進(jìn)行深度優(yōu)化,并見證阿里云MaxCompute在BigBench測(cè)試中表現(xiàn)出的優(yōu)異成績“。
更快的流計(jì)算StreamCompute 2.0
在流計(jì)算方面,周靖人透露將于10月底在公共云發(fā)布新的版本。StreamCompute 2.0基于Apache Flink,并為開源社區(qū)提供了大量阿里內(nèi)部的改進(jìn)和優(yōu)化。
新版流式計(jì)算2.0的特點(diǎn)包括:
1. 高吞吐低時(shí)延處理能力,單作業(yè)峰值達(dá)數(shù)千萬的QPS,相比于StreamCompute 1.0有10+倍提升
2. SQL化的流式分析語言,由阿里巴巴計(jì)算事業(yè)部實(shí)時(shí)計(jì)算團(tuán)隊(duì)主導(dǎo)開發(fā)并回饋社區(qū)的BlinkSQL;BlinkSQL支持完備的流式處理語義,支持包括多種窗口、亂序容忍、完整DDL支持
3. 精準(zhǔn)的數(shù)據(jù)處理語義,提供Exactly-once處理語義,同時(shí)為減少磁盤IO,提供增量CheckPoint,優(yōu)化存儲(chǔ)空間。
E-MapReduce性能3倍提升
E-MapReduce產(chǎn)品是阿里云上基于開源大數(shù)據(jù)的云服務(wù)產(chǎn)品,包括15+個(gè)開源組件的一站式大數(shù)據(jù)解決方案。周靖人現(xiàn)場(chǎng)發(fā)布了基于本地硬盤以及計(jì)算存儲(chǔ)分離的大數(shù)據(jù)解決方案。
周靖人介紹,為了解決大數(shù)據(jù)處理以及機(jī)器學(xué)習(xí)的統(tǒng)一調(diào)度難題,E-MapReduce產(chǎn)品實(shí)現(xiàn)了CPU/GPU的混合調(diào)度方案,使得數(shù)據(jù)預(yù)處理以及數(shù)據(jù)訓(xùn)練可以在一個(gè)平臺(tái)上解決。
E-MapReduce對(duì)于數(shù)據(jù)讀寫的性能至關(guān)重要,產(chǎn)品通過對(duì)于對(duì)象存儲(chǔ)OSS的優(yōu)化,使得讀寫OSS的性能是同類產(chǎn)品的3倍,對(duì)于計(jì)算和存儲(chǔ)分離的大數(shù)據(jù)解決方案的產(chǎn)品化形式變得可以落地。
來源:數(shù)據(jù)觀
刷新相關(guān)文章
我要評(píng)論
活動(dòng)推薦more >
- 2018 上海國際大數(shù)據(jù)產(chǎn)業(yè)高2018-12-03
- 2018上海國際計(jì)算機(jī)網(wǎng)絡(luò)及信2018-12-03
- 中國國際信息通信展覽會(huì)將于2018-09-26
- 第五屆FEA消費(fèi)金融國際峰會(huì)62018-06-21
- 第五屆FEA消費(fèi)金融國際峰會(huì)2018-06-21
- “無界區(qū)塊鏈技術(shù)峰會(huì)2018”2018-06-14
不容錯(cuò)過的資訊
-
1#后疫情時(shí)代的新思考#疫情之下,關(guān)于醫(yī)
-
2數(shù)據(jù)軟件產(chǎn)品和服務(wù)商DataHunter完成B輪
-
3眾盟科技獲ADMIC 2020金粲獎(jiǎng)“年度汽車
-
4數(shù)據(jù)智能 無限未來—2020世界人工智能大
-
5#2020非凡大賞:數(shù)字化風(fēng)起云涌時(shí),共尋
-
6#榜樣的力量#天璣數(shù)據(jù)大腦疫情風(fēng)險(xiǎn)感知
-
7#榜樣的力量#內(nèi)蒙古自治區(qū)互聯(lián)網(wǎng)醫(yī)療服
-
8#榜樣的力量#實(shí)時(shí)新型肺炎疫情數(shù)據(jù)小程
-
9#榜樣的力量#華佗疫情防控平臺(tái)丨數(shù)據(jù)猿
-
10#后疫情時(shí)代的新思考#構(gòu)建工業(yè)互聯(lián)網(wǎng)新