金山云跟英特爾合作推出KMR,發(fā)力人工智能
徐寧 | 2017-04-13 11:29
【數(shù)據(jù)猿導讀】 日前,金山云和英特爾合作推出數(shù)據(jù)分析領域解決方案KMR(Kingsoft MapReduce)。KMR采用英特爾至強處理器E5 v4產(chǎn)品家族的硬件平臺, 是一個可伸縮的通用數(shù)據(jù)計算和分析平臺

日前,金山云和英特爾合作推出數(shù)據(jù)分析領域解決方案KMR(KingsoftMapReduce)。KMR采用英特爾至強處理器E5v4產(chǎn)品家族的硬件平臺,是一個可伸縮的通用數(shù)據(jù)計算和分析平臺。它以ApacheHadoop和ApacheSpark兩大數(shù)據(jù)計算系統(tǒng)為基礎,通過自動調(diào)度彈性計算服務(KEC),能夠幫助企業(yè)用戶快速構(gòu)建分布式數(shù)據(jù)分析系統(tǒng)。
金山云的發(fā)展大致分為三個階段:云計算、大數(shù)據(jù)以及人工智能。
云計算,說白了就是以IaaS和虛擬化等技術為核心支撐,讓企業(yè)將其業(yè)務放到云端,降低企業(yè)的部署成本,并且加速企業(yè)業(yè)務的發(fā)展。接下來,云上會產(chǎn)生很多數(shù)據(jù),必須要有利用這些數(shù)據(jù)驅(qū)動企業(yè)進行決策的能力,這個時候就需要以Hadoop為代表的大數(shù)據(jù)處理技術。第三步,其實就是人工智能,像人臉識別等,這本身就是一個對性能和規(guī)模有非常高要求的行業(yè),天然適合上云,所以之后金山云會著重布局。
要實現(xiàn)這些的基礎,就是靠金山云機器學習平臺KML(KingsoftMachineLearning),這是機器學習/深度學習任務托管平臺,底層基于金山云高性能異構(gòu)計算集群,融合了Intel等合作伙伴的技術。
會上,金山云大數(shù)據(jù)和AI技術總監(jiān)張東進從成本、效率、性能、安全四方面闡述了KML的價值:
成本方面,平臺會按實際的運營時間收費,這樣就能幫企業(yè)省去系統(tǒng)研發(fā)和維護成本。
效率方面,這是一個全功能的深度學習集成環(huán)境,包括TensorFlow,以及英特爾的BigDL等框架。由于是全流程平臺,所以從整個物料的預處理、物料的存儲、物料的訓練、評估、上線預測等等方面都提供完整的支持。
安全方面,做人工智能最核心的不是算法,還是數(shù)據(jù)。KML可以提供一個企業(yè)級的數(shù)據(jù)加密和企業(yè)級HPC集群保證數(shù)據(jù)安全。
性能上,底層是基于成熟的異構(gòu)計算集群,其中就包括英特爾給提供的高性能E5系列的CPU,以及萬兆網(wǎng)卡和英特爾SSD技術。
至于英特爾方面,技術專家也表示,目前和金山云一直在努力合作的部分是,端到端、云上大數(shù)據(jù)解決方案。拿最典型的KMR計算舉例,數(shù)據(jù)是放在塊存儲還是放在對象存儲呢?這個實際上是有不同的配置,比如用戶想節(jié)省成本,想成本最低,都是批處理,這個時候可能把數(shù)據(jù)全放在底層對象存儲,用KS3做對象存儲,這樣的話,當計算的時候,Spark直接從對象存儲調(diào)用數(shù)據(jù)計算。同樣,如果說想保證效率,計算的實時性要求很高,這個時候可以在內(nèi)存里面建立一個內(nèi)存文件系統(tǒng),現(xiàn)在叫Alluxio,把熱數(shù)據(jù)全部緩存在內(nèi)存里面,直接用上面的KML或者是Spark實現(xiàn)內(nèi)存計算,保證查詢的實時性和計算的實時性。
所以,英特爾和金山云的合作目的是對每一個模塊進行優(yōu)化,按照云的特性,大數(shù)據(jù)的特性,把雙方結(jié)合起來。
來源:36kr
刷新相關文章
我要評論
活動推薦more >
- 2018 上海國際大數(shù)據(jù)產(chǎn)業(yè)高2018-12-03
- 2018上海國際計算機網(wǎng)絡及信2018-12-03
- 中國國際信息通信展覽會將于2018-09-26
- 第五屆FEA消費金融國際峰會62018-06-21
- 第五屆FEA消費金融國際峰會2018-06-21
- “無界區(qū)塊鏈技術峰會2018”2018-06-14
不容錯過的資訊
-
1#后疫情時代的新思考#疫情之下,關于醫(yī)
-
2數(shù)據(jù)軟件產(chǎn)品和服務商DataHunter完成B輪
-
3眾盟科技獲ADMIC 2020金粲獎“年度汽車
-
4數(shù)據(jù)智能 無限未來—2020世界人工智能大
-
5#2020非凡大賞:數(shù)字化風起云涌時,共尋
-
6#榜樣的力量#天璣數(shù)據(jù)大腦疫情風險感知
-
7#榜樣的力量#內(nèi)蒙古自治區(qū)互聯(lián)網(wǎng)醫(yī)療服
-
8#榜樣的力量#實時新型肺炎疫情數(shù)據(jù)小程
-
9#榜樣的力量#華佗疫情防控平臺丨數(shù)據(jù)猿
-
10#后疫情時代的新思考#構(gòu)建工業(yè)互聯(lián)網(wǎng)新