問答Datameer公司Andrew Brust：大數(shù)據(jù)在人工智能技術(shù)中扮演的角色

大數(shù)據(jù) 人工智能技術(shù)

36大數(shù)據(jù) | 2017-08-11 15:26

【數(shù)據(jù)猿導讀】 Andrew Brust：Datameer在大數(shù)據(jù)領(lǐng)域依然十分專注。實際上，SmartAI的目的就在于將人工智能與大數(shù)據(jù)分析工作流程相互融合。對大部分企業(yè)來說，面對人工智能技術(shù)，最大的障礙依然在于大數(shù)據(jù)、商業(yè)智能，以及其他分析工具和技術(shù)之間嚴重的隔閡。我們希望通過SmartAI解決這個問題，將人工...

問答Datameer公司Andrew Brust：大數(shù)據(jù)在人工智能技術(shù)中扮演的角色

Datameer最近發(fā)布的SmartAI可將大數(shù)據(jù)與機器學習模型結(jié)合在一起提供更深入的數(shù)據(jù)見解。

SmartAI意在通過大數(shù)據(jù)實現(xiàn)人工智能，例如針對大規(guī)模的大數(shù)據(jù)運行人工智能算法，幫助企業(yè)中的分析師將人工智能模型融入分析工作流程，以安全合規(guī)的方式完成自己的工作。

InfoQ與Datameer公司市場戰(zhàn)略和智能部門資深總監(jiān)Andrew Brust一起探討了大數(shù)據(jù)在人工智能領(lǐng)域，尤其是SmartAI中所扮演的角色。

InfoQ：Datameer原本一直在大數(shù)據(jù)領(lǐng)域耕耘，為何如今轉(zhuǎn)戰(zhàn)人工智能大數(shù)據(jù)過時了嗎

Andrew Brust：Datameer在大數(shù)據(jù)領(lǐng)域依然十分專注。實際上，SmartAI的目的就在于將人工智能與大數(shù)據(jù)分析工作流程相互融合。對大部分企業(yè)來說，面對人工智能技術(shù)，最大的障礙依然在于大數(shù)據(jù)、商業(yè)智能，以及其他分析工具和技術(shù)之間嚴重的隔閡。我們希望通過SmartAI解決這個問題，將人工智能帶入主流分析工作，駕馭人工智能的強大威力。

InfoQ：您覺得大數(shù)據(jù)和人工智能間的關(guān)系是怎樣的 SmartAI如何發(fā)揮該特性

Brust：大數(shù)據(jù)和人工智能之間有著極強的協(xié)同增效關(guān)系，然而這個特點尚未得到業(yè)界的足夠重視。對于SmartAI，Datameer意在將兩個世界徹底打通。使用機器學習模型對數(shù)據(jù)計分，原本這主要是一種即席(Ad Hoc)的過程，大部分時候是在數(shù)據(jù)科學家的工作站上進行的。但計分操作其實也可以針對規(guī)模更大的大數(shù)據(jù)平臺，以自動化的方式在Hadoop集群的所有節(jié)點上進行。這恰恰是我們目前的努力目標。

InfoQ：機器學習需要進行大量的數(shù)據(jù)準備和操作過程，從廣義上來看，這是否可以發(fā)揮Hadoop的優(yōu)勢，尤其是，能否發(fā)揮貴公司的優(yōu)勢

Brust：沒錯，數(shù)據(jù)準備也是我們的重要方向之一，同時也是大數(shù)據(jù)技術(shù)以及人工智能技術(shù)的重要一環(huán)。如果要實現(xiàn)人工智能，必須首先選擇一種算法并訓練模型。訓練模型所用的數(shù)據(jù)必須足夠“干凈”，通過篩選僅包含最基本的輸入(特征)列，并在恰當層面上進行匯總。數(shù)據(jù)的準備過程必須完成上述所有操作。因此也需要針對原始數(shù)據(jù)中所呈現(xiàn)的值進行復雜計算，得到基于列的數(shù)據(jù)。Datameer可以使用Hadoop做到所有這一切，并且效果很不錯。因此在我們的產(chǎn)品中增加人工智能的相關(guān)能力就成了一種很自然的做法。

InfoQ：您所說的人工智能的“運維化”是指什么能否從廣義上，以及SmartAI的角度深入介紹一下相關(guān)技術(shù)細節(jié)

Brust：正如之前所說，原本，數(shù)據(jù)計分操作是一種純手工，量身定制的過程，需要由數(shù)據(jù)科學家在自己的工作站上進行。這一過程的輸出結(jié)果對業(yè)務(wù)非常有用。然而這種方式并未在企業(yè)中形成標準，更多的只是一種手工點擊按鈕運行某些重要計算過程的做法。

計分過程需要自動化，需要管理，需要監(jiān)視，需要在更大尺度下運行。此外還需要實現(xiàn)運維化。至今我們依然沒有做到這一切，聽起來似乎有些荒謬，但大部分情況下實際情況確實如此。通過使用SmartAI，計分操作可以實現(xiàn)運維化，該產(chǎn)品可集成在與近年來流行的大數(shù)據(jù)分析技術(shù)相同的數(shù)據(jù)流程引擎和管理平臺中。

這種方式塑造了一些全新用例，例如每天或每小時針對大數(shù)據(jù)運行流失分析模型，同時還可以完全遵守針對此類分析所設(shè)立的各種合規(guī)策略。

InfoQ：在深度學習的范圍內(nèi)，SmartAI能否同時解決訓練和推斷有關(guān)的問題還是主要解決了與分析有關(guān)的問題

Brust：Datameer并不涉及實際的訓練過程，數(shù)據(jù)科學家依然需要使用自己慣用的開發(fā)環(huán)境、語言、工具，和/或命令行接口訓練自己的模型。

模型訓練完成后，即可導入Datameer并且可供調(diào)用，我們的庫中還額外提供了超過270種電子表格函數(shù)。借此即可將人工智能嵌入到安全、受管控、可調(diào)度的數(shù)據(jù)流程中，將本就很強大的分析能力與人工智能結(jié)合在一起，發(fā)揮出更大威力。

InfoQ：最后，為何要選擇TensorFlow 該產(chǎn)品的未來規(guī)劃中是否考慮過解決人工智能領(lǐng)域的其他問題

Brust：目前TensorFlow很流行，很受關(guān)注，整個生態(tài)的發(fā)展非常良好，因此我們也選擇了這個技術(shù)。人工智能領(lǐng)域的創(chuàng)新速度很快，我們都知道還有其他很多開源的深度學習框架，其中每一個都有可能迎來更大的發(fā)展勢頭。因此我們會密切關(guān)注整個行業(yè)，及時掌握最新變化，我們針對TensorFlow所采取的結(jié)構(gòu)化的方法也可以用于其他庫，不過目前來說，對于將SmartAI以及TensorFlow集成在Datameer產(chǎn)品中的決定，我們覺得是非常妥善的。

來源：36大數(shù)據(jù)

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責。