在讀取唇語方面，人工智能已經(jīng)戰(zhàn)勝了人類

唇語人工智能語音識別

譯東西 | 2016-11-23 10:18

【數(shù)據(jù)猿導(dǎo)讀】語音識別技術(shù)已經(jīng)成為科技圈的亮點，無論是百度的度秘，還是搜索剛剛開發(fā)的要取代口譯人員的機(jī)器人，語音識別技術(shù)真的是越來越強(qiáng)大了。 Jamie Condliff 在本文介紹了新的研究，證明人工智能不僅可以通過語音識別人們說話內(nèi)容，即使聽不到聲音，人工智能已經(jīng)可以順利地讀取唇語了，甚...

眾所周知，唇讀是非常困難的，很大程度上取決于語言的語境和對其的了解，而這些都只通過視覺來呈現(xiàn)的。但是研究者們正向我們表明，機(jī)器學(xué)習(xí)能夠比專業(yè)唇讀者更有效地來識別那些無聲視頻的臺詞。

在一個項目中，來自牛津大學(xué)計算機(jī)科學(xué)系的一個團(tuán)隊開發(fā)了一個名為LipNet的全新人工智能系統(tǒng)，據(jù)Quartz新聞網(wǎng)站報道，這個系統(tǒng)建立在GRID的數(shù)據(jù)集基礎(chǔ)上，而GRID是由人們朗讀三秒鐘句子的清晰的面部視頻合輯構(gòu)成。每個句子都遵循相同模式的字符串。

這個團(tuán)隊用這一數(shù)據(jù)集去訓(xùn)練神經(jīng)網(wǎng)絡(luò)，與執(zhí)行語音辨認(rèn)的性質(zhì)類似。在這一過程中，盡管神經(jīng)網(wǎng)絡(luò)隨著時間推移能夠識別出口型變化，也能學(xué)會把這一信息與所說內(nèi)容的解釋聯(lián)系起來。但是人工智能系統(tǒng)并不會斷斷續(xù)續(xù)地分析連續(xù)鏡頭，而是考慮整體內(nèi)容，使得它能夠從分析的句子中理解其中的語境。這一點非常重要，因為人們的口型往往比人們發(fā)出的聲音要少很多。

測試的時候，這一人工智能系統(tǒng)能夠準(zhǔn)確地識別出93.4%的話語，許多人工唇讀志愿者也做了同樣的測試，但是準(zhǔn)確率只有52.3%。

據(jù)New Scientist報道，另外一個來自牛津大學(xué)工程科學(xué)系并一直與谷歌的DeepMind這一人工智能系統(tǒng)合作的團(tuán)隊完成了一項更加困難的的任務(wù)。他們所使用的并不是像GRID那樣整齊一致的數(shù)據(jù)集，而是一系列從英國廣播公司電視臺截取的100,000個小視頻。這些小視頻囊括許多語種，并且其中有不同的光線效果和說話人頭部位置的移動。

牛津大學(xué)和DeepMind的團(tuán)隊用了類似的方法，成功地開發(fā)出一個識別率達(dá)到46.8%的人工智能系統(tǒng)。這遠(yuǎn)遠(yuǎn)超過了人工識別的準(zhǔn)確率，人工識別要做到毫無差錯的準(zhǔn)確率只有12.4%。當(dāng)然，準(zhǔn)確率之所以這么低是有很多原因的，包括從光線和方向轉(zhuǎn)換到更深層次的語言復(fù)雜程度。

撇開差異來說，這兩次試驗表明，人工智能系統(tǒng)在唇讀方面遠(yuǎn)遠(yuǎn)勝過人工識別，我們不難想象，這種軟件的應(yīng)用潛力是巨大的。在將來，網(wǎng)絡(luò)電話Skype可以彌補(bǔ)很多不足，比如當(dāng)呼叫者處于較吵的環(huán)境時，又或者說可以讓那些聽力有障礙的人也能拿起手機(jī)去“聽”別人在說什么。

來源：36kr

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。