大語言模型（LLMs）作為語言理解與生成的基礎(chǔ)技術(shù)，其應(yīng)用已擴(kuò)展至語音處理領(lǐng)域，如語音識(shí)別、對話系統(tǒng)等新興方向。然而，構(gòu)建基于LLMs的語音對話系統(tǒng)面臨核心挑戰(zhàn)：真實(shí)多語種對話數(shù)據(jù)的稀缺性。這類數(shù)據(jù)需涵蓋自然停頓、說話者重疊等復(fù)雜交互場景，對提升AI系統(tǒng)的多語種理解能力和長上下文處理能力至關(guān)重要，直接影響下一代人機(jī)交互的自然度與準(zhǔn)確性。為推動(dòng)這一研究發(fā)展，由數(shù)據(jù)堂主辦，中國移動(dòng)、Meta、Google、 Samsung、Naver聯(lián)合贊助的INTERSPEECH2025多語種對話語音語言模型（MLC-SLM）研討會(huì)正式對外發(fā)布，本次研討會(huì)將通過發(fā)布多語種對話語音數(shù)據(jù)集并舉辦MLC-SLM挑戰(zhàn)賽，推動(dòng)該領(lǐng)域的技術(shù)突破。

一、核心亮點(diǎn)

1. 雙賽道任務(wù)，均要求參賽者探索基于 LLM 的語音模型的開發(fā)：

(1) 任務(wù)I：多語種對話語音識(shí)別

① 目標(biāo)：開發(fā)基于 LLM 的多語種 ASR 模型。

② 參賽者將獲得每段對話的真實(shí)時(shí)間戳標(biāo)注及說話者標(biāo)簽用于切分語音片段。

③ 該任務(wù)的重點(diǎn)是優(yōu)化多語種對話環(huán)境下的語音識(shí)別準(zhǔn)確率。

(2) 任務(wù)II：多語種對話語音日志與識(shí)別

① 目標(biāo)：開發(fā)一個(gè)同時(shí)進(jìn)行說話者日志（即識(shí)別誰在何時(shí)說話），又能進(jìn)行語音識(shí)別（將語音轉(zhuǎn)換為文本）的系統(tǒng)。

② 評估過程中不提供任何先驗(yàn)信息，如真實(shí)時(shí)間戳標(biāo)注、預(yù)先切分的語音片段、說話者標(biāo)簽等

③ 該任務(wù)可以使用基于級聯(lián)系統(tǒng)或端到端系統(tǒng)的方法。

對于任務(wù) I，系統(tǒng)性能將基于不同語言的詞錯(cuò)誤率（WER）或字符錯(cuò)誤率（CER）進(jìn)行評估。

對于任務(wù) II，性能將基于說話人日志錯(cuò)誤率（DER）以及連接最小排列詞錯(cuò)誤率（cpWER）或字符錯(cuò)誤率（cpCER）進(jìn)行評估。DER用于確定在參考標(biāo)注和日志結(jié)果之間的最佳說話人排列。然后，將同一說話人識(shí)別結(jié)果和參考進(jìn)行連接，以計(jì)算cpWER或cpCER。所有提交將根據(jù)cpWER或cpCER進(jìn)行排名。

2. 多語種對話語音數(shù)據(jù)集

11種語言：英語（細(xì)分美/英/澳/印/菲口音）、法、德、日、韓等，總時(shí)長1500小時(shí)。

(1) 數(shù)據(jù)特性：

① 自然對話場景：每段錄音均由兩位說話者就隨機(jī)分配的主題進(jìn)行有意義的對話，需提供真實(shí)時(shí)間戳標(biāo)注和說話者標(biāo)簽。

② 高精度標(biāo)注：日、韓語標(biāo)注詞準(zhǔn)確率95%+，其他語言98%。

③ 多設(shè)備錄制：使用iPhone等設(shè)備并于安靜的室內(nèi)環(huán)境采集，采樣率16kHz。

(2) 數(shù)據(jù)集結(jié)構(gòu)：

① 訓(xùn)練集：英語500小時(shí)（分5種口音）+其他語言各100小時(shí)，任務(wù)I/II共享。

② 開發(fā)集：每語種約4小時(shí)，任務(wù)I/II共享。

③ 評估集：每個(gè)任務(wù)使用不同的評估集，分別指定為 Eval_1 和 Eval_2。具體來說，Eval_1 包括真實(shí)時(shí)間戳標(biāo)注和說話者標(biāo)簽，使用 WER/CER 進(jìn)行評估。Eval_2 不提供時(shí)間戳或說話者標(biāo)簽，因此需要使用說話者日志系統(tǒng)在識(shí)別之前對較長的錄音進(jìn)行分段。

參與者可以通過簽署數(shù)據(jù)使用協(xié)議并提交至報(bào)名表單來訪問數(shù)據(jù)集（具體詳情可前往數(shù)據(jù)堂官網(wǎng)或公眾號查看）。提交后，數(shù)據(jù)下載鏈接將發(fā)送到您的電子郵件。

3. 學(xué)界與產(chǎn)業(yè)界雙重背書

組委會(huì)：馮俊蘭（IEEE Fellow及首席科學(xué)家/中國移動(dòng)）、Eng-Siong Chng（教授/南洋理工大學(xué)）、Shinji Watanabe（副教授/卡內(nèi)基梅隆大學(xué)）、Khalid Choukri（秘書長/歐洲語言資源協(xié)會(huì)）等全球頂尖專家領(lǐng)銜。

贊助商：中國移動(dòng)、Meta、 Google、 Samsung、 Naver、數(shù)據(jù)堂

二、參賽價(jià)值

獎(jiǎng)金池20,000美金：單任務(wù)前三名分別獲5,000/3,000/2,000美金。

論文發(fā)表機(jī)會(huì)：優(yōu)秀成果可入選INTERSPEECH研討會(huì)，與頂級學(xué)者同臺(tái)交流（參考下文“其他主題”）。

技術(shù)自由度：允許使用外部數(shù)據(jù)集與預(yù)訓(xùn)練模型（需公開聲明），支持?jǐn)?shù)據(jù)增強(qiáng)。

注：參加研討會(huì)的注冊費(fèi)

• 非會(huì)員注冊費(fèi)：60歐元

• 非會(huì)員學(xué)生注冊費(fèi)：45歐元

• ISCA會(huì)員注冊費(fèi)：50歐元

• ISCA學(xué)生會(huì)員注冊費(fèi)：35歐元

三、關(guān)鍵日程（AOT時(shí)間）

2025 年 3 月 10 日：注冊開放

2025 年 3 月 15 日：訓(xùn)練數(shù)據(jù)發(fā)布

2025 年 4月 1 日：開發(fā)集和基線系統(tǒng)發(fā)布

2025 年 5 月 15 日：評估集發(fā)布及 Leaderboard開放

2025 年 5 月 30 日：Leaderboard凍結(jié)，論文提交系統(tǒng)（CMT）開放

2025 年 6 月 15 日：論文提交截止

2025 年 7 月 1 日：論文錄用通知

2025 年 8 月 18 日：荷蘭鹿特丹研討會(huì)（鹿特丹阿霍伊?xí)h中心）

四、參賽必讀

所有參與者必須遵守以下規(guī)則：

• 外部資源使用：對于任務(wù)I 和 任務(wù)II，允許使用外部數(shù)據(jù)集和預(yù)訓(xùn)練模型（包括語音基礎(chǔ)模型和大語言模型）。所有使用的外部資源必須是公開可獲取的，并且在最終系統(tǒng)報(bào)告中應(yīng)明確標(biāo)明。

• 數(shù)據(jù)增強(qiáng)：允許在發(fā)布的訓(xùn)練集上進(jìn)行數(shù)據(jù)增強(qiáng)，可能包括但不限于添加噪聲或混響、速度擾動(dòng)和音調(diào)修改。

• 禁止使用評估集：嚴(yán)禁以任何形式使用評估集。這包括但不限于使用評估集進(jìn)行微調(diào)或訓(xùn)練模型。

• 多系統(tǒng)融合：參與者不得在任務(wù)I和任務(wù)II中使用系統(tǒng)融合。提交的結(jié)果必須來自單個(gè)模型，而不是通過結(jié)果融合得出。

• 提交要求：所有參賽者必須提交其系統(tǒng)。提交內(nèi)容包括最終識(shí)別結(jié)果、模型以及能夠直接進(jìn)行推理并獲得最終結(jié)果的Docker容器等文件。詳細(xì)的提交說明將在基線系統(tǒng)發(fā)布后提供。請注意，我們將公開那些確認(rèn)參與但未提交任何文件的團(tuán)隊(duì)及其所屬機(jī)構(gòu)的名稱。

• 主辦方解釋權(quán)：主辦方對本規(guī)則擁有最終解釋權(quán)，特殊情況由主辦方酌情協(xié)調(diào)解釋。

五、其他主題

除了挑戰(zhàn)系統(tǒng)內(nèi)容外，還鼓勵(lì)參與者提交創(chuàng)新發(fā)和前瞻性研究論文。主題包括但不限于：

• 新穎的架構(gòu)和算法：開發(fā)用于訓(xùn)練語音語言模型的新架構(gòu)和算法。

• 音頻數(shù)據(jù)處理管線：創(chuàng)新音頻數(shù)據(jù)處理流程，促進(jìn)多樣化互聯(lián)網(wǎng)數(shù)據(jù)的收集，以便訓(xùn)練語音語言模型。

• 自然且情感豐富的語音生成：設(shè)計(jì)用于生成更加自然且富有情感表達(dá)的對話語音的算法，提升對話系統(tǒng)的表現(xiàn)。

• 利用多輪對話歷史：利用多輪對話歷史來增強(qiáng)識(shí)別和分離結(jié)果的技術(shù)

• 評估技術(shù)和基準(zhǔn)：評估語音語言模型的創(chuàng)新評估技術(shù)或基準(zhǔn)。

• 新數(shù)據(jù)集：創(chuàng)建用于訓(xùn)練語音和音頻語言模型的新數(shù)據(jù)集，包括真實(shí)數(shù)據(jù)和合成數(shù)據(jù)。

六、立即參與

? 注冊通道：參與者需進(jìn)行注冊。請上傳已簽署的數(shù)據(jù)使用協(xié)議并填寫注冊表單（谷歌表單）【點(diǎn)擊注冊】，挑戰(zhàn)賽將于2025年3月10日開始。

如需了解其他與注冊相關(guān)的信息，請發(fā)送郵件至：mlc-slmw@nexdata.ai

? 數(shù)據(jù)協(xié)議：已注冊的參與者將有權(quán)訪問訓(xùn)練和測試數(shù)據(jù)集。他們必須簽署數(shù)據(jù)使用協(xié)議（見下文）、同意保密并遵守?cái)?shù)據(jù)保護(hù)協(xié)議。數(shù)據(jù)集僅用于本次研討會(huì)競賽，嚴(yán)禁重新分發(fā)或任何其他用途。參與者有責(zé)任保護(hù)數(shù)據(jù)免受未經(jīng)授權(quán)的訪問。

數(shù)據(jù)許可協(xié)議：Data use agreement- nexdata【點(diǎn)擊下載】

結(jié)語

真實(shí)對話語音數(shù)據(jù)不僅對于技術(shù)進(jìn)步至關(guān)重要，還在構(gòu)建能夠理解多語種和長上下文內(nèi)容的人工智能系統(tǒng)方面發(fā)揮關(guān)鍵作用。本次研討會(huì)通過發(fā)布高質(zhì)量的多語種對話語音數(shù)據(jù)集，并舉辦MLC-SLM挑戰(zhàn)賽，旨在為全球研究者和開發(fā)者提供一個(gè)開放的平臺(tái)，促進(jìn)該方向的研究。未來，隨著更多創(chuàng)新技術(shù)的涌現(xiàn)，基于LLMs的語音對話系統(tǒng)將更加智能、貼近人類交流方式，為全球用戶提供無縫的多語言溝通體驗(yàn)。讓我們攜手共進(jìn)，開啟人機(jī)交互的新篇章！

來源：數(shù)據(jù)猿