9月25日，在2024百度云智大會(huì)上，百度智能云宣布將百舸AI異構(gòu)計(jì)算平臺(tái)全面升級(jí)至4.0版本。升級(jí)后的百舸，圍繞落地大模型全旅程的算力需求，在集群創(chuàng)建、開(kāi)發(fā)實(shí)驗(yàn)、模型訓(xùn)練、模型推理四大方面，為企業(yè)提供“多、快、穩(wěn)、省”的AI基礎(chǔ)設(shè)施。

為了解決算力資源短缺的問(wèn)題，百舸4.0對(duì)“多芯混訓(xùn)”能力進(jìn)行了重點(diǎn)升級(jí)，實(shí)現(xiàn)了在萬(wàn)卡規(guī)模集群上95%的多芯混合訓(xùn)練效能，達(dá)到業(yè)務(wù)最領(lǐng)先水平。

在集群部署環(huán)節(jié)，升級(jí)后的百舸能夠?qū)崿F(xiàn)工具層面的秒級(jí)部署，將萬(wàn)卡集群運(yùn)行準(zhǔn)備時(shí)間從數(shù)周最快縮減至1小時(shí)，極大地提升部署效率，縮短業(yè)務(wù)上線周期。

針對(duì)大模型訓(xùn)練過(guò)程中故障頻發(fā)的問(wèn)題，百舸4.0全面升級(jí)了故障檢測(cè)手段和自動(dòng)容錯(cuò)機(jī)制，可以有效降低故障發(fā)生頻次，大幅減少集群故障處置時(shí)間，在萬(wàn)卡集群上實(shí)現(xiàn)了超過(guò)99.5%的有效訓(xùn)練時(shí)長(zhǎng)。

在模型推理上，最重要的是速度和成本?，F(xiàn)在長(zhǎng)文本推理逐漸成為主流，百舸4.0整體上做了推理速度和成本優(yōu)化，長(zhǎng)文本推理效率提升了1倍以上。

來(lái)源：數(shù)據(jù)猿