AI大模型的發(fā)展，有兩個(gè)方向，一個(gè)是模型越做越大，以規(guī)模來(lái)提升性能。還有一個(gè)重要的方向，就是通過(guò)將模型做小，來(lái)嵌入手機(jī)、電腦等計(jì)算終端，這同樣是值得關(guān)注的發(fā)展方向。

終端化的浪潮，意味著大模型將直接嵌入到個(gè)人設(shè)備中，這無(wú)疑將為用戶帶來(lái)更加個(gè)性化和智能化的體驗(yàn)。手機(jī)和PC制造商紛紛布局，試圖通過(guò)集成大模型來(lái)提升產(chǎn)品的競(jìng)爭(zhēng)力。

都有哪些PC廠商在積極引入大模型？

先來(lái)看PC廠商。

1. 聯(lián)想

聯(lián)想推出了首款A(yù)I PC產(chǎn)品，該設(shè)備運(yùn)用了聯(lián)想自研的大模型壓縮技術(shù)，允許設(shè)備在本地運(yùn)行個(gè)人大模型，無(wú)需云端操作，以此確保個(gè)人隱私和數(shù)據(jù)安全。此外，聯(lián)想還推出了兩款A(yù)I服務(wù)器——問(wèn)天WA7780 G3 AI大模型訓(xùn)練服務(wù)器和問(wèn)天WA5480 G3 AI訓(xùn)推一體服務(wù)器。

2. 惠普

惠普與星環(huán)科技合作，推出了面向大模型領(lǐng)域的一體機(jī)服務(wù)平臺(tái)AI一體機(jī)。該一體機(jī)結(jié)合了星環(huán)大模型開(kāi)發(fā)和應(yīng)用平臺(tái)Sophon LLMOps的產(chǎn)品能力，旨在為企業(yè)提供大模型的開(kāi)發(fā)和應(yīng)用支持。

3. 戴爾

戴爾與Meta合作，嘗試在其本地基礎(chǔ)設(shè)施上部署Llama 2大語(yǔ)言模型（LLM），以減少對(duì)云設(shè)施的依賴。戴爾的生成式AI驗(yàn)證設(shè)計(jì)計(jì)劃，結(jié)合了戴爾服務(wù)器套件與英偉達(dá)GPU、存儲(chǔ)及軟件，主要針對(duì)涉及自然語(yǔ)言生成的應(yīng)用場(chǎng)景。戴爾還提供部署和配置指導(dǎo)，幫助客戶快速啟動(dòng)和運(yùn)行AI模型。

4. 微軟

微軟雖然不是終端PC廠商，但其確實(shí)PC操作系統(tǒng)的霸主，是PC端大模型的關(guān)鍵玩家。微軟正在積極推動(dòng)大模型技術(shù)在PC端的集成和應(yīng)用，以提升用戶體驗(yàn)和設(shè)備智能化水平。通過(guò)發(fā)布Windows Copilot，微軟將AI助手功能嵌入到Windows操作系統(tǒng)中，允許用戶直接與AI大模型交互，執(zhí)行各種任務(wù)。

5月21日，微軟發(fā)布了Copilot+ PC方案，將旗下AI助手Copilot全面融入Windows 11系統(tǒng)。微軟的兩款Copilot+ PC系列產(chǎn)品，Surface Laptop 7和Surface Pro 11。Copilot+ PC還推出了Recall（回憶）功能，利用AI訪問(wèn)用戶在PC上見(jiàn)過(guò)的任何內(nèi)容，將其作為記憶的一部分。

有哪些手機(jī)廠商在積極引入大模型？

再來(lái)看看手機(jī)廠商。

1. 華為

華為在大模型技術(shù)的應(yīng)用上表現(xiàn)積極，已經(jīng)將盤古大模型集成到其手機(jī)系統(tǒng)中，特別是HarmonyOS 4系統(tǒng)全面接入盤古大模型，成為全球首個(gè)嵌入了AI大模型能力的移動(dòng)終端操作系統(tǒng)。華為Mate60系列手機(jī)，搭載了基于多模態(tài)大模型技術(shù)實(shí)現(xiàn)的“智慧搜圖”功能。此外，華為的語(yǔ)音助手小藝也融合了盤古自然語(yǔ)言大模型、盤古視覺(jué)大模型和盤古多模態(tài)大模型，最高版本參數(shù)高達(dá)1000億，進(jìn)一步強(qiáng)化了華為手機(jī)的AI能力。

2. 小米

小米在大模型技術(shù)上采取了漸進(jìn)策略，已經(jīng)自研了13億參數(shù)端側(cè)模型，并在手機(jī)端跑通了Demo，部分場(chǎng)景效果可以媲美云端60億模型的運(yùn)算效果。小米在AI大模型團(tuán)隊(duì)組建和研發(fā)投入上表現(xiàn)積極，小米的澎湃OS操作系統(tǒng)也在AI大模型方面進(jìn)行了深度植入，小愛(ài)輸入助手具備了AI大模型的文本創(chuàng)作能力和AI擴(kuò)圖能力，這些功能在小米14系列手機(jī)上有所體現(xiàn)。

3. OPPO

OPPO在大模型技術(shù)上的進(jìn)展顯著，發(fā)布了全新的AI戰(zhàn)略，不僅在手機(jī)上推出AI超級(jí)智能體，還上線了AI Pro智能體開(kāi)發(fā)平臺(tái)。OPPO在其研究院下成立了AI中心，聚集AI研發(fā)人員，并投入大量資源到AI技術(shù)。OPPO還建立了全新數(shù)據(jù)中心，具備800P的算力，支持手機(jī)端運(yùn)行千億級(jí)參數(shù)的大模型。此外，OPPO發(fā)布了自主訓(xùn)練的安第斯大模型（AndesGPT），以“端云協(xié)同”為基礎(chǔ)架構(gòu)設(shè)計(jì)，旨在提升手機(jī)的智能體驗(yàn)。

4. vivo

vivo在大模型技術(shù)上同樣積極布局，官宣將發(fā)布自研AI大模型矩陣，包括十億、百億、千億三個(gè)不同參數(shù)量級(jí)的5款自研大模型，全面覆蓋核心應(yīng)用場(chǎng)景，并將首次應(yīng)用于新操作系統(tǒng)OriginOS 4中。vivo的大模型技術(shù)旨在提升手機(jī)的圖像識(shí)別、語(yǔ)音交互和智能輔助功能，增強(qiáng)用戶體驗(yàn)。

5. 榮耀

榮耀在大模型技術(shù)上也有所作為，發(fā)布了全新一代旗艦智能手機(jī)榮耀Magic6系列，該系列手機(jī)將首發(fā)搭載榮耀自研的70億參數(shù)端側(cè)平臺(tái)級(jí)AI大模型“魔法大模型”。

6. 三星

三星在大模型技術(shù)上的應(yīng)用也值得關(guān)注，其S24系列手機(jī)已經(jīng)上線了"即圈即搜"、“筆記助手”等AI應(yīng)用。三星在自研大模型Gauss可用之前，選擇了與中國(guó)廠商合作，借助百度智能云千帆平臺(tái)、美圖等的力量，以增強(qiáng)其AI能力。

7. 蘋(píng)果

蘋(píng)果公司在引入大模型技術(shù)方面展現(xiàn)出了積極的態(tài)度和顯著的進(jìn)展，據(jù)外媒報(bào)道，蘋(píng)果正與谷歌商討可能的合作協(xié)議，計(jì)劃將谷歌的Gemini人工智能引擎集成到iPhone中。此外，蘋(píng)果也在自研大模型技術(shù)，Ajax模型能在設(shè)備端快速生成響應(yīng)，盡管更復(fù)雜的任務(wù)可能需要云端支持。蘋(píng)果的多模態(tài)大模型Ferret展示了其在圖像和語(yǔ)言理解方面的進(jìn)步，該模型在多模態(tài)任務(wù)上表現(xiàn)優(yōu)異，蘋(píng)果還發(fā)布了OpenELM系列模型。隨著iOS18系統(tǒng)的即將發(fā)布，蘋(píng)果預(yù)計(jì)將引入大模型技術(shù)，這將是AI技術(shù)發(fā)展的新里程碑。

是什么驅(qū)動(dòng)著大模型的終端化趨勢(shì)？

那么，是什么原因在驅(qū)動(dòng)大模型的終端化進(jìn)程呢？數(shù)據(jù)猿看來(lái)，主要是技術(shù)和用戶需求者兩個(gè)要素在驅(qū)動(dòng)。

在消費(fèi)者需求方面，隨著互聯(lián)網(wǎng)技術(shù)的普及和數(shù)字化生活的發(fā)展，用戶對(duì)智能化終端設(shè)備的需求日益增長(zhǎng)。人們期望通過(guò)智能手機(jī)、平板電腦和個(gè)人電腦等設(shè)備，獲得更加智能、個(gè)性化的服務(wù)體驗(yàn)。

例如，用戶希望智能手機(jī)能夠更準(zhǔn)確地理解語(yǔ)音指令，希望個(gè)人電腦能夠提供更加強(qiáng)大的圖像和視頻處理能力。同時(shí)，隨著遠(yuǎn)程工作和在線教育的興起，用戶對(duì)終端設(shè)備的多任務(wù)處理能力和智能協(xié)作功能也有了更高的期待。大模型的終端化，正是對(duì)這一需求的積極響應(yīng)。

技術(shù)進(jìn)步是推動(dòng)大模型終端化的關(guān)鍵力量，隨著芯片制程技術(shù)的不斷突破，如5納米甚至更小制程的芯片開(kāi)始量產(chǎn)，設(shè)備的計(jì)算能力得到了大幅提升。同時(shí)，AI算法的優(yōu)化和模型壓縮技術(shù)的發(fā)展，使得原本只能在云端運(yùn)行的大模型得以瘦身，以適應(yīng)終端設(shè)備的計(jì)算和存儲(chǔ)資源。

要將大模型“裝”手機(jī)、電腦，核心環(huán)節(jié)有哪些？

隨著人工智能技術(shù)的飛速發(fā)展，大模型終端化已成為推動(dòng)智能設(shè)備創(chuàng)新的關(guān)鍵力量。在這一進(jìn)程中，技術(shù)與創(chuàng)新起到了至關(guān)重要的作用。要將大模型嵌入手機(jī)等終端，關(guān)鍵是要解決下面的問(wèn)題：

1、模型壓縮與優(yōu)化

模型壓縮與優(yōu)化是大模型終端化進(jìn)程中的核心環(huán)節(jié)，它們使得資源受限的終端設(shè)備，能夠高效運(yùn)行原本設(shè)計(jì)用于強(qiáng)大服務(wù)器的復(fù)雜模型。

例如：權(quán)重剪枝是模型壓縮中最直接的方法，它通過(guò)移除模型中不重要的權(quán)重來(lái)減少模型的參數(shù)數(shù)量。這種方法可以顯著減少模型的存儲(chǔ)和計(jì)算需求，同時(shí)保持其核心功能；結(jié)構(gòu)化剪枝通過(guò)移除整個(gè)神經(jīng)網(wǎng)絡(luò)層或通道來(lái)降低模型的復(fù)雜度，與權(quán)重剪枝相比，結(jié)構(gòu)化剪枝對(duì)模型結(jié)構(gòu)的改變更大，但可以帶來(lái)更顯著的壓縮效果；自動(dòng)化模型壓縮算法，如神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS），可以自動(dòng)發(fā)現(xiàn)既滿足性能要求又具有較小尺寸的模型架構(gòu)。這種自動(dòng)化方法減少了人工干預(yù)，提高了模型開(kāi)發(fā)和優(yōu)化的效率。

此外，知識(shí)蒸餾是另一種有效的模型壓縮技術(shù)，它涉及訓(xùn)練一個(gè)小型的“學(xué)生”模型來(lái)模仿一個(gè)大型的“教師”模型的行為。這種方法可以在減少模型大小的同時(shí)，保持較高的性能。硬件感知的模型設(shè)計(jì)考慮特定硬件架構(gòu)的特性，設(shè)計(jì)出在該硬件上運(yùn)行得更加高效的模型。隨著專用AI硬件的普及，硬件感知的設(shè)計(jì)變得越來(lái)越重要。

2、終端算力的持續(xù)提升與邊緣計(jì)算的發(fā)展

近年來(lái)，隨著半導(dǎo)體技術(shù)的進(jìn)步，尤其是芯片制造工藝的提升，電腦和手機(jī)等終端設(shè)備的處理器性能得到了顯著增強(qiáng)。例如，移動(dòng)設(shè)備中的系統(tǒng)芯片（SoC）已經(jīng)從幾個(gè)核心發(fā)展到多核處理器，并且集成了GPU、NPU或AI加速器。

這些專用硬件單元為執(zhí)行深度學(xué)習(xí)模型提供了強(qiáng)大的支持，使得復(fù)雜的AI算法可以在本地設(shè)備上流暢運(yùn)行。個(gè)人電腦和服務(wù)器的CPU和GPU性能也在不斷提升，它們現(xiàn)在擁有更多的核心和線程，以及更高的時(shí)鐘頻率和改進(jìn)的緩存架構(gòu)，從而為運(yùn)行大型機(jī)器學(xué)習(xí)模型提供了充足的算力。

此外，邊緣計(jì)算作為一種分布式計(jì)算范式，它將數(shù)據(jù)處理和存儲(chǔ)更靠近數(shù)據(jù)源的位置，這樣可以減少數(shù)據(jù)傳輸?shù)难舆t，提高響應(yīng)速度，特別適合對(duì)實(shí)時(shí)性要求高的應(yīng)用場(chǎng)景。

在大模型終端化中，邊緣計(jì)算允許終端設(shè)備在本地處理數(shù)據(jù)，而不是將所有數(shù)據(jù)發(fā)送到云端處理，這不僅提升了效率，也有助于保護(hù)用戶隱私。

終端算力的提升和邊緣計(jì)算的發(fā)展相結(jié)合，為大模型的部署和運(yùn)行提供了更加堅(jiān)實(shí)的基礎(chǔ)。隨著5G等高速通信技術(shù)的應(yīng)用，邊緣設(shè)備之間的互聯(lián)互通也變得更加容易，這為構(gòu)建分布式智能系統(tǒng)提供了可能，使得大模型可以在多個(gè)邊緣節(jié)點(diǎn)上協(xié)同工作，實(shí)現(xiàn)更高級(jí)的智能功能。

3、隱私與安全

在終端設(shè)備上運(yùn)行大模型，雖然帶來(lái)了智能化的體驗(yàn)，但也引發(fā)了隱私和安全方面的擔(dān)憂。終端設(shè)備通常包含大量個(gè)人敏感信息，如何在運(yùn)行大模型的同時(shí)保護(hù)這些信息的安全，成為了一個(gè)重要問(wèn)題。

為了解決這一問(wèn)題，技術(shù)開(kāi)發(fā)者采用了多種措施來(lái)加強(qiáng)隱私保護(hù)。例如，差分隱私技術(shù)通過(guò)添加噪聲來(lái)模糊個(gè)人數(shù)據(jù)，保護(hù)用戶隱私的同時(shí)允許進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析。同態(tài)加密技術(shù)則允許在加密數(shù)據(jù)上直接進(jìn)行計(jì)算，這樣即使數(shù)據(jù)在云端處理，也可以保證其內(nèi)容不被暴露。

大模型終端化才剛剛開(kāi)始，還有一系列問(wèn)題要解決

在大模型終端化的道路上，技術(shù)、經(jīng)濟(jì)、用戶接受度以及社會(huì)倫理等方面的問(wèn)題交織在一起，構(gòu)成了一個(gè)復(fù)雜的挑戰(zhàn)網(wǎng)絡(luò)。

技術(shù)層面，模型的大小、計(jì)算資源的限制以及對(duì)實(shí)時(shí)性能的高要求是擺在開(kāi)發(fā)者面前的三大難題。大模型的參數(shù)量龐大，存儲(chǔ)和計(jì)算需求高，這對(duì)終端設(shè)備的硬件提出了挑戰(zhàn)。

雖然模型壓縮技術(shù)的發(fā)展為解決這一問(wèn)題提供了可能，但如何在不損失關(guān)鍵性能的前提下實(shí)現(xiàn)有效壓縮，仍是一個(gè)技術(shù)難題。此外，即使是壓縮后的模型，其運(yùn)行仍然需要較高的計(jì)算資源，這可能導(dǎo)致終端設(shè)備發(fā)熱、電池消耗快，甚至在性能較差的設(shè)備上無(wú)法運(yùn)行。

同時(shí)，許多應(yīng)用場(chǎng)景對(duì)實(shí)時(shí)性能有著嚴(yán)格的要求，大模型在終端設(shè)備上的運(yùn)行速度可能無(wú)法滿足這些需求。

經(jīng)濟(jì)成本也是大模型終端化過(guò)程中不可忽視的因素，研發(fā)成本高昂，需要大量的人才、設(shè)備和時(shí)間投入。部署成本也不菲，特別是當(dāng)需要額外的硬件支持，如高性能芯片時(shí)，這會(huì)增加設(shè)備的成本。此外，大模型的維護(hù)和更新也需要成本，尤其是在模型需要頻繁更新以適應(yīng)新的數(shù)據(jù)和場(chǎng)景時(shí)。這些成本最終可能會(huì)轉(zhuǎn)嫁到消費(fèi)者身上，影響產(chǎn)品的市場(chǎng)競(jìng)爭(zhēng)力。

用戶接受度是另一個(gè)關(guān)鍵因素，用戶可能對(duì)在終端設(shè)備上運(yùn)行大模型的性能和隱私保護(hù)有所顧慮。雖然本地運(yùn)行可以保護(hù)隱私，但用戶可能擔(dān)心設(shè)備的性能是否能夠滿足需求。

面對(duì)這些挑戰(zhàn)和問(wèn)題，需要政府、企業(yè)和研究機(jī)構(gòu)共同努力。技術(shù)上，需要繼續(xù)研發(fā)更高效的模型壓縮和運(yùn)行技術(shù)；經(jīng)濟(jì)上，需要探索更合理的成本分?jǐn)倷C(jī)制；政策上，需要制定合理的監(jiān)管政策和標(biāo)準(zhǔn)，引導(dǎo)大模型終端化技術(shù)的健康發(fā)展。

來(lái)源：數(shù)據(jù)猿