近日，360的周鴻祎放言“GPT6到GPT8人工智能將會(huì)產(chǎn)生意識(shí)，變成新的物種。未來(lái)，人工智能大語(yǔ)言模型有可能實(shí)現(xiàn)自我進(jìn)化，自動(dòng)更新系統(tǒng)和自我升級(jí)，或者指數(shù)級(jí)進(jìn)化能力，人類將會(huì)面臨不可預(yù)知的安全挑戰(zhàn)。”

雖然360每況愈下，但周鴻祎作為“風(fēng)口達(dá)人”，幾乎每個(gè)風(fēng)口都要摻和一腳。他的話有幾分可信度，是要打一個(gè)大大問(wèn)號(hào)的。

并且，周鴻祎只給出一個(gè)預(yù)測(cè)，但卻沒(méi)有給出自己的理由和推理邏輯。

作為主打行業(yè)深度的媒體，我們不能停留在標(biāo)題黨式的口號(hào)上，而要從更深層次來(lái)分析問(wèn)題。

GPT會(huì)成長(zhǎng)為一個(gè)通用人工智能模型么？如果會(huì)，這個(gè)過(guò)程可能需要多久時(shí)間？接下來(lái)，我們?cè)噲D一起來(lái)探討這個(gè)讓人不安的問(wèn)題。

要回答這個(gè)問(wèn)題，我們就需要將GPT這類大模型“拆”開(kāi)來(lái)，看看它內(nèi)部是什么構(gòu)造，是如何工作的。

“拆開(kāi)”大模型的黑箱

大模型是指參數(shù)數(shù)量非常大的神經(jīng)網(wǎng)絡(luò)模型，通常用于處理復(fù)雜的自然語(yǔ)言處理、圖像識(shí)別、語(yǔ)音識(shí)別等任務(wù)。大模型的核心要素主要是神經(jīng)網(wǎng)絡(luò)、層、神經(jīng)元和參數(shù)。

數(shù)據(jù)猿制圖

神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)是一種機(jī)器學(xué)習(xí)算法，它的靈感來(lái)源于人腦的神經(jīng)系統(tǒng)。它由多個(gè)層組成，每個(gè)層都包含多個(gè)神經(jīng)元，層之間的連接形成了神經(jīng)網(wǎng)絡(luò)。每個(gè)神經(jīng)元都接收來(lái)自上一層神經(jīng)元的輸入，并根據(jù)其輸入計(jì)算出輸出，然后將其傳遞給下一層。

層

層是神經(jīng)網(wǎng)絡(luò)的組成部分，由多個(gè)神經(jīng)元組成。每個(gè)層可以使用不同的激活函數(shù)、優(yōu)化器等參數(shù)進(jìn)行配置。通常，每一層都會(huì)對(duì)輸入進(jìn)行一些變換，然后將輸出傳遞給下一層。常見(jiàn)的層包括全連接層、卷積層、池化層等，劃分不同類型的層的依據(jù)主要是處理的數(shù)據(jù)類型、層的內(nèi)部結(jié)構(gòu)、層的功能等。比如，全連接層是神經(jīng)網(wǎng)絡(luò)中最簡(jiǎn)單的一種層，也是最常用的一種層。其核心功能是將上一層的所有神經(jīng)元與本層的所有神經(jīng)元相連接。這種連接方式允許神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到輸入數(shù)據(jù)的復(fù)雜非線性關(guān)系。全連接層通常用于圖像分類、語(yǔ)音識(shí)別、自然語(yǔ)言處理等任務(wù)；卷積層是卷積神經(jīng)網(wǎng)絡(luò)（CNN）中的核心層，用于處理具有空間結(jié)構(gòu)的數(shù)據(jù)，例如圖像。其核心功能是通過(guò)一組可學(xué)習(xí)的卷積核在輸入數(shù)據(jù)上進(jìn)行卷積操作，以提取輸入數(shù)據(jù)的特征。卷積層的內(nèi)部結(jié)構(gòu)包括多個(gè)卷積核和一個(gè)偏置項(xiàng)，卷積層的輸出通常被輸入到池化層中。

神經(jīng)元

神經(jīng)元是神經(jīng)網(wǎng)絡(luò)中的基本單元，其主要功能是接受來(lái)自輸入層或前一層神經(jīng)元的信號(hào)，并產(chǎn)生輸出信號(hào)。神經(jīng)元的輸入通過(guò)一組帶權(quán)重的連接進(jìn)行傳輸，并在神經(jīng)元中被加權(quán)求和。然后，這個(gè)總和被輸入到激活函數(shù)中進(jìn)行非線性變換，產(chǎn)生神經(jīng)元的輸出。

神經(jīng)元的核心是激活函數(shù)，激活函數(shù)是神經(jīng)元處理輸入信號(hào)的核心組成部分。神經(jīng)元接收輸入信號(hào)并對(duì)其進(jìn)行加權(quán)求和，然后將其輸入到激活函數(shù)中進(jìn)行非線性變換。激活函數(shù)的作用是為神經(jīng)元引入非線性因素，使神經(jīng)元能夠?qū)W習(xí)到非線性的模型，從而提高模型的表達(dá)能力。

參數(shù)

參數(shù)是指神經(jīng)網(wǎng)絡(luò)中的變量，它們會(huì)隨著神經(jīng)網(wǎng)絡(luò)的訓(xùn)練而更新。每個(gè)神經(jīng)元都有一個(gè)權(quán)重向量和一個(gè)偏置項(xiàng)，這些權(quán)重和偏置項(xiàng)通常被稱為參數(shù)。這些參數(shù)的值在訓(xùn)練期間會(huì)被優(yōu)化器更新，以使得神經(jīng)網(wǎng)絡(luò)的輸出盡可能接近期望輸出。

綜上，神經(jīng)元是層的組成部分，而層是神經(jīng)網(wǎng)絡(luò)的組成部分。參數(shù)被存儲(chǔ)在神經(jīng)元中，每個(gè)神經(jīng)元都有一組參數(shù)（權(quán)重和偏置項(xiàng)）。在訓(xùn)練過(guò)程中，優(yōu)化器會(huì)更新這些參數(shù)，以使得神經(jīng)網(wǎng)絡(luò)的輸出盡可能接近期望輸出。

那么，神經(jīng)網(wǎng)絡(luò)、層、神經(jīng)元、參數(shù)是怎么系統(tǒng)工作的呢？

接下來(lái)，我們以GPT-4的訓(xùn)練過(guò)程為例，來(lái)說(shuō)明大模型訓(xùn)練過(guò)程中不同元素的協(xié)同配合過(guò)程，具體來(lái)看：

1) 首先，隨機(jī)初始化 GPT-4 模型的所有參數(shù)，包括神經(jīng)網(wǎng)絡(luò)中每個(gè)神經(jīng)元的權(quán)重和偏差等。

2) 準(zhǔn)備數(shù)據(jù)集，這些數(shù)據(jù)可以是經(jīng)過(guò)標(biāo)記的文本，如新聞文章、小說(shuō)、論文、社交媒體帖子等。在訓(xùn)練之前，必須對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和清理，例如刪除特殊字符、停用詞和其他無(wú)關(guān)信息。

3) 訓(xùn)練數(shù)據(jù)會(huì)被劃分成多個(gè)小批次（batch），通常每批次包含幾百到幾千個(gè)文本樣本。將每個(gè)批次輸入 GPT-4 模型中，模型將根據(jù)當(dāng)前的參數(shù)計(jì)算輸出，即預(yù)測(cè)下一個(gè)詞的概率分布。

4) 計(jì)算模型的損失函數(shù)（loss function），損失函數(shù)可以反映模型在訓(xùn)練集上的性能。在語(yǔ)言模型的情況下，通常使用交叉熵作為損失函數(shù)。

5) 根據(jù)反向傳播算法（backpropagation algorithm）計(jì)算參數(shù)的梯度，梯度反映了模型在某一點(diǎn)上的損失函數(shù)的變化率。然后使用優(yōu)化器（optimizer）更新模型的參數(shù)，以減少損失函數(shù)。

6) 重復(fù)步驟 3-5 直到模型的性能達(dá)到預(yù)期或訓(xùn)練時(shí)間耗盡。

跟人腦有幾分相似

從上面的分析可以看到，大模型是在盡力的去模擬人腦的工作機(jī)理。事實(shí)上，目前人類是唯一有智能的生物，要想大模型也有像人類一樣的智能，“仿生”是最好的辦法。

接下來(lái)，我們先簡(jiǎn)單梳理一下人腦的結(jié)構(gòu)和人腦的工作機(jī)理，然后將大模型的結(jié)構(gòu)、工作機(jī)理與人腦進(jìn)行對(duì)比。

先來(lái)看看人類大腦的結(jié)構(gòu)。

人的大腦是由數(shù)百億個(gè)神經(jīng)元組成的一個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本單元。每個(gè)神經(jīng)元之間通過(guò)突觸相互連接，這些突觸是神經(jīng)元之間傳遞信息的基本通道。

神經(jīng)元的核心功能是接收、處理和傳遞信息。一個(gè)神經(jīng)元通常由三部分組成：細(xì)胞體、樹(shù)突和軸突。神經(jīng)元接收來(lái)自其他神經(jīng)元的信號(hào)通過(guò)樹(shù)突傳入細(xì)胞體，細(xì)胞體對(duì)這些信號(hào)進(jìn)行處理，并產(chǎn)生輸出信號(hào)，輸出信號(hào)通過(guò)軸突傳遞給其他神經(jīng)元。

神經(jīng)元之間的連接通常是通過(guò)突觸來(lái)實(shí)現(xiàn)的。突觸分為化學(xué)突觸和電突觸兩種?；瘜W(xué)突觸是通過(guò)神經(jīng)遞質(zhì)來(lái)傳遞信號(hào)的，電突觸則是直接通過(guò)電信號(hào)來(lái)傳遞信息。

人的大腦由大量神經(jīng)元和突觸組成，這些神經(jīng)元和突觸按照特定的規(guī)律連接在一起，形成不同的神經(jīng)回路和神經(jīng)網(wǎng)絡(luò)。這些神經(jīng)回路和神經(jīng)網(wǎng)絡(luò)共同協(xié)作，完成人體各種復(fù)雜的認(rèn)知、感知、情感和行為等活動(dòng)。

通過(guò)上面的分析，我們可以將人腦與大模型的各個(gè)元素來(lái)做個(gè)類比，如下表：

大模型中的層可以類比于人腦中的皮層。大模型的層是由若干個(gè)神經(jīng)元組成的，每個(gè)神經(jīng)元接收上一層的輸出作為輸入，并通過(guò)激活函數(shù)進(jìn)行計(jì)算，產(chǎn)生本層的輸出。而人腦皮層則是由神經(jīng)元和突觸組成的復(fù)雜網(wǎng)絡(luò)，其中每個(gè)神經(jīng)元也接收其他神經(jīng)元的輸出作為輸入，并通過(guò)化學(xué)信號(hào)在突觸處進(jìn)行信息傳遞和處理。

大模型的神經(jīng)元可以類比于人腦中的神經(jīng)元，它們是網(wǎng)絡(luò)中的基本計(jì)算單元，接收輸入信號(hào)，并通過(guò)激活函數(shù)對(duì)其進(jìn)行處理，產(chǎn)生輸出信號(hào)。人腦神經(jīng)元?jiǎng)t是生物體中的基本計(jì)算單元，通過(guò)突觸連接其他神經(jīng)元，接收來(lái)自其他神經(jīng)元的化學(xué)信號(hào)，并通過(guò)電信號(hào)產(chǎn)生輸出信號(hào)。

大模型的參數(shù)可以類比于人腦中的突觸權(quán)重，它們決定了神經(jīng)元之間信息傳遞的強(qiáng)度和方式。人腦中的突觸權(quán)重也起到類似的作用，它們決定了神經(jīng)元之間的連接強(qiáng)度和突觸處的信號(hào)傳遞方式。

大模型與人腦的定量對(duì)比

上面只是從定性角度，搞清楚的大模型、人腦的工作機(jī)理，并對(duì)他們核心元素做了類比。

量變引起質(zhì)變，即使是結(jié)構(gòu)上類似，但數(shù)量的差異，往往會(huì)導(dǎo)致巨大的不同。

接下來(lái)，我們來(lái)從數(shù)量角度，來(lái)對(duì)大模型和人腦進(jìn)行對(duì)比。

下面是GPT-1到GPT-3.5模型的神經(jīng)層總數(shù)、參數(shù)總量的近似值（沒(méi)有披露神經(jīng)元數(shù)量，GPT-4沒(méi)有披露相關(guān)數(shù)據(jù)）：

然后，我們來(lái)看看人類大腦的神經(jīng)元和突觸數(shù)量。為了讓結(jié)果更有參考性，除了人類，我們還選取了猴子、海豚、貓、螞蟻。具體結(jié)果如下表：

通過(guò)上面的分析我們知道，大模型的神經(jīng)元可以類別人類的神經(jīng)元，大模型的參數(shù)類別人腦的突觸。但可惜業(yè)界的大模型很少披露神經(jīng)元數(shù)量，一般披露參數(shù)規(guī)模。因此，我們將GPT系列大模型的參數(shù)規(guī)模，與人類、猴子、海豚、貓大腦的突觸規(guī)模來(lái)進(jìn)行比較：

從上表可知，單從數(shù)量規(guī)模來(lái)看，GPT-3.5的“智能”水平已經(jīng)落在猴子的智力區(qū)間，離人類的智力水平還差285.7-2857倍。

另一方面，從GPT本身的演進(jìn)速度來(lái)看，其前兩次迭代過(guò)程，每次參數(shù)規(guī)模都能提升兩個(gè)數(shù)量級(jí)，但GPT-3之后，參數(shù)規(guī)模提升的速度大幅度降低。假設(shè)以后每次迭代，GPT的參數(shù)規(guī)模增加5倍，那么迭代5次之后（5的5次方是3125），即到GPT-9，其“智力水平”也許可以趕上人類。

當(dāng)然，以上的推論只是一個(gè)簡(jiǎn)單的模型，并有一個(gè)假設(shè)前提——智力水平跟突觸（參數(shù)）規(guī)模正相關(guān)。但這個(gè)假設(shè)能否成立是需要打一個(gè)大大的問(wèn)號(hào)的。

相對(duì)于突觸，神經(jīng)元才是度量智力水平更好的指標(biāo)。從目前情況來(lái)看，大模型的激活函數(shù)，其信息處理能力是要遠(yuǎn)遠(yuǎn)弱于人腦神經(jīng)元的。大模型神經(jīng)元的激活函數(shù)較為簡(jiǎn)單，例如，Sigmoid激活函數(shù)的神經(jīng)元在輸出范圍上具有較平滑的S形曲線，可以實(shí)現(xiàn)二元分類等任務(wù)，ReLU激活函數(shù)的神經(jīng)元具有非線性的修正線性性質(zhì)等。相對(duì)而言，人腦的神經(jīng)元卻是一個(gè)生物細(xì)胞，其信息處理能力肯定要遠(yuǎn)遠(yuǎn)超出一個(gè)簡(jiǎn)單的數(shù)學(xué)函數(shù)的。因此，即使大模型的神經(jīng)元在數(shù)量上趕上人腦水平，達(dá)到上千億規(guī)模（對(duì)應(yīng)的參數(shù)規(guī)模超過(guò)1000萬(wàn)億），其智力水平也無(wú)法跟人腦相比。

此外，大模型的神經(jīng)網(wǎng)絡(luò)可以類比于人腦的神經(jīng)網(wǎng)絡(luò)，但是它們的實(shí)現(xiàn)方式完全不同。大模型的神經(jīng)網(wǎng)絡(luò)是通過(guò)數(shù)學(xué)模型來(lái)模擬神經(jīng)元之間的連接和信息傳遞，而人腦神經(jīng)網(wǎng)絡(luò)則是由神經(jīng)元、突觸等生物元素組成的復(fù)雜結(jié)構(gòu)。另外，人腦神經(jīng)網(wǎng)絡(luò)中神經(jīng)元之間的連接是非常復(fù)雜的，它們可以自由地建立、拆除和調(diào)整連接，而大模型的神經(jīng)網(wǎng)絡(luò)則是事先設(shè)定好的。

目前來(lái)看，人類還是比較“安全的”。但是，我們不要忘了，人腦的神經(jīng)元規(guī)模幾乎是不變的，而大模型的神經(jīng)元、參數(shù)規(guī)模卻在指數(shù)級(jí)的遞增。按照這樣的趨勢(shì)，大模型的智能水平追上人類可能只是一個(gè)時(shí)間問(wèn)題。

人工智能領(lǐng)域的大神級(jí)人物Hinton就表示，“通用人工智能的發(fā)展比人們想象的要快得多。直到不久前，我還以為大概需要20-50年，我們才能實(shí)現(xiàn)通用人工智能。而現(xiàn)在，通用人工智能的實(shí)現(xiàn)可能需要20年或更短的時(shí)間。”

面對(duì)通用人工智能甚至超級(jí)人工智能，人類的心理是復(fù)雜的。一方面，希望有更智能的系統(tǒng)來(lái)幫助人類完成更多的工作，解放生產(chǎn)力；另一方面，又怕打開(kāi)了潘多拉魔盒，放出一個(gè)比核武器還恐怖的怪物。

但愿，即使我們?cè)斐隽艘粋€(gè)“神”，也是充滿愛(ài)的神，而不是一個(gè)將人類視為螻蟻的神！

文：一蓑煙雨 / 數(shù)據(jù)猿

來(lái)源：數(shù)據(jù)猿