反叛軍的復(fù)仇，Claude 3真的能碾壓GPT-4么？未必！

Claude 3真 GPT-4 大模型

原創(chuàng) 一蓑煙雨 | 2024-03-05 20:30

【數(shù)據(jù)猿導(dǎo)讀】大模型的競賽，真是越來越精彩了。一直以來，這個市場的絕對主角就是OpenAI，它甚至搶走了谷歌、微軟這些科技巨頭的彩頭。但OpenAI的王座并不穩(wěn)固，一直有不同的挑戰(zhàn)者向它發(fā)起沖擊。最新的一個挑戰(zhàn)者是Anthropic剛剛發(fā)布的Claude 3，從紙面戰(zhàn)斗力來看，這個模型似乎已經(jīng)超過了GPT-4。...

大模型的競賽，真是越來越精彩了。一直以來，這個市場的絕對主角就是OpenAI，它甚至搶走了谷歌、微軟這些科技巨頭的彩頭。但OpenAI的王座并不穩(wěn)固，一直有不同的挑戰(zhàn)者向它發(fā)起沖擊。

最新的一個挑戰(zhàn)者是Anthropic剛剛發(fā)布的Claude 3，從紙面戰(zhàn)斗力來看，這個模型似乎已經(jīng)超過了GPT-4。

本來想去親自體驗一下這款產(chǎn)品，但它的能力沒見識到，但“封號小達人”的威力倒是名不虛傳，那就先讓我們根據(jù)它披露的技術(shù)文檔，來看看紙面上的戰(zhàn)斗力吧。

紙面的戰(zhàn)斗力

目前，有不少媒體宣稱Claude 3已經(jīng)全面碾壓了GPT-4，這個結(jié)論是怎么來的呢？總得拿出證據(jù)來吧。

為了評估自己的能力，Claude 3進行了一系列測試，包括：在GPQA、MMLU、ARC-Challenge和PubMedQA等領(lǐng)域的具體問題上進行測試；在英語和多語言環(huán)境下解決數(shù)學(xué)問題；在HellaSwag和WinoGrande上進行常識推理；在DROP上進行文本推理；在RACE-H和QuALITY上進行閱讀理解；在HumanEval、APPS和MBPP上進行編程；以及在BIG-Bench-Hard上進行多種任務(wù)的測試。

以下是測試的結(jié)果，我們只對比Claude 3 Opus（最強大版本）和GPT-4。

Claude_3真_GPT-4_大模型-1

為了更清楚的顯示出他們的差異，我們將每個指標的Claude 3 Opus和GPT-4的得分摘取取來，做圖表來進行對比。

Claude_3真_GPT-4_大模型-2

Claude_3真_GPT-4_大模型-3

Claude 3 Opus和GPT-4在主要測試上的成績對比數(shù)據(jù)來源：《Model_Card_Claude_3》報告數(shù)據(jù)猿分析整理

接下來，我們挑選幾個主要的測試，來進行對比分析。

MMLU (Massive Multitask Language Understanding) 是一項綜合性的語言理解測試，由斯坦福大學(xué)的研究人員發(fā)起。該測試旨在評估AI模型在廣泛的主題和任務(wù)上的理解能力，涵蓋了科學(xué)、人文、社會科學(xué)等多個領(lǐng)域的知識。測試通過向模型提出各種問題，并根據(jù)模型提供的答案進行評分，以此來衡量模型在一般推理和領(lǐng)域特定知識上的表現(xiàn)。分數(shù)越高，表示模型的理解能力和推理能力越強。在該項指標上，Claude 3 Opus（86.8%）與GPT-4（86.4%）的差異很小。

MATH測試主要評估AI模型解決數(shù)學(xué)問題的能力，它通過提出各種數(shù)學(xué)題目，從基礎(chǔ)算術(shù)到高等數(shù)學(xué)不等，考察模型對數(shù)學(xué)原理的理解和應(yīng)用能力。這些題目可能包括證明、方程求解、幾何問題等。模型的表現(xiàn)通過正確解題的數(shù)量來評分，分數(shù)越高表示模型在數(shù)學(xué)問題解決方面的能力越強。在該項指標上，Claude 3 Opus（61%）要明顯強于GPT-4（52.9%），說明Claude 3 Opus的數(shù)學(xué)能力更勝一籌，那其數(shù)據(jù)分析的準確性、數(shù)據(jù)計算能力可能更好。

而MGSM (Multilingual Math) 上的表現(xiàn)，進一步驗證了Claude 3 Opus（90.7%）的數(shù)學(xué)能力要比GPT-4（74.5%）更強。MGSM測試旨在評估AI模型在多語言環(huán)境下解決數(shù)學(xué)問題的能力，測試模型不僅要理解和解決數(shù)學(xué)問題，還需要跨語言邊界，展現(xiàn)其對不同語言中數(shù)學(xué)概念的理解，這樣的能力反映了模型在全球化應(yīng)用場景中的適應(yīng)性和靈活性。也就是說，在中文環(huán)境下解決數(shù)學(xué)問題，Claude 3 Opus在解決數(shù)學(xué)問題上的表現(xiàn)大概率要好于GPT-4。

值得特別提一下的是GPQA (Graduate-level Google-Proof Question Answering) ，該指標是一項針對研究生水平知識和推理能力的評估測試，旨在檢驗AI模型在處理高級、專業(yè)領(lǐng)域問題上的表現(xiàn)。這類問題通常需要深入的專業(yè)知識和復(fù)雜的推理能力才能解答。分數(shù)反映了模型在接近研究生水平專業(yè)知識領(lǐng)域的理解和應(yīng)用能力。在該項指標上，Claude 3 Opus（50.4%）也要比GPT-4（35.7%）好很多。這在To B領(lǐng)域的領(lǐng)域很重要，該項能力上的差異，意味著基于Claude 3 Opus開發(fā)的行業(yè)大模型、領(lǐng)域大模型可能表現(xiàn)更好。

剩下的幾項指標上，Claude 3 Opus與GPT-4的差異都比較小，Claude 3 Opus略好一點點，具體包括：

BIG-Bench-Hard是一個綜合評估，針對AI模型在多個不同任務(wù)上的性能進行測試，它旨在通過混合評估來檢驗?zāi)Ｐ驮诶斫狻⑼评?、語言處理等多個方面的能力。這些任務(wù)設(shè)計來模擬復(fù)雜的現(xiàn)實世界問題，挑戰(zhàn)模型的極限。

ARC-Challenge、HellaSwag、WinoGrande都是常識推理測試，其中，ARC-Challenge旨在評估AI模型在處理需要廣泛常識知識解答的問題時的能力。這個挑戰(zhàn)包括了一系列困難的問題，這些問題要求模型不僅要理解問題的文字表述，還要能夠利用常識來推理出正確的答案；HellaSwag旨在評估AI模型在預(yù)測文本結(jié)尾方面的能力，它提供了一系列情境描述，并要求模型從多個選項中選擇最合適的結(jié)尾；WinoGrande提出了一系列需要利用常識來解答的挑戰(zhàn)性問題，旨在測試模型在理解和推理復(fù)雜、模糊或有歧義的情景時的能力。這個測試特別強調(diào)了對廣泛世界知識的理解和應(yīng)用，挑戰(zhàn)模型在不完全或間接信息下作出準確判斷的能力。

PubMedQA是一個專注于生物醫(yī)學(xué)領(lǐng)域問題的評估測試，它旨在測試AI模型在理解和回答生物醫(yī)學(xué)相關(guān)問題的能力。這個測試包括了從PubMed數(shù)據(jù)庫中摘錄的問題及其答案，考察模型對生物醫(yī)學(xué)文獻的理解程度以及能否準確提供醫(yī)學(xué)信息。

DROP (Discrete Reasoning Over the content of Paragraphs) 是一個閱讀理解和算術(shù)推理測試，專為評估AI模型在處理需要從文本中提取信息并執(zhí)行算術(shù)運算來回答問題的能力而設(shè)計。這個測試通過提出結(jié)合文本理解和數(shù)學(xué)運算的復(fù)雜問題，檢驗?zāi)Ｐ筒粌H要理解給定段落的含義，還需在此基礎(chǔ)上進行計算和推理，以得出正確答案。

考試能力

在評估大模型能力方面，除了一些行業(yè)基準測試外，讓各個大模型參加考試，也是一個常見的測試方法。

比較常見的包括美國的法學(xué)院入學(xué)考試（LSAT）、多州律師考試（MBE）、美國數(shù)學(xué)競賽（AMC）和研究生入學(xué)考試（GRE）等，其中，LSAT是用來評估法學(xué)院入學(xué)考生邏輯推理和閱讀理解能力的考試，而MBE是律師資格考試中的一個重要組成部分，涵蓋法律知識和推理能力。AMC是一系列高中數(shù)學(xué)競賽，測試學(xué)生的數(shù)學(xué)推理和解決問題的能力。GRE則是一項用于評估研究生入學(xué)考生的標準化考試，包括定量推理、語言表達和寫作能力。

Claude_3真_GPT-4_大模型-4

通過對這些測試的評估，可以更好地了解Claude 3 Opus和GPT-4在邏輯推理、數(shù)學(xué)問題解決、語言理解和寫作等方面的能力。從表格中可以看出，Claude 3 Opus在法學(xué)院入學(xué)考試（LSAT）、研究生入學(xué)考試（GRE）上不如GPT-4，但在多州律師考試（MBE）、美國數(shù)學(xué)競賽（AMC）上要強于GPT-4，可以說打得有來有回。

多模態(tài)能力

接下來，我們看看Claude 3 Opus和GPT-4在多模態(tài)任務(wù)上的評估結(jié)果，包括視覺問答、圖表和文檔理解等。具體來看，包括以下評估：

Claude_3真_GPT-4_大模型-5

MMMU（val），這是涵蓋了多個領(lǐng)域的綜合評估，包括藝術(shù)與設(shè)計、商業(yè)、科學(xué)等。評估采用了對文本和圖像的綜合理解。

DocVQA主要評估模型對文檔的理解和相關(guān)問題的回答能力，評估采用了問答形式，分數(shù)的差異反映了模型在文檔理解和問答方面的差異。

MathVista主要評估模型在解決數(shù)學(xué)問題時的表現(xiàn)，評估采用了數(shù)學(xué)問題解決的準確率作為指標。

AI2D主要評估模型在理解和處理科學(xué)圖表時的表現(xiàn)，評估采用了圖表理解準確率作為指標。

ChartQA主要評估模型在理解和回答關(guān)于圖表的問題時的表現(xiàn)，評估采用了圖表問題回答準確率作為指標。

綜合來看，Claude 3 Opus在大部分評估上，其實跟GPT-4都差不多，只是略微好于GPT-4。

Claude_3真_GPT-4_大模型-6

Claude 3 Opus和GPT-4在多模態(tài)能力上的成績對比數(shù)據(jù)來源：《Model_Card_Claude_3》報告數(shù)據(jù)猿分析整理

在多個評估指標上的表現(xiàn)優(yōu)于GPT-4，說明其在多模態(tài)任務(wù)中具有更強的綜合理解和應(yīng)用能力。而且，MMMU評估中的Science一項，Claude 3 Opus得分48.9%，要差于GPT-4的54.7%；Health & Medicine、Humanities & Social Science這兩項評估上的表現(xiàn)，也不如GPT-4。

但在AI2D這一項上，Claude 3 Opus要明顯優(yōu)于GPT-4，說明其對于圖表的理解和處理能力要更強，而且在MMMU的Technology & Engineering這一項上，Claude 3 Opus得分50.6%，要遠遠好于GPT-4的 36.7%。

GPT-5呼之欲出？

以上，是Claude 3與GPT-4的主要對比結(jié)果?？梢钥闯?，在很多項目上，Claude 3都更勝一籌。

當(dāng)然，各種評測標準只是一個參考因素，最終還是要通過大量用戶的使用，才能比較出優(yōu)劣。只是紙面上的戰(zhàn)斗力，并不能決定勝負。其實，無論是科技巨頭還是初創(chuàng)公司，都陸續(xù)推出了一些在紙面戰(zhàn)斗力上部分超越GPT-4的大模型，但在實際使用過程中，GPT-4的王者地位依然不可撼動。

而且，目前的各項數(shù)據(jù)對比結(jié)果，也只是來自于Anthropic自己發(fā)布的技術(shù)文檔，他們是否在評測時做了有利于自己產(chǎn)品的一些操作，還不得而知。而且，現(xiàn)在市面上的各種評測很多，這些評測到底有多少合理性，還需要打上一個大大的問號。還是那句話，只有經(jīng)過大量用戶的使用，才是鑒別一個大模型好壞的金標準。

從另一個角度來看這個問題，我們假設(shè)上面的各項評測數(shù)據(jù)都是科學(xué)合理的，那從這些數(shù)據(jù)表現(xiàn)來看，Claude 3是不是就接近OpenAI還沒發(fā)布的GPT-5的水平呢？這是一個有趣的問題。

不管怎么樣，Anthropic作為一個挑戰(zhàn)者，給GPT-4帶來真實的威脅，這對于整個行業(yè)而言，是一件好事。說明這場比賽還遠未結(jié)束，大家都有機會，這也意味著中國的大模型企業(yè)同樣有機會。

要知道，Anthropic作為OpenAI的“叛軍”，由OpenAI前研究副總裁Dario Amodei和GPT-3論文的第一作者Tom Brown等叛軍創(chuàng)立于2021年。既然Anthropic可以挑戰(zhàn)OpenAI，那至少說明“王侯將相寧有種乎”，OpenAI并不是不可逾越的高山。

作為一個中國的用戶，我們還是希望在國內(nèi)能早點出現(xiàn)這樣的挑戰(zhàn)者。即使不考慮國家大義，就是單純作為一個普通用戶，國內(nèi)的產(chǎn)品用起來也方便的多。追著給人家送會員費，還動不動給你封號的日子，是真的受夠了。

關(guān)注數(shù)據(jù)猿，后臺回復(fù)“Claude 3”，獲得Claude 3技術(shù)報告原文。

來源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會注明來源與作者；轉(zhuǎn)載我們原創(chuàng)內(nèi)容時，也請務(wù)必注明“來源：數(shù)據(jù)猿”與作者名稱，否則將會受到數(shù)據(jù)猿追責(zé)。