“當(dāng)我們所有人都在過圣誕的時候,一個中國實驗室卻發(fā)布了震撼世界的AI模型。這顯然具有象征意義。長期以來,美國都在AI競爭中處于全球領(lǐng)先地位,但DeepSeek的最新模型卻在改變這一格局! Scale AI的創(chuàng)始人兼CEO亞歷山大·王(Alexandr Wang)在接受美國媒體采訪時這樣感慨。
短短半個月時間,一款中國實驗室發(fā)布的AI模型就用令人難以置信的實力數(shù)據(jù),震撼了整個硅谷AI領(lǐng)域。從科技巨頭到AI新貴再到技術(shù)專家,幾乎所有人都感受到了來自中國AI行業(yè)的強烈沖擊。更令人震驚的是,中國AI行業(yè)在遭受出口管制和算力匱乏情況下,實現(xiàn)了彎道超車。
橫空出世空降登頂
這個實驗室就是來自中國的DeepSeek,2023年剛剛創(chuàng)建。他們在去年年底發(fā)布了一個免費開源的大語言模型。根據(jù)該公司發(fā)表的論文,DeepSeek-R1在多個數(shù)學(xué)和推理基準測試中超越了行業(yè)領(lǐng)先的OpenAI o1等模型,更在性能、成本、開放性等指標(biāo)方面壓倒了美國AI巨頭。
科技行業(yè)需要用數(shù)據(jù)說話。在一系列第三方基準測試中,DeepSeek的模型在從復(fù)雜問題解決到數(shù)學(xué)和編程等多個領(lǐng)域的準確性上,超越了Meta的Llama 3.1、OpenAI的GPT-4o以及Anthropic的Claude Sonnet 3.5。
就在上周,DeepSeek又發(fā)布了推理模型R1,同樣在諸多第三方測試中超越了OpenAI最新的o1。在AIME 2024數(shù)學(xué)基準測試中,DeepSeek R1取得了79.8%的成功率,超過了OpenAI的o1推理模型。在標(biāo)準化編碼測試中,它展示了“專家級”的表現(xiàn),在Codeforces上獲得了2,029的Elo評分,超過了96.3%的人類競爭對手。
Scale AI則使用了“人類最后考試”(Humanity’s Last Exam)來測試AI大模型,它采用來自數(shù)學(xué)、物理、生物、化學(xué)教授提供的“最難問題”,涉及最新的研究成果。在測試了所有最新的AI模型后,亞歷山大·王不得不贊嘆,DeepSeek的最新模型“實際上是表現(xiàn)最出色的,或者至少與o1等最好的美國模型不相上下”。
毫不夸張地說,DeepSeek在美國AI行業(yè)引發(fā)了一場地震,更引發(fā)了媒體的爭相報道。幾乎所有的主流媒體和科技媒體,都報道了中國AI模型超過美國這一爆炸新聞。短短幾天時間,DeepSeek就已經(jīng)成為蘋果應(yīng)用商店排名第一的免費應(yīng)用,力壓OpenAI的ChatGPT。
性能成本震撼巨頭
實打?qū)嵉臏y試對比結(jié)果,不得不服。幾乎所有的AI巨頭、風(fēng)投和技術(shù)人員都只能承認,在大模型這個領(lǐng)域,DeepSeek至少已經(jīng)可以和OpenAI平起平坐,中國已經(jīng)追上了美國。
微軟首席執(zhí)行官薩蒂亞·納德拉(Satya Nadella)在世界經(jīng)濟論壇上談到DeepSeek時表示:“DeepSeek的新模型令人印象深刻,他們不僅有效地構(gòu)建了一個開源模型,能夠在推理計算時高效運行,而且在計算效率方面表現(xiàn)出色。我們必須非常非常認真地對待中國的AI進步!
中國AI不僅是性能卓越,更是經(jīng)濟實惠。讓硅谷諸多AI巨頭感到震撼和汗顏的是DeepSeek的低廉成本。R1模型的查詢成本僅為每百萬個token 0.14美元,而OpenAI的成本為7.50美元,使其成本降低了98%。
真的是小米加步槍,DeepSeek僅僅用了兩個月時間,耗費了不到600萬美元就打造了大語言模型R1,而且他們用的還是性能較弱的英偉達H800芯片。這意味著什么?打個比方,中國AI公司居然開著普通轎車,就實現(xiàn)了彎道超車,在競賽中超越了硅谷巨頭們的超級跑車。
除了訓(xùn)練成本低廉,DeepSeek的團隊組成也與硅谷諸多AI巨頭大相徑庭。DeepSeek創(chuàng)始人梁文峰在組建研究團隊時,并未尋找經(jīng)驗豐富的資深軟件工程師,而是專注于來自北大、清華等頂級高校的博士生。許多人曾在頂級學(xué)術(shù)期刊發(fā)表論文,并在國際學(xué)術(shù)會議上獲獎,但缺乏行業(yè)經(jīng)驗。
“我們的核心技術(shù)崗位主要由今年或過去一兩年畢業(yè)的人員擔(dān)任,”梁文峰在2023年接受媒體采訪時表示。這種招聘策略有助于營造一個自由協(xié)作的公司文化,研究人員可以利用充足的計算資源來開展不拘一格的研究項目。這與中國傳統(tǒng)互聯(lián)網(wǎng)公司形成鮮明對比,在后者中,團隊通常為資源爭斗激烈。
沒有囤積頂級GPU,沒有招攬資深A(yù)I人才,沒有高昂的運行成本,一樣可以拿出最佳的大模型,DeepSeek的一切都讓硅谷AI巨頭們感到沮喪。
硅谷巨頭陷入沮喪
被挑戰(zhàn)的巨頭們是怎么看待DeepSeek呢?OpenAI創(chuàng)始人兼CEO奧特曼(Sam Altman)的表態(tài)讓人感覺有點酸。他在社交媒體上表示:“復(fù)制已知有效的方案相對容易,但探索未知領(lǐng)域則充滿挑戰(zhàn)! 這一言論被廣泛解讀為對DeepSeek的暗諷,暗示中國AI模型缺乏真正的創(chuàng)新,僅僅是在復(fù)制現(xiàn)有的有效方法。
Perplexity AI的CEO斯林尼瓦斯(Arvind Srinivas,印度人)從市場影響的角度來看待這一發(fā)布:“DeepSeek在很大程度上復(fù)制了OpenAI o1 mini并開源了它!钡操潎@了DeepSeek的快速步伐:“看到推理如此迅速地商品化,這有點瘋狂。”他表示,自己的團隊會將DeepSeek R1的推理能力引入Perplexity Pro。
Stability AI的創(chuàng)始人Emad Mostaque暗示DeepSeek的發(fā)布給資金更充裕的競爭對手帶來了壓力:“你能想象一個籌集了10億美元的前沿實驗室現(xiàn)在無法發(fā)布其最新模型,因為它無法擊敗DeepSeek嗎?”
Meta AI首席科學(xué)家楊立昆(Yann
LeCun,法國人)則強調(diào)中國人是依靠開源的優(yōu)勢取得成功。他在對DeepSeek的成功表示贊賞的同時強調(diào),DeepSeek的成功并非意味著中國在AI領(lǐng)域超越美國,而是證明了開源模型正在超越閉源系統(tǒng)。
楊立昆表示,DeepSeek從開源研究和開源代碼中受益匪淺,他們提出了新想法,并在他人工作的基礎(chǔ)上進行創(chuàng)新。由于他們的工作是公開和開源的,所有人都能從中獲益。這體現(xiàn)了開源研究和開源代碼的力量。 他認為,DeepSeek的成功提現(xiàn)開源生態(tài)系統(tǒng)在推動AI技術(shù)進步中的重要性,表明通過共享和協(xié)作,開源模型能夠?qū)崿F(xiàn)快速創(chuàng)新和發(fā)展。
但Meta內(nèi)部可沒有這么淡定。過去幾天,職場匿名平臺teamblind上有一個來自Meta員工的貼子被瘋傳。帖子稱Meta內(nèi)部因為DeepSeek的模型,現(xiàn)在已經(jīng)進入恐慌模式,不僅是因為DeepSeek的優(yōu)秀表現(xiàn),更是因為極低的成本和團隊組成。
“一切都因為DeepSeek-V3的出世,它在基準測試中已經(jīng)讓Llama 4相形見絀。更讓人難堪的是,一家中國公司僅用550萬美元訓(xùn)練預(yù)算就做到了這一點,F(xiàn)在Meta的工程師們正在爭分奪秒地分析DeepSeek,試圖復(fù)制其中的一切可能技術(shù)。這絕非夸張。而且,管理層正為GenAI研發(fā)部門的巨額投入而發(fā)愁。當(dāng)部門里一個高管的薪資就超過訓(xùn)練整個DeepSeek V3的成本,而且這樣的高管還有數(shù)十位,他們該如何向高層交代?
高效算法彎道超車
那么,DeepSeek究竟是怎樣實現(xiàn)彎道超車,在算力明顯落后,成本只是零頭的情況下,打造出可以媲美甚至超越硅谷AI巨頭的大模型呢?
美國的出口管制嚴重限制了中國科技公司以“西方式”的方法參與人工智能競爭,即通過無限擴展芯片采購并延長訓(xùn)練時間。因此,大多數(shù)中國公司將重點放在下游應(yīng)用,而非自主構(gòu)建模型。但DeepSeek的最新發(fā)布證明,獲勝的另一條道路是:通過重塑AI模型的基礎(chǔ)結(jié)構(gòu),并更高效地利用有限資源。
因為算力資源不足,DeepSeek不得不開發(fā)更高效的訓(xùn)練方法!八麄兺ㄟ^一系列工程技術(shù)優(yōu)化了模型架構(gòu)——包括定制化芯片間通信方案、減少字段大小以節(jié)省內(nèi)存,以及創(chuàng)新性地使用專家混合模型(Mixture-of-Experts)方法,”Mercator研究所的軟件工程師溫迪·張(Wendy Chang)表示!霸S多這些方法并非新鮮,但成功地將它們整合以生產(chǎn)尖端模型是相當(dāng)了不起的成就!
DeepSeek還在“多頭潛在注意力”(Multi-head Latent Attention,MLA)和“專家混合模型”方面取得了重大進展,這些技術(shù)設(shè)計使DeepSeek的模型更具成本效益,訓(xùn)練所需的計算資源遠少于競爭對手。事實上,據(jù)研究機構(gòu)Epoch AI稱,DeepSeek的最新模型僅使用了Meta Llama 3.1模型十分之一的計算資源。
中國AI研究人員實現(xiàn)了許多人認為遙不可及的成就:一個免費、開源的AI模型,其性能可以媲美甚至超越OpenAI最先進的推理系統(tǒng)。更令人矚目的是他們的實現(xiàn)方式:讓AI通過試錯自我學(xué)習(xí),類似于人類的學(xué)習(xí)方式。
研究論文中寫道:“DeepSeek-R1-Zero是一個通過大規(guī)模強化學(xué)習(xí)(RL)訓(xùn)練的模型,無需監(jiān)督微調(diào)(SFT)作為初步步驟,展示了卓越的推理能力!
“強化學(xué)習(xí)”是一種方法,模型在做出正確決策時獲得獎勵,做出錯誤決策時受到懲罰,而無需知道哪個是哪個。經(jīng)過一系列決策后,它會學(xué)會遵循由這些結(jié)果強化的路徑。
DeepSeek R1是AI發(fā)展的一個轉(zhuǎn)折點,因為人類在訓(xùn)練中的參與最少。與其他在大量監(jiān)督數(shù)據(jù)上訓(xùn)練的模型不同,DeepSeek R1主要通過機械強化學(xué)習(xí)進行學(xué)習(xí)——本質(zhì)上是通過實驗和獲得反饋來解決問題。該模型甚至在沒有明確編程的情況下,發(fā)展出了自我驗證和反思等復(fù)雜能力。
隨著模型經(jīng)歷訓(xùn)練過程,它自然學(xué)會了為復(fù)雜問題分配更多的“思考時間”,并發(fā)展出捕捉自身錯誤的能力。研究人員強調(diào)了一個“頓悟時刻”,模型學(xué)會了重新評估其最初的問題解決方法——這是它沒有被明確編程去做的事情。
開源模型廣獲贊賞
值得一提的是,DeepSeek愿意將其創(chuàng)新成果開源,使其在全球AI研究社區(qū)中獲得了更大的贊賞。 與專有模型不同,DeepSeek R1的代碼和訓(xùn)練方法在MIT許可證下完全開源,這意味著任何人都可以獲取、使用和修改該模型,沒有任何限制。
對許多中國AI公司來說,開發(fā)開源模型是趕超西方競爭對手的唯一方式,因為這樣可以吸引更多用戶和貢獻者,幫助模型不斷成長。在OpenAI逐漸封閉化的當(dāng)下,DeepSeek的開源得到了AI從業(yè)人員的交口稱贊。
英偉達資深研究員樊錦(Jim Fan)博士贊揚了DeepSeek前所未有的透明度,并直接將其與OpenAI的原始使命相提并論。“我們生活在一個非美國公司保持OpenAI原始使命的時間線上——真正開放的、前沿的研究,賦能所有人,”樊錦指出。
樊錦指出了DeepSeek強化學(xué)習(xí)方法的重要性:“他們可能是第一個展示[強化學(xué)習(xí)]飛輪持續(xù)增長的開源軟件項目。”他還贊揚了DeepSeek直接分享“原始算法和matplotlib學(xué)習(xí)曲線”,而不是行業(yè)中更常見的炒作驅(qū)動公告。
遵循同樣的推理,但帶有更嚴肅的論證,科技企業(yè)家Arnaud Bertrand解釋說,競爭性開源模型的出現(xiàn)可能對OpenAI沖擊巨大,因為這會使OpenAI模型對付費意愿強烈的高級用戶的吸引力降低,從而損害OpenAI的商業(yè)模式。“這基本上就像有人發(fā)布了一款與iPhone相當(dāng)?shù)氖謾C,但售價為30美元而不是1000美元。這是戲劇性的。”
出口管制面臨挑戰(zhàn)
這對英偉達來說,DeepSeek的橫空出世是一個利空因素。很多AI行業(yè)人士不禁開始思考另一個問題:既然DeepSeek用上一代芯片的閹割版就可以訓(xùn)練出最強勁的大模型,那么科技巨頭們還需要繼續(xù)瘋狂燒錢搶購英偉達的最新GPU嗎?這個問題細思極恐。
眾所周知,因為美國政府的AI芯片禁運,中國無法采購英偉達最高性能的AI芯片,而H800則是高算力A100芯片的閹割版。與A100相比,H800的核心數(shù)量、頻率和顯存方面明顯較低,算力上降幅大約在10-30%之間,主要不需要頂級算力的場景,例如中等規(guī)模的AI訓(xùn)練與推理任務(wù)。H800的內(nèi)存帶寬被限制在 1.5 TB/s,而A100 80GB版本可達到 2 TB/s,這將直接影響數(shù)據(jù)處理能力,尤其在深度學(xué)習(xí)任務(wù)中。
Scale AI的亞歷山大·王堅持認為,DeepSeek的芯片數(shù)量可能遠遠高于外界想象。他公開表示,自己認為DeepSeek至少擁有5萬塊H100,他們不會公布具體數(shù)字。
H100的算力是A100的六到七倍,這款3萬美元起售的頂級GPU也是目前硅谷科技巨頭們爭先搶購的軍火。Meta和微軟都超過采購了15萬塊H100,谷歌、甲骨文和亞馬遜都采購了5萬塊,馬斯克的xAI更部署了10萬塊H100組成的超級計算機集群用于訓(xùn)練大預(yù)言模型Grok3。
亞歷山大·王進一步表示,未來中國AI行業(yè)可能會面臨更多挑戰(zhàn),“未來他們將受到我們已經(jīng)實施的芯片和出口管制的限制,難以再獲取更多芯片。”他上周在《華盛頓郵報》購買了整版廣告,寫道“美國必須贏下這場AI戰(zhàn)爭!”