12月19日，智源研究院發(fā)布國(guó)內(nèi)外100余個(gè)，開(kāi)源和商業(yè)閉源的大模型綜合及專項(xiàng)評(píng)測(cè)結(jié)果。“大語(yǔ)言模型評(píng)測(cè)能力榜單”中，豆包通用模型pro（Doubao-pro-32k-preview），在主觀評(píng)測(cè)中排名第一。
智源研究院 FlagEval 大語(yǔ)言模型評(píng)測(cè)能力榜單-主觀評(píng)測(cè)
“多模態(tài)模型評(píng)測(cè)榜單”中，豆包·視覺(jué)理解模型（Doubao-Pro-Vision-32k-241028）。在視覺(jué)語(yǔ)言模型中排名第二，僅次于GPT-4o，是得分最高的國(guó)產(chǎn)大模型。
智源研究院 FlagEval 多模態(tài)模型評(píng)測(cè)榜單-視覺(jué)語(yǔ)言模型
“FlagEval大模型角斗場(chǎng)榜單”中，豆包通用模型pro（Doubao-pro-32k-240828)。
在大語(yǔ)言模型榜單中位居第一梯隊(duì)，評(píng)分排名第二，僅次于OpenAI的o1-mini，是得分最高的國(guó)產(chǎn)大模型。
智源研究院 FlagEval 大模型角斗場(chǎng)榜單-大語(yǔ)言模型榜單
據(jù)智源研究院介紹，大模型評(píng)測(cè)平臺(tái)FlagEval目前已覆蓋全球800多個(gè)開(kāi)閉源模型，在評(píng)測(cè)方法與工具上聯(lián)合了全國(guó)10余家高校和機(jī)構(gòu)合作共建。此次公布的榜單中，大語(yǔ)言模型主觀評(píng)測(cè)重點(diǎn)考察的是模型的中文能力，多模態(tài)模型評(píng)測(cè)榜單視覺(jué)語(yǔ)言模型主要考察的是模型在圖文理解、長(zhǎng)尾視覺(jué)知識(shí)、文字識(shí)別以及復(fù)雜圖文數(shù)據(jù)分析能力；FlagEval大模型角斗場(chǎng)則是向用戶開(kāi)放的模型對(duì)戰(zhàn)評(píng)測(cè)服務(wù)，反映了用戶對(duì)模型的偏好。
大使用量才能打磨出更好的模型。剛剛結(jié)束的2024火山引擎冬季FORCE原動(dòng)力大會(huì)公布了豆包大模型最新進(jìn)展——豆包大模型12月日均tokens使用量超過(guò)4萬(wàn)億，較5月發(fā)布時(shí)期增長(zhǎng)超過(guò)33倍，在不同應(yīng)用場(chǎng)景中調(diào)用量快速增長(zhǎng)。
使用量和應(yīng)用場(chǎng)景的提升，也讓豆包大模型迎來(lái)了全新的升級(jí)。其中在“大語(yǔ)言模型評(píng)測(cè)能力榜單”的主觀評(píng)測(cè)中排名第一的豆包通用模型pro完成新版本迭代，綜合處理能力較5月發(fā)布時(shí)提升了32%，在推理上提升13%，在指令遵循上提升9%，在代碼上提升58%，在數(shù)學(xué)上提升43%，在專業(yè)知識(shí)領(lǐng)域能力提升54%。
在“多模態(tài)模型評(píng)測(cè)榜單”的視覺(jué)語(yǔ)言模型中，得分國(guó)內(nèi)最高的豆包·視覺(jué)理解模型也在FORCE原動(dòng)力大會(huì)上正式對(duì)外發(fā)布。豆包·視覺(jué)理解模型可以理解用戶所輸入的文本和圖片相關(guān)的信息，并給出準(zhǔn)確的回答。通過(guò)更強(qiáng)的內(nèi)容識(shí)別能力、更強(qiáng)的理解和推理能力、更細(xì)膩的視覺(jué)描述能力，豆包·視覺(jué)理解模型極大地拓寬了大模型場(chǎng)景邊界，基于對(duì)真實(shí)世界的信息處理，可以更好的輔助人類完成復(fù)雜的任務(wù)。
豆包·視覺(jué)理解模型在教育、旅游、電商等場(chǎng)景有著非常廣泛的應(yīng)用。為了更好地幫助企業(yè)開(kāi)拓大模型的創(chuàng)新應(yīng)用場(chǎng)景，豆包·視覺(jué)理解模型的價(jià)格為每千tokens 0.003元，比行業(yè)平均價(jià)格降低85%，相當(dāng)于一塊錢可以處理284張720P圖片，讓企業(yè)和開(kāi)發(fā)者用好視覺(jué)理解模型，找到更多創(chuàng)新場(chǎng)景。
從能力升級(jí)到模態(tài)豐富，火山引擎將持續(xù)拓展豆包大模型的能力邊界及應(yīng)用場(chǎng)景，加速推動(dòng)AI大模型應(yīng)用的普及與落地，為更多企業(yè)智能化升級(jí)提供有力支撐。
