1月20日消息，據(jù)報(bào)道，OpenAI發(fā)布事故報(bào)告指出，當(dāng)前遭遇GPT-4o和4o-mini模型性能下降問題，目前正在進(jìn)行調(diào)查，并將盡快發(fā)布最新消息。
近期，科研人員創(chuàng)新性地推出了一項(xiàng)名為LONGPROC的基準(zhǔn)測試工具，該工具專為評估模型在處理長上下文中的復(fù)雜信息并生成相應(yīng)回復(fù)的能力而設(shè)計(jì)。
實(shí)驗(yàn)結(jié)果略顯意外：包括GPT-4o在內(nèi)的眾多頂尖模型，雖然在常規(guī)長上下文回憶基準(zhǔn)測試中表現(xiàn)優(yōu)異，但在應(yīng)對復(fù)雜的長文本生成任務(wù)時，仍暴露出顯著的改進(jìn)需求。
具體而言，盡管所有參測模型均宣稱其上下文窗口大小超過32K tokens，但實(shí)際情況卻大相徑庭。開源模型在處理僅含2K tokens的任務(wù)時便顯露疲態(tài)，而諸如GPT-4o等閉源模型，在應(yīng)對8K tokens任務(wù)時性能也明顯下滑。
以GPT-4o為例，在要求其生成詳細(xì)旅行規(guī)劃的任務(wù)中，即便提供了明確的時間節(jié)點(diǎn)和直飛航班信息，模型的輸出結(jié)果中仍出現(xiàn)了不存在的航班信息，即產(chǎn)生了“幻覺”現(xiàn)象。
實(shí)驗(yàn)進(jìn)一步揭示，即便是最前沿的模型，在生成連貫且冗長的內(nèi)容方面仍存在較大提升空間。特別是在需要輸出8k tokens的任務(wù)中，即便是參數(shù)龐大的先進(jìn)模型也未能幸免于難，這或許預(yù)示著未來大型語言模型（LLM）研究的一個極具潛力的方向。
