OpenAI 宣布啟動(dòng) OpenAI 先鋒計(jì)劃（OpenAI Pioneers Program），致力于改善當(dāng)前 AI 模型的評(píng)分方式。該公司認(rèn)為現(xiàn)有的 AI 基準(zhǔn)測(cè)試存在缺陷，而該計(jì)劃將專(zhuān)注于創(chuàng)建能夠“設(shè)定優(yōu)秀標(biāo)準(zhǔn)”的評(píng)估體系。
隨著 AI 技術(shù)在各行業(yè)的應(yīng)用加速普及，深入了解并提升其在現(xiàn)實(shí)世界中的影響力變得至關(guān)重要。OpenAI 在其博客中指出，創(chuàng)建特定領(lǐng)域的評(píng)估指標(biāo)是更好地反映實(shí)際應(yīng)用場(chǎng)景、幫助團(tuán)隊(duì)在實(shí)際且高風(fēng)險(xiǎn)環(huán)境中評(píng)估模型性能的有效途徑之一。
近期，眾包基準(zhǔn)測(cè)試平臺(tái) LM Arena 與 Meta 的 Maverick 模型引發(fā)的爭(zhēng)議凸顯了一個(gè)問(wèn)題：如今，人們很難明確區(qū)分不同 AI 模型之間的差異。許多廣泛使用的 AI 基準(zhǔn)測(cè)試側(cè)重于衡量模型在一些晦澀任務(wù)上的表現(xiàn)，例如解決博士級(jí)別的數(shù)學(xué)難題。還有一些基準(zhǔn)測(cè)試容易被操縱，或者與大多數(shù)人的偏好不一致。
據(jù)IT之家了解，通過(guò)先鋒計(jì)劃，OpenAI 希望為法律、金融、保險(xiǎn)、醫(yī)療保健和會(huì)計(jì)等特定領(lǐng)域創(chuàng)建基準(zhǔn)測(cè)試。該實(shí)驗(yàn)室表示，在未來(lái)幾個(gè)月內(nèi)，將與“多家公司”合作設(shè)計(jì)定制化的基準(zhǔn)測(cè)試，并最終將這些基準(zhǔn)測(cè)試公開(kāi)，同時(shí)提供“行業(yè)特定”的評(píng)估。
OpenAI 在博客中提到，先鋒計(jì)劃的第一批參與者將專(zhuān)注于初創(chuàng)公司，這些公司將幫助奠定該計(jì)劃的基礎(chǔ)。他們將從眾多初創(chuàng)公司中挑選出少數(shù)幾家，這些公司都在從事高價(jià)值、應(yīng)用廣泛的用例，AI 在其中可以產(chǎn)生實(shí)際影響。
參與該計(jì)劃的公司還將有機(jī)會(huì)與 OpenAI 團(tuán)隊(duì)合作，通過(guò)強(qiáng)化微調(diào)技術(shù)改進(jìn)模型。這種技術(shù)可以針對(duì)一組特定任務(wù)優(yōu)化模型，從而提升其在特定領(lǐng)域的表現(xiàn)。
然而，一個(gè)關(guān)鍵問(wèn)題是 AI 社區(qū)是否會(huì)接受由 OpenAI 資助創(chuàng)建的基準(zhǔn)測(cè)試。此前，OpenAI 曾在財(cái)務(wù)上支持過(guò)基準(zhǔn)測(cè)試工作，并設(shè)計(jì)了自己的評(píng)估方法。但與客戶(hù)合作發(fā)布 AI 測(cè)試可能會(huì)被視為在道德上存在爭(zhēng)議。
