人工智能(AI)的發(fā)展日新月異,但也存在一些難題,比如 AI 模型有時(shí)會(huì)出現(xiàn)“幻覺”,即說出錯(cuò)誤的事實(shí)、涉及有害的話題或?qū)е掳踩L(fēng)險(xiǎn)。為了解決這個(gè)問題,英偉達(dá)在周二發(fā)布了一款新的軟件,名為 NeMo Guardrails,可以幫助軟件開發(fā)者給 AI 模型設(shè)置“護(hù)欄”,防止它們產(chǎn)生不良的輸出。
NeMo Guardrails 是一個(gè)軟件層,位于用戶和 AI 模型之間,可以在模型輸出不良內(nèi)容之前進(jìn)行攔截和修改。例如,如果開發(fā)者想要?jiǎng)?chuàng)建一個(gè)客服聊天機(jī)器人,可以使用 NeMo Guardrails 來限制它只能談?wù)撓嚓P(guān)的產(chǎn)品,而不能談?wù)摳偁帉κ值漠a(chǎn)品或其他不相關(guān)的話題。如果用戶提出這樣的問題,機(jī)器人可以引導(dǎo)對話回到開發(fā)者希望的話題上。
英偉達(dá)還提供了另一個(gè)例子,一個(gè)用于回答內(nèi)部企業(yè)人力資源問題的聊天機(jī)器人。在這個(gè)例子中,英偉達(dá)能夠使用 NeMo Guardrails 來阻止基于 ChatGPT 的機(jī)器人回答關(guān)于公司財(cái)務(wù)狀況的問題或訪問其他員工的私人數(shù)據(jù)。
此外,該軟件還能夠利用一個(gè) AI 模型來檢測另一個(gè) AI 模型的“幻覺”,通過向第二個(gè) AI 模型提問來核實(shí)第一個(gè) AI 模型的答案。如果兩個(gè)模型給出不一致的答案,那么軟件就會(huì)返回“我不知道”的回答。
英偉達(dá)還表示,這個(gè)“護(hù)欄”軟件還有助于提高安全性,可以強(qiáng)制 AI 模型只與白名單列表中的第三方軟件進(jìn)行交互。
NeMo Guardrails 是開源的,并通過英偉達(dá)服務(wù)提供,可以用于商業(yè)應(yīng)用,開發(fā)者將使用 Colang 編程語言來為 AI 模型編寫自定義規(guī)則。
據(jù)IT之家搜索了解,包括谷歌和微軟支持的 OpenAI 等其他 AI 公司,也使用了一種稱為強(qiáng)化學(xué)習(xí)的方法來防止 LLM 應(yīng)用產(chǎn)生有害的輸出。這種方法使用人類測試者來創(chuàng)建關(guān)于哪些答案是可接受或不可接受的數(shù)據(jù),然后使用這些數(shù)據(jù)來訓(xùn)練 AI 模型。
英偉達(dá)正在將其注意力轉(zhuǎn)向 AI 領(lǐng)域,該公司目前占據(jù)了創(chuàng)建這項(xiàng)技術(shù)所需芯片的市場主導(dǎo)地位,其股價(jià)在 2023 年迄今為止上漲了 85%,成為標(biāo)準(zhǔn)普爾 500 指數(shù)中漲幅最大的股票。