過去幾個月,OpenAI的技術團隊中有多名安全方面的高層人員離職,這些前員工中有些人對OpenAI在AI安全方面的優(yōu)先級下降表示擔憂。
OpenAI周二宣布成立一個新的安全顧問委員會,負責監(jiān)督與公司項目和運營相關的“關鍵”安全和安保決策。而值得注意的是,進入該安全顧問委員會的成員全部為該公司內部人員,包括OpenAI的CEO Sam Altman,外部人員一個也沒有。
根據OpenAI公司博客上的一篇文章,安全顧問委員會將在接下來90天內負責評估OpenAI得安全流程和保障措施。然后,該委員會將向OpenAI董事會匯報其發(fā)現和建議,OpenAI表示,屆時將以符合安全和安保的方式公布任何已采納的建議的更新。
OpenAI周二表示,已開始訓練新一代旗艦人工智能模型,以期超越目前的GPT-4大模型。“OpenAI最近開始訓練其下一個前沿模型,我們預計由此產生的系統將使我們在通往通用人工智能的道路上邁上一個新臺階,”O(jiān)penAI寫道!半m然我們很自豪地構建和發(fā)布在能力和安全方面都領先的模型,但我們歡迎在這個重要時刻進行深入討論!
除了Altman,安全顧問委員會的其他成員包括OpenAI董事會成員Bret Taylor、Adam D’Angelo和Nicole Seligman,以及首席科學家Jakub Pachocki、OpenAI早期籌備團隊的Aleksander Madry、安全系統負責人Lilian Weng、安保負責人Matt Knight和“人工智能對齊”(AI Alignment)負責人John Schulman。
安全不再優(yōu)先 多名高層離職
過去幾個月,OpenAI的技術團隊中有多名安全方面的高層人員離職,這些前員工中有些人對OpenAI在AI安全方面的優(yōu)先級下降表示擔憂。
曾在OpenAI擔任團隊治理工作的Daniel Kokotajlo在4月辭職,因為他對OpenAI在發(fā)布越來越強大的AI時“負責任的行為”失去了信心,他在個人博客上寫道。此外,OpenAI的聯合創(chuàng)始人兼前首席科學家Ilya Sutskever在與Altman及其盟友的長期斗爭后,于5月離職,據報道部分原因是Altman急于推出AI驅動的產品而犧牲了安全性能。
最近,前DeepMind研究員Jan Leike此前在OpenAI負責開發(fā)ChatGPT及其前身InstructGPT的過程中,也辭去了安全研究員職務,他在一系列X平臺的帖子中表示,他認為OpenAI“未走在解決AI安全和安保問題的正確軌道上”。同時,AI政策研究員Gretchen Krueger上周離開OpenAI,她也同意Leike的觀點,呼吁公司提高問責制和透明度,并“更加謹慎地使用自己的技術”。
媒體報道,除了Sutskever、Kokotajlo、Leike和Krueger,自去年年底以來,至少有五名OpenAI最重視安全的員工要么辭職,要么被迫離開,包括前OpenAI董事會成員Helen Toner和Tasha McCauley。兩人日前在媒體撰文稱,在Altman的領導下,他們相信OpenAI無法實現對自身追究責任。
“根據我們的經驗,OpenAI的自我治理無法承受利潤激勵帶來的誘惑!
倡導監(jiān)管?塑造監(jiān)管
此前有媒體報道,負責開發(fā)“超級智能”AI系統治理方法的OpenAI超級對齊(Superalignment team)團隊被承諾獲得公司20%的計算資源,但實際上卻很少這部分資源。超級對齊團隊自那以后被解散,其工作大部分被轉交給“人工智能對齊”(AI Alignment)負責人John Schulman和OpenAI在12月成立的安全咨詢小組。
雖然OpenAI一直在倡導AI監(jiān)管,但也在努力影響塑造這些監(jiān)管,該公司聘請了一名內部游說者和越來越多的外部律師事務所游說者,僅在美國游說方面該公司2023年第四季度就花費了數十萬美元。最近,美國國土安全部宣布Altman將成為其新成立的人工智能安全和安保委員會(Artificial Intelligence Safety and Security Board)的成員,該委員會將為“安全和可靠的AI開發(fā)和部署”提供建議,以覆蓋美國的關鍵基礎設施。
而為了避免由于安全和安保委員會全部為內部高管而被認為是橡皮圖章,OpenAI承諾聘請第三方“安全、安保和技術”專家來支持委員會的工作,包括網絡安全專家Rob Joyce和前美國司法部官員John Carlin。
然而,除了Joyce和Carlin,OpenAI尚未詳細說明該外部專家組的規(guī)模和組成,也沒有透露該組對委員會的影響力和權力的限制。有專家指出,OpenAI成立此類的企業(yè)監(jiān)督委員會,類似于谷歌的高級技術外部咨詢委員會,其實在實際監(jiān)督方面幾乎沒有什么作為。