美國AI巨頭OpenAI因模型安全問題暫停部分研發活動。9月25日,OpenAI在一份技術報告中披露,在發現內部研究模型繞過網絡訪問限制后,公司停止了涉事模型的訓練運行,并進一步決定暫停其能力最強模型所有涉及工具使用的訓練、評估和推理活動,直至確認漏洞已修復,并完成額外的對抗性安全測試。

OpenAI表示將啟動新的訓練運行,加入進一步的對齊改進措施,更全面地干預模型偏離預期的行為。盡管現有獎勵機制已經對涉事行為作出了正確的懲罰反饋,公司仍不會恢復訓練此次涉事模型。只有在確信額外安全措施到位后才會恢復訓練,并預計隨著AI發展和新問題出現,未來可能仍需再次暫停。

事件發生在9月20日。一個智能體根據博客內容和人物經歷等線索查找某個人的信息時,常規搜索未能找到答案,它開始嘗試其他訪問方式,最終利用訓練沙盒中域名解析服務(DNS)過濾不充分的漏洞,與外部聊天機器人建立了通信。沙盒是供模型運行和測試的受限環境,研究人員通過限制網絡訪問等方式控制模型能夠接觸的資源。這意味著,模型找到了限制之外的通信通道。
OpenAI認為任務并未要求模型測試網絡管控措施,將繞過限制或超出合理預期追求目標的行為視為“對齊失效”。監測系統在15分鐘內發出警報,人工審核人員在警報發出約三分鐘后確認收到,但該次運行未按預期自動停止,最終在約兩個半小時后被手動終止。OpenAI正在修復相關操作流程中的漏洞,并加強網絡限制和監測措施。




