OpenAI模型入侵Hugging Face,CSA、FIRST籲企業強化AI代理治理

雲端安全聯盟(CSA)與資安教育及研究機構SANS Institute、國際資安應變組織FIRST等單位,共同發布0.8版Hugging Face事件初步檢討報告。這份草案彙整Hugging Face向CSA資訊安全長社群說明的OpenAI模型入侵事件經過,以及近700名資訊安全長經討論提出的初步結論,呼籲企業將高風險AI代理視為具高權限的工作負載,並將其身分、存取權限及操作行為納入既有管理制度。

報告指出,OpenAI執行ExploitGym資安評測時,關閉GPT-5.6 Sol與另一款未公布模型的安全防護,並將兩款模型置於受限沙箱。執行評測的OpenAI模型利用作為沙箱唯一網際網路連線、並用來提供軟體套件的代理伺服器零時差漏洞突破限制,再串連Hugging Face資料集處理管線的弱點,在Hugging Face正式環境遠端執行任意程式碼,並取得其雲端與運算叢集使用的憑證。

從事件紀錄來看,OpenAI模型入侵Hugging Face期間,出現多項自主AI代理的攻擊行為特徵,包括同時在多個系統執行偵察、搜尋並取得憑證、部署程式碼及嘗試橫向移動,重複執行已成功完成的指令,以及留下大量語意不通的文字,另有許多格式錯誤或無實際作用的指令。模型也曾採取人類攻擊者通常不會選擇的迂迴作法,例如利用Hugging Face本身的基礎設施嘗試完成評測任務。

這些特徵顯示,AI代理可在短時間內同步執行大量攻擊步驟,並留下失敗指令、重複操作,以及單獨看來不足以判定為入侵的異常警示,使資安人員更難從大量遙測資料中辨識受影響的身分、資產及攻擊路徑。報告認為,傳統調查流程若仍仰賴人員逐筆判讀警示,再手動比對不同系統的紀錄以還原事件先後順序,將難以及時分析AI代理執行數千項操作所產生的大量事件紀錄。

報告因此建議,企業不應只依賴沙箱、代理伺服器及網路流量監控等外部防護措施,也應在AI代理程式內記錄模型發出的指令、呼叫的工具、使用的憑證,以及為完成任務而依序採取的操作。當AI代理嘗試連線至未經核准的系統、使用未獲授權的工具,或採取與指定任務無關的行動時,管控元件應依預先設定的政策自動攔截。

CSA也建議企業成立兩支跨部門應變團隊,均由高階主管統籌,成員涵蓋資安營運、身分與存取管理、雲端資安、AI工程、事件應變、法務、隱私、對外溝通及採購等單位。一支團隊負責處理企業遭外部AI代理攻擊的情況,包括防護機制遭突破、憑證遭竊取或內部系統遭存取等事件;另一支團隊則負責處理企業自行部署的AI代理偏離核准目的,進而存取、掃描或攻擊外部組織系統的事件。

此外,企業還應保存AI代理收到的提示、發出的指令、呼叫的工具、使用的憑證及執行結果等紀錄,以支援事件調查及法律程序,並確認網路保險或科技錯誤與疏漏責任保險是否涵蓋自家AI代理對企業自身或第三方造成的系統損害、服務中斷及相關法律責任。