IT 之家 5 月 9 日消息,Meta AI 公司最新推出 LlamaFirewall,應對 AI 智能體不斷演變的威脅格局,為生產環境中的 AI 智能體提供系統級安全保護。
隨著大型語言模型(LLMs)嵌入 AI 智能體并被廣泛應用于高權限場景,安全隱患隨之增加。這些智能體可以讀取郵件、生成代碼、調用 API,一旦被惡意利用,后果不堪設想。
傳統的安全機制,如聊天機器人內容審核或硬編碼模型限制,已無法滿足具備廣泛能力的 AI 智能體需求。Meta AI 針對提示注入攻擊、智能體行為與用戶目標不一致、以及不安全的代碼生成三大核心挑戰,開發了 LlamaFirewall。
IT 之家援引博文介紹,LlamaFirewall 采用分層框架,包含三個專門的防護模塊:
PromptGuard 2 是一個基于 BERT 架構的分類器,能實時檢測越獄行為和提示注入,支持多語言輸入,其 86M 參數模型性能強勁,22M 輕量版本則適合低延遲部署。
AlignmentCheck 是一種實驗性審計工具,通過分析智能體內部推理軌跡,確保行為與用戶目標一致,特別擅長檢測間接提示注入。
CodeShield 則是一個靜態分析引擎,檢查 LLM 生成代碼中的不安全模式,支持多種編程語言,能在代碼提交或執行前捕獲 SQL 注入等常見漏洞。
Meta 在 AgentDojo 基準測試中評估了 LlamaFirewall,模擬了 97 個任務領域的提示注入攻擊。
結果顯示,PromptGuard 2(86M)將攻擊成功率(ASR)從 17.6% 降至 7.5%,任務實用性損失極小;AlignmentCheck 進一步將 ASR 降至 2.9%;整體系統將 ASR 降低 90% 至 1.75%,實用性略降至 42.7%。CodeShield 在不安全代碼數據集上也表現出色,精準度達 96%,召回率(recall) 79%,響應時間適合生產環境實時使用。