商傳媒｜責任編輯／綜合外電報導
一名開發者近期分享其打造的人工智慧（AI）代理上線短短三天，便發生客戶個人身份資訊（PII，指可識別個人身份的資料，如電子郵件地址或姓名）外洩，並因程式錯誤導致費用高昂的經驗。這起事件凸顯了在開發與部署 AI 代理時，安全性與成本控制措施的重要性。
根據《hackernoon》報導，該開發者使用 LangGraph（一個用於構建代理的 Python 函式庫）與 OpenAI 的多模態模型 GPT-4o 打造的 AI 代理，在上線第三天便將一名客戶的電子郵件地址洩漏給了另一名客戶。經調查，問題根源在於模型將原始資料庫內容直接納入回應中，而開發者的處理流程並未對此進行檢查。此外，該代理還曾因陷入重複嘗試的迴圈長達六小時，導致一晚產生 400 美元（約新台幣 12,800 元）的驚人費用。
這名開發者指出，現有的 AI 代理框架，如 LangChain（美國 LLM 應用開發框架）、CrewAI（開源人工智慧代理框架）和 OpenAI's Agents SDK，雖然提供了任務編排、工具呼叫與記憶體功能，但並未內建輸入驗證、輸出過濾或成本控制等安全機制。這意味著，開發者必須自行建構這些「防護措施」（guardrails），以確保 AI 代理運作的穩定與安全。
為解決上述問題，該開發者花了兩週時間建構了一套包含四個層面的防護措施：
- 輸入防護（Input Guardrails） ：主要功能是攔截「提示注入攻擊」（prompt injection attacks，指惡意使用者透過輸入來操控 AI 行為的攻擊），並在大型語言模型（LLM）處理輸入前，清理敏感資料（如 PII）。這項機制若及早部署，將可避免電子郵件外洩。
- 輸出防護（Output Guardrails） ：在 AI 代理的回應呈現給使用者之前進行驗證，以防止模型「產生幻覺的事實」（hallucinated facts，指 AI 編造不實資訊的現象）或洩漏敏感內容。開發者利用 Pydantic 模型來確保輸出符合預設的 JSON 格式與內容檢查，並進行 PII 遮蔽處理。若驗證失敗，代理會重試，多次失敗後則會返回預設回應並記錄事件。
- 成本斷路器（Cost Circuit Breakers） ：旨在避免 API 費用因程式碼缺陷或意外的長時間對話而失控。此斷路器可設定單次請求、單次會話、每分鐘呼叫次數以及每日總花費上限。該開發者設定了每日 50 美元的上限，超過後系統便會停止呼叫 API，並回傳「服務暫時無法使用」的訊息。
- 工具呼叫驗證器（Tool Call Validators） ：當 AI 代理有權存取資料庫、檔案系統或外部 API 時，這項驗證機制至關重要。它確保代理僅呼叫經授權的工具，並使用符合規範的參數。該開發者採用「預設拒絕」（default-deny）策略，任何未明確列入允許清單的工具或參數都將被拒絕，有效防範潛在的破壞性操作或模型「產生幻覺」的工具呼叫。
這些防護措施的總延遲僅增加不到 40 毫秒（不包括基於機器學習的分類器），對於 AI 代理的效能影響極小。開發者建議，應在編寫代理邏輯之前就考慮部署這些防護措施，因為事後建構花費了較長時間。
這名開發者預測，未來 12 個月內，主要的 AI 代理框架將會把防護措施納入其核心功能。他強調，防護措施雖然不能提升 AI 代理的準確性，卻能在模型出錯時，有效限制其可能造成的損害。
