產業

Google提AI Agent容量規劃 節點成本最高省四成

Vendor Icon

商傳媒

5 小時前

圖/示意圖

商傳媒|責任編輯/綜合外電報導

部署能自主規劃任務並持續互動的 AI Agent(人工智慧代理)時,雲端運算架構常面臨會話長時間閒置卻霸佔資源的難題。Google 近期針對 Google Kubernetes Engine(GKE,用於執行容器化應用程式的雲端託管平台)發布容量規劃指南,指出規劃節點池(Node Pool)時,應著眼於「實際執行任務或尚未暫停的沙盒數量」,而非維持連線的總會話數。

根據外媒引述Google GKE 容量指南內容,持續性 Agent 會話在兩次 Prompt(提示詞)互動之間,對話狀態雖維持開啟,但負責執行任務的沙盒環境大部分時間處於閒置。然而,Kubernetes 的 Worker 屬於實體運算容量,只要環境未釋放就會持續佔用資源。過去若單純將 Pod 縮減至零以保留儲存磁碟,記憶體與處理程序仍會遺失,導致下一次輸入時必須重新啟動 Process,拉長延遲時間。

指南提出的架構核心在於引入 SuspendActor 機制。當偵測到環境閒置時,系統會將記憶體快照存入物件儲存庫並釋放 Worker 節點資源。Google 的試算模型顯示,在 100 個 Agent、每小時發送 2 次 Prompt 且設定 2 分鐘閒置逾時的情境下,Agent 僅有 29% 的時間真正佔用運算資源;配合 15% 的安全容量餘裕,這套動態釋放架構能降低近 40% 的節點硬體成本。但若互動頻率提升至每小時 4 次 Prompt,由於閒置時間縮短,節省幅度則降至 4%。

此外,開源框架 Agent Substrate v1.0 也已預設啟用「請求停泊」(Request Parking)機制,最高支援 1,024 個並行停泊請求。當處於暫停狀態的環境恢復執行時若遭遇瞬態錯誤,系統會在 5 秒的重試預算內自動重新導流。這項設計目前僅支援 CPU 與記憶體容量調配,尚不支援將 GPU 裝置直接指派給個別 Actor。


author avatar
商傳媒
商傳媒是由一群在媒體界超過十年的採訪團隊,是一個提供財經、科技、智慧製造、醫療、電玩資訊為主要服務內容的金融科技網路媒體,其宗旨在於提供台灣中小企業一個產品新聞的平台,未來更朝向將台灣中小企業產品獎持續推向全世界。
donate plan

充電計畫

喜歡這篇文章嗎?歡迎幫作者充電,好內容值得更多人支持

瞭解詳情