科技

忽略邊緣算力,AI 代理的成本會吃掉預算

Vendor Icon

CIO Taiwan

6月. 05, 2026

從高通(Qualcomm)總裁暨執行長 Cristiano Amon 在 Computex 2026 開幕主題演講,看 AI 代理工作負載的基礎架構意涵。

編撰/何信達


業裡的筆電和公務手機,都是為人類操作而設計的。這個前提,正在被打破。

 

現有裝置從未為 AI 代理設計

高通(Qualcomm)總裁暨執行長 Cristiano Amon 在 Computex 2026 開幕主題演講中定下了整場的基調:「今天所有的裝置,都是為由使用者發起動作而建造的——不是由 AI 代理。」這是工程現實的陳述,也是裝置升級週期的起點:當 Agentic AI(代理型 AI) 從早期採用者的實驗工具,演變成企業日常工作負載的執行層,現有裝置硬體將面臨根本性的重新設計。

Amon 今年連續第三年擔任 Computex 開幕主講者。他在演講開頭明確說明,當天的目標不是宣布新產品,而是讓所有人理解「AI 如何讓所有裝置進行演化」。

在同一台裝置同時跑兩套邏輯

現有裝置的設計邏輯,建立在一個假設上:是人在操作機器。應用程式等待指令,作業系統回應點擊,工作流程由人啟動、由人推進。AI 代理打破的正是這個假設——它持續運行、攜帶上下文向前推進、跨系統協調多個任務,且不需要每個步驟都有人介入。

Amon 在演講中把這種狀態稱為「two personalities」(雙主體操作):使用者以人的節奏操作裝置,AI 代理則以機器的速度在同一台裝置上自主運行。他強調,手機市場將率先完成這個轉變,再成為 PC 與其他個人運算裝置的參照。

[ 加入 CIO Taiwan 官方 LINE FacebookLinkedIn,與全球CIO同步獲取精華見解 ]

裝置硬體的設計要求隨之改變。AI 代理在背景持續運行,意味著功耗預算要重算:手機在人操作的情況下維持全天續航已屬不易,當 AI 代理同時在跑,是完全不同等級的工程挑戰。

支撐 AI 代理所需的硬體條件,Amon 列出了三項:

  1. 用於任務協調的強效低功耗 CPU、
  2. 用於執行本地模型的高效能 NPU 與 GPU、
  3. 提供即時上下文的感測器資料。

這三項條件,決定了下一代裝置能在本地消化多少 AI 代理工作負載,也直接影響企業對雲端算力的依賴程度與成本結構。

AI 代理讓詞元消耗跳升百倍,成本邏輯全面改寫

要理解 AI 代理對基礎架構成本的衝擊,需要先理解詞元(token)的消耗邏輯。詞元是語言模型處理文字的基本計算單位,也是雲端推論服務計費的依據,可以視為 AI 的計量貨幣。

從對話到自主任務執行,詞元消耗量分三個層級,以十倍增幅跳躍:

  • 第一級,單輪對話——使用者輸入提示、取得回應——約一萬詞元;
  • 第二級,多輪推理——AI 與使用者來回對話直到任務完成——升至約十萬詞元,增幅十倍;
  • 第三級,AI 代理自主執行——跨系統多步驟任務——達到百萬詞元量級,再增幅十倍。

換算到全球規模:2026 年每十秒的詞元需求估計為 317 億,2030 年每十秒的詞元需求預計達到 1.27 兆,約 40 倍的增長。推動這個增長的,是 AI 代理的運作方式——以機器速度與軟體互動、同時跨多個服務並行執行,每個工作流程產生的詞元量遠超人類直接操作的情境。

對企業 IT 規劃者而言,這指向容量與成本的重新估算。今天的雲端 AI 使用量,是以對話和推理任務為基準設計的。當組織內部的 AI 代理工作負載開始規模化,全部倚賴雲端處理的成本曲線,會比大多數預算規劃假設的更陡峭。

搞懂分散式詞元路由,進行雲端與邊緣協作才能控制成本

詞元需求的量級增長,讓雲端與邊緣運算如何分工這個問題有了可以計算的方法。

演講中用兩個實際運行的場景說明。第一個是程式碼生成任務——以 Claude Code 的真實工作階段為基準,由智慧型協調器(orchestrator,例如 OpenClaw、Hermes 這類的軟體)判斷哪些任務留在裝置本地運算、哪些送往雲端。結果是節省了約 140 萬詞元,同等產出的成本降低 60%;第二個場景是網頁生成任務,相同的分散式路由邏輯,產出相同結果,詞元用量減少 30%,成本降低四倍。

[ 推薦閱讀:黃仁勳演講,有哪些 Agentic AI 架構認知你需要更新? ]

這兩個數字對企業而言直接關鍵:同樣的產出,因為路由策略不同,成本可以差到四倍。演講中對這個分工邏輯的描述是——雲端處理該在雲端跑的,邊緣處理該在邊緣跑的,兩者是不同性質的工作。比較是今天每個人手機裡的兩百多個應用程式——沒有人會逐一分析哪個功能跑在本地、哪個跑在雲端,但把手機切成飛航模式,就知道雲端有多重要;而把所有運算都丟給雲端,本地算力又形同浪費。

對企業 IT 架構師而言,AI 代理工作負載的基礎架構設計,需要在兩個維度同時規劃:雲端推論的容量與成本,以及端點裝置的本地算力規格。而協調器軟體的路由智慧,決定了整個系統的詞元效率,也決定了 AI 代理規模化之後企業實際要付的帳單。

轉換點仍早,但採購邏輯需提前調整

Computex 2026 的這場演講,點出了採購邏輯正在改變。過去企業評估裝置,看的是處理器速度、記憶體容量、續航時間。這些指標仍然有效,但它們是為人類操作設計的基準。當 AI 代理開始在組織的端點裝置上規模化運行,評估框架需要加入新的維度:本地算力能承載多少 AI 代理工作負載、功耗設計能否支撐雙主體操作、裝置與雲端之間的協調機制是否存在。

這個轉換目前處於早期。演講中提到的 orchestrator 已在 Snapdragon 裝置上運行,但企業規模的部署仍在形成中。詞元需求從 2026 年到 2030 年的 40 倍增長預測,是估算而非板上釘釘,實際曲線取決於 AI 代理採用速度與模型效率的演進。

企業 IT 決策者現在要做的,是把這個框架放進基礎架構的中期規劃視野——在下一輪裝置更新週期評估時,把 AI 代理工作負載的承載能力列為規格條件之一。


(本文授權非營利轉載,請註明出處:CIO Taiwan)

Image 271
The post 忽略邊緣算力,AI 代理的成本會吃掉預算 first appeared on CIO Taiwan.
author avatar
CIO Taiwan
IDG集團的媒體品牌CIO於1987年創刊,為國際性最權威的IT管理專業雜誌。擁有全球最頂尖的IT管理專家作者群,因此能寫出最權威的分析評論、最先進的IT管理觀念。
donate plan

充電計畫

喜歡這篇文章嗎?歡迎幫作者充電,好內容值得更多人支持

瞭解詳情