矽谷優步 Uber 的科技長最近透露一個嚇人的消息，他們原本預計撐一年的人工智慧程式碼工具預算，竟然在短短四個月內就全部燒光。這不是個案，連開發 ChatGPT 的 OpenAI 執行長也承認，很多企業在第一季就花光了整年度的預算。
為什麼錢花得這麼快？核心就在於一個你必須認識的新名詞：Token。
什麼是 Token 呢？你可以把它想像成人工智慧世界的「點數」或是計程車的「跳表」。人工智慧在讀取或產生文字時，並不是以字數計費，而是將文字切成一個個的基本單位，這就是 Token。在英文裡，一個單字大約等於一到兩個 Token，一千個 Token 大約是七百個英文單字。當你叫人工智慧幫你寫文章，它讀進去的文字要收費，吐出來的答案也要收費，而且吐出來的價格通常比讀進去貴兩到三倍。
台灣 CIO 雜誌 報導指出，現在大多數企業每個月消耗的 Token 數量已經超過一百億個，預計兩年後，消耗量還會暴增三倍以上。
目前企業面臨最大的危機是「預算黑洞」。以前買軟體是看員工有幾個人就付幾份月費，但現在人工智慧是「按用量計費」，只要員工一直問、程式一直跑，帳單就會無上限飆升。
這當中有非常嚴重的浪費問題。第一種是「殺雞用牛刀」，明明只是簡單的翻譯或摘要，員工卻習慣選用最強、也最貴的模型，這會讓費用直接飆升二十五倍。第二種是「指令太囉唆」，如果員工寫的指令缺乏結構、廢話太多，或是系統設定重疊，每一次對話都在浪費錢。最危險的是「自主代理程式」，這種人工智慧會自己在後台規劃步驟、反覆修正，每一個動作都在偷偷跳表，讓管理層完全抓不住預算。
面對這些問題，企業必須建立一套治理機制。
首先，要讓成本「看得見」。建議在公司內部建立一個「人工智慧閘道器」，這就像是在水管裝上智慧水表，精確記錄哪一個部門、哪一個員工在什麼任務上花了多少 Token。
接著要實施「模型路由」策略。簡單的問答或格式轉換，交給便宜的小型模型處理就好；只有遇到複雜的策略規劃，才動用最高級的模型。這就像是跑腿送件騎機車就好，不需要每次都出動大貨車。
最後，要建立投資報酬率的評估框架。每一分錢的 Token 消耗，都應該連結到具體的業務價值，例如提升了多少客服解決率或是產出效率。
輝達執行長黃仁勳曾開玩笑說，工程師每年應該消耗價值自己年薪一半的人工智慧 Token，來讓產能極大化。這句話背後的真相是：Token 治理不是要省錢不准用，而是要確保每一分錢都花在刀口上。在人工智慧時代，能精準駕馭 Token 的企業，才能真正把技術轉化為競爭力。
[ 文章來源：AI 時代的新課題：企業如何建立 Token 治理？ ]
The post AI 預算四個月就燒光？搞懂 Token 治理，別讓人工智慧變薪水小偷！ first appeared on CIO Taiwan.