現在的 AI 競賽已經不只是在比誰的晶片算得快，而是在比誰的資料傳遞得更順暢。過去我們關注的是運算核心 GPU 與記憶體頻寬，但現在挑戰的核心已經轉移到「連接性」。這就像是你有了一台超高性能的法拉利引擎，但如果路徑只是狹窄的巷弄，車子永遠跑不快。台灣 CIO 雜誌報導指出，隨著 AI 叢集規模不斷擴大，網路傳輸的頻寬與延遲問題，已經成為制約整體系統效能的最主要因素。
為什麼這件事現在變得很緊急？因為 AI 變聰明了。以前的 AI 只是單純回答問題，但現在新興的「推理模型」在開口前會進行多輪內部推演，產生大量中間數據；而「代理式 AI」則會自主規劃任務、呼叫各種工具。這些動作都有一個共通點，就是需要在系統內部移動的資料量，遠遠超過前一代模型。
這裡出現了一個物理上的致命傷，產業界稱之為「銅纜牆」。簡單來說，傳統用來傳輸訊號的銅線是有極限的，頻寬越高，傳輸距離就越短。當傳輸速率達到每秒 400 萬位元（400 Gbps）時，銅線能維持訊號品質的距離已經短到連一個標準機架都跨不過去。這道牆已經從機架之間，縮進了機架內部。
為了解決這個問題，「光纖進入機架」成了必然的趨勢。目前最受矚目的技術叫做「共封裝光學」，英文縮寫是 CPO。這個技術聽起來很玄，但原理其實就是把光學連接器直接整合進晶片封裝裡，緊鄰著運算晶片。這讓光訊號直接從晶片邊緣出發，不再需要經過電路板上的銅線走線，能大幅降低功耗並提升傳輸密度。
為了卡位這個新標準，繪圖晶片龍頭執行長甚至在三個月內豪擲 20 億美元投資網通晶片巨頭，雙方聯手打造新的連接平台。這個策略非常高明，它允許雲端供應商在採用主流架構的同時，加入自己客製化的晶片，但前提是必須包含一部分該龍頭廠商的關鍵元件。這意味著未來的 AI 基礎設施，其連接規格的上限與路線，已經在這些巨頭的盟約中被定義好了。
對一般大眾來說，未來的 AI 資料中心會像是一個巨大的超高速大腦，內部每一層的溝通都將從電變成了光。當你發現 AI 反應越來越快、能處理的任務越來越複雜時，別忘了背後這群正在打破「銅纜牆」的工程革命。
[ 文章來源：AI 基礎架構的下一場標準戰，從連接性開始 ]
The post AI 運算的下一個瓶頸：我們的數據正要撞上一道「銅牆鐵壁」？ first appeared on CIO Taiwan.