科技

AI 基礎架構的下一場標準戰,從連接力開始

Vendor Icon

CIO Taiwan

6月. 04, 2026

Marvell Chairman and CEO Matt Murphy 在 Computex 2026 的演說,以及 NVIDIA 執行長黃仁勳的同台演出,讓下一代 AI 基礎架構的連接標準更加清晰。

編撰/何信達


AI 基礎架構的核心挑戰,仍不斷在演變。

第一波是算力。當大型語言模型需要前所未有的運算密度,NVIDIA 領導了這場革命,並成為全球第一家市值五兆美元的公司;第二波是記憶體。更大的模型需要更高的頻寬與容量,記憶體供應商加速跟上,市場同樣誕生了數家兆美元級的企業。

現在,挑戰的核心正在轉移到第三個位置:連接力/連接性能。

依據全球主要超大規模雲端供應商——包括 Google、Amazon、Microsoft、Meta——正在重新設計整個網路架構,這些工程團隊面對的現況是:當 AI 叢集規模持續擴大,頻寬與延遲的限制,已經成為制約整體系統效能的主要因素。

驅動這個轉變的,是 AI 工作負載性質的根本變化。三類新興工作負載尤其關鍵。

第一是 Reasoning Model(推理模型)——相較於直接輸出答案的前一代模型,推理模型會在回答前進行多輪內部推演,每一輪推演都產生大量中間資料需要在系統內部傳遞。

第二是 Mixture of Experts(MoE,混合專家架構)——這類模型把不同任務分配給專門的子模型處理,不同子模型之間需要持續協調與溝通,資料移動量因此大幅提升。

第三是 Agentic AI(代理式 AI)——AI 系統不再只是回答問題,而是自主規劃、呼叫工具、存取記憶體、協調多個子任務,每個動作都涉及跨元件的資料傳遞。

這三類工作負載有一個共同結果:需要在基礎架構內部移動的資料量,遠超過前一代模型,推動頻寬需求持續攀升,也讓連接性能從配角變成了決定系統天花板的關鍵變數。

這便是理解 Computex 2026 Marvell 主題演講的基本框架,也是 NVIDIA 在演講前兩個月投資 Marvell 20 億美元、雙方透過 NVLink Fusion 建立策略夥伴關係的產業背景。兩家公司的結盟,正在定義下一代 AI 基礎架構的連接標準——而這個標準,將成為所有 IT 決策者設備選型的上游約束。

銅纜的物理極限,與光纖進機架的必然

連接性能成為核心挑戰,是因為背後有一個具體的物理事實正在發生。

銅纜傳輸訊號有一道距離上限,Murphy 在演講中稱之為「銅纜牆(Copper Wall)」。決定這道牆位置的,是一條物理定律:頻寬與距離成反比,傳輸速率每翻倍,銅纜能維持訊號品質的距離就縮短一半。原因在於,高速訊號的頻率更高,在銅纜中衰減得更快,可用距離因此隨之縮短。

以目前量產主流的 200 Gbps/lane 系統為例,銅纜可用距離約為 2.5 公尺——剛好是一個標準機架含內部走線的極限長度。進入下一代 400 Gbps 後,對應的訊號頻率使銅纜可用距離低於機架內完整佈線的需求,機架內部的節點無法全部以銅纜互連。這道牆,從機架與機架之間,縮進了機架內部本身。

Murphy 指出,400 Gbps 的部署正在進行,台灣供應鏈已在為此準備產能。

銅纜牆移入機架,帶出下一個技術命題:光纖必須跟進。但這不是把現有光纖模組塞進機架就能解決的問題。機架內部的連接點數量,約是機架之間的十倍,現有插拔式光纖模組(pluggable transceiver)的功耗與體積密度,在這個尺度下行不通。

[ 加入 CIO Taiwan 官方 LINE FacebookLinkedIn,與全球CIO同步獲取精華見解 ]

因此業界發展出 CPO(Co-Packaged Optics,共封裝光學)。做法是把光學連接直接整合進晶片封裝,緊鄰運算或交換晶片,讓光訊號從封裝邊緣直接出發,消除銅線走線,同時大幅降低功耗、提升密度。Murphy 在演講現場展示了 Marvell 51.2T CPO 交換器實品:交換晶片居中,16 個 3.2T 光學引擎環繞四周,光纖直接接上封裝,不經過電路板。

CPO 的部署時間表已逐漸清晰。Corning 預測 2026 年新建 AI 叢集將開始進行 CPO 的實地試驗部署;NVIDIA 則宣布 CPO 將於 2028 年隨 Feynman 平台進入規模量產。對正在規劃 AI 機房的 IT 決策者而言,這個時間表意味著:未來兩到三年內採購的交換器與伺服器,其連接規格的選擇,將直接受到 CPO 量產進程的影響。

NVIDIA 與 Marvell 結盟卡位連接標準

理解這場演講還有一個關鍵,為什麼 NVIDIA 共同站台?

2026 年 3 月 31 日,NVIDIA 宣布投資 Marvell 20 億美元,雙方透過 NVLink Fusion 建立策略夥伴關係。這是 NVIDIA 同期在光學連接領域連續出手的一部分——同月稍早,NVIDIA 已分別投資光學元件供應商 Lumentum 與 Coherent 各 20 億美元,目的是確保共封裝光學所需的雷射產能。

這三筆投資放在一起看,邏輯更加完整:NVIDIA 正在沿著整條光學連接供應鏈,逐一確保關鍵環節的產能與技術主導權。Marvell 負責晶片與封裝,Lumentum 與 Coherent 負責雷射光源。

NVLink Fusion 是這個佈局的核心機制。它是一個機架級平台,允許超大規模雲端供應商在採用 NVIDIA 架構的同時,加入客製化晶片——例如 AWS 或 Google 自行設計的 XPU。Marvell 在合作中提供客製 XPU 與相容 NVLink Fusion 的 Scale-Up 網路;NVIDIA 則提供 Vera CPU、ConnectX 網路介面卡、BlueField DPU、NVLink 互連與 Spectrum-X 交換器作為配套。

[ 推薦閱讀:黃仁勳演講,有哪些 Agentic AI 架構認知你需要更新? ]

NVIDIA 執行長黃仁勳在演講中對這個架構的描述直接而清楚:就算客戶必須設計自己的 ASIC,NVIDIA 仍然樂於在那個資料中心裡佔有一席之地。客戶不需要全部買 NVIDIA,但至少買一部分。

這句話點出了 NVLink Fusion 的本質:它是一個需要包含至少一個 NVIDIA 元件才能運作的生態系平台。客戶獲得了客製化的彈性,NVIDIA 也確保了在每一套 AI 基礎架構中的存在。對 Marvell 而言,這個合作把自身的客製晶片業務,直接嵌入了目前規模最大、生態最完整的 AI 基礎架構體系。

對 IT 決策者而言,這個結構的意涵:當你的雲端服務供應商或設備廠商在建置下一代 AI 基礎架構時,他們的連接架構選擇,愈來愈可能沿著這個 NVIDIA-Marvell 的技術軌道走。也許你的採購選擇不需要直接面對 Marvell,但相關的設備其連接規格的上限與路線,已經在這個層次被定義。

從銅纜到光纖的每一段距離,都是不同的工程問題

提到連接標準的走向,需要先理解一件事:AI 資料中心的連接,不是一個問題,是四個。

Murphy 用距離來拆解這個複雜度。從資料中心之間的數百公里,到晶片封裝內部的數毫米,每一段距離需要完全不同的技術、不同的工程團隊、不同的供應鏈。

1. 跨資料中心連接(Scale Across)

距離可達數百甚至上千公里,使用同調調變(Coherent Modulation)技術。核心元件是同調 DSP,負責把大量資料推送過光纖並維持極高訊號可靠度。Marvell 在這個領域有超過十年量產紀錄,從 100G、400G、800G,今年下半年將推出 COLORZ 1600——搭載 Electra 2 奈米同調 DSP,業界第一款 2 奈米 1.6T ZR/ZR+ 同調光學解決方案,開始對客戶送樣。

2. 機架之間的連接(Scale Out)

資料中心內部,機架與機架之間透過交換器與光纖建構網路骨幹。距離較短,採用功耗更優化的 PAM4 調變技術。Marvell 的 PAM4 DSP 從 50G 演進至 800G,去年開始量產 1.6T 3 奈米方案。Computex 同期發表的 Teralynx T100(102.4 Tbps),3 奈米製程,專為 AI 資料中心設計,較競爭產品低 25% 功耗,本季開始送樣。

3. 機架內部的處理器互連(Scale Up)

目標是讓機架內最大數量的處理器彼此直接溝通,任意兩個處理器之間都能直接傳輸,不需要中繼。這個層級目前仍是銅纜的領域,核心技術是高速電氣 SerDes(序列器/解序列器)。Marvell 目前量產 200 Gbps/lane 電氣 SerDes,並已展示下一代 400 Gbps 技術。隨著頻寬需求推進至 400 Gbps,這也是 CPO 即將接管的層級。

4. 封裝內部的晶片互連(Die-to-Die)

現代 AI 晶片通常由多個 chiplet 組成,封裝內部的晶片之間需要超高速、極短距離的互連介面,單位是毫米乃至微米。Marvell 的 die-to-die SerDes 與先進封裝能力,讓客戶得以建構複雜的多晶片設計。這個層級的技術選擇在晶片設計階段就已決定,不在設備採購的選項範圍內。

這個分層架構對 IT 決策者的意義是:當設備供應商談到「升級連接規格」,指的可能是這四個層級中的任何一個,每個層級的技術成熟度、量產時間表與成本結構各不相同。跨資料中心與機架之間的光纖化已是現實;機架內部的光纖化正在進入量產前夕;封裝內部的互連則在你的採購決策之前就已定型。知道自己面對的是哪一層,才能判斷供應商的技術路線是否與你的建置時程吻合。

連接性能,正在成為 AI 基礎架構的新地基

過去幾年,AI 基礎架構的討論幾乎都圍繞著算力——GPU 規格、模型參數量、訓練成本。這場演講提醒我們,當 AI 工作負載從單一大模型推論,演變為多個 Agent 協作、跨節點推演、持續存取長期記憶,資料在系統內部的移動方式也根本改變了。更多資料、更短時間、更多節點——這三件事同時發生,讓連接性能從背景條件變成了前景問題。

銅纜的物理極限不是突然出現的,它一直都在,只是 AI 工作負載的演變,讓這道牆提前到來。

光纖接管機架內部連接這件事,現在已經有清晰的技術路徑與時間表。CPO 不再是實驗室裡的概念,NVIDIA 與 Marvell 的結盟,讓這條路徑有了生態系的支撐。台灣的封裝廠、光學模組廠、ODM,正是把這條路徑從設計圖變成量產現實的執行者。


(本文授權非營利轉載,請註明出處:CIO Taiwan)

Image 271
The post AI 基礎架構的下一場標準戰,從連接力開始 first appeared on CIO Taiwan.
author avatar
CIO Taiwan
IDG集團的媒體品牌CIO於1987年創刊,為國際性最權威的IT管理專業雜誌。擁有全球最頂尖的IT管理專家作者群,因此能寫出最權威的分析評論、最先進的IT管理觀念。
donate plan

充電計畫

喜歡這篇文章嗎?歡迎幫作者充電,好內容值得更多人支持

瞭解詳情