科技

散熱能力將是 AI 機房決勝點

Vendor Icon

CIO Taiwan

10月. 04, 2024

1200630

總主筆/施鑫澤


200x300 Corey 1
◤ CIO IT經理人雜誌 總主筆 施鑫澤。

AI 熱潮方興未艾,更是企業未來競爭力提升的重要關鍵,猶記得六月 AI 當今大神黃老闆在台颳起的旋風,席捲全球,在全球一片通膨、通縮的陰影壟罩下,台灣仍舊有相當的活力,似乎關鍵就在 AI 的風起雲湧。

AI 伺服器、AI PC,甚至於 AI 機房都已經逐漸浮出檯面,過去兩年只有聽到少數如聯發科、長庚醫院打造 HPC 的機房,如今市場已經充斥著 AI 機房的重要性,也逐漸成為重要基礎設施。

何以企業要打造自己的 AI 機房,或許可以從近期 SLM 的崛起看出一些端倪,透過導入 SLM,加上自家的關鍵資料,以 RAG 方式訓練,成為熟悉自家專業知識的應答或者作業虛擬機器人,已經成為各行業頭部企業的主要選擇,畢竟將自家機密資料上網去讓 LLM 整合,一般企業老闆還是不敢嘗試,縱然雲端業者信誓旦旦,但是此種將繩子套在自己脖子,把繩頭交給他人的做法,還是需要相當的勇氣。

然而,依照當前 Nvidia 最新的 GB 系列機種的耗能所知,已非傳統機房所能應付,以目前散熱方案如氣冷、水冷、甚至浸潤式,最具經濟效益的似乎是水冷有其優勢,加上 ESG 當道,機房已經不能再擴張冷氣空調來解決機器降溫。因此,讓水流進機房已經勢不可擋。

說實在,過往機房管理經驗的,或許沒想到機房居然要與水共存,結構設計與管理上勢必有所革命。據了解,許多新的 AI 機房建置已經將排水系統不管是走高架地板,或者天花板納入考量,甚至因為有水在其中,結露點也成為重要機房參數,因為這都將侵害的機器的運行。假使公司未來不可避免要打造 AI 機房,現在就可以開始去了解如何有效散熱了!


(本文授權非營利轉載,請註明出處:CIO Taiwan)

Image 271

The post 散熱能力將是 AI 機房決勝點 first appeared on CIO Taiwan.

內容來源

author avatar
CIO Taiwan
IDG集團的媒體品牌CIO於1987年創刊,為國際性最權威的IT管理專業雜誌。擁有全球最頂尖的IT管理專家作者群,因此能寫出最權威的分析評論、最先進的IT管理觀念。
donate plan

充電計畫

喜歡這篇文章嗎?歡迎幫作者充電,好內容值得更多人支持

瞭解詳情