科技

AI 模型參數減半更智慧 Multiverse Computing 新技術提升效能

Vendor Icon

商傳媒

3 小時前

圖/本報資料庫

商傳媒|林昭衡/綜合外電報導

根據《Decrypt》報導,人工智慧(AI)領域近日出現一項突破性進展。位於美國的 AI 公司 Multiverse Computing 研究團隊於 8 月 25 日在 Hugging Face 部落格上發表了一種名為「Quantization-Aware Healing」的新方法,成功將 OpenAI 開源的 GPT-OSS 大型語言模型(LLM)從 1,200 億個參數(parameters)縮小至 600 億個,同時將模型記憶體壓縮至 4 位元,但效能卻不減反增。

一般而言,AI 模型參數越多、記憶體需求越大,效能通常也越強。但這項新技術顛覆了傳統認知,經測試發現,這款縮小後的 GPT-OSS 模型在九項評估測試中,有七項超越了原始的全參數模型。研究人員解釋,「Quantization-Aware Healing」方法並非簡單地壓縮,而是讓縮小的模型回頭向未壓縮的原始模型學習,確保在壓縮過程中能「修復」因資料量減少可能造成的智慧損失。

此技術的實用價值在於,量化(Quantization)步驟不再僅是降低成本的手段,更成為提升模型品質的機會。透過這種方式,模型在經過「治療」後,所需的記憶體約為原始模型的四分之一,參數數量減半,卻能提供同等或更高的準確度。這意味著 AI 模型未來可在更便宜、記憶體更小的邊緣運算設備上運行,大幅降低服務成本並擴大應用範圍。

Multiverse Computing 已將這款經過改良、名為 Hypernova-60B 的模型以開放權重(open weights)的形式釋出在 Hugging Face 平台上。


author avatar
商傳媒
商傳媒是由一群在媒體界超過十年的採訪團隊,是一個提供財經、科技、智慧製造、醫療、電玩資訊為主要服務內容的金融科技網路媒體,其宗旨在於提供台灣中小企業一個產品新聞的平台,未來更朝向將台灣中小企業產品獎持續推向全世界。
donate plan

充電計畫

喜歡這篇文章嗎?歡迎幫作者充電,好內容值得更多人支持

瞭解詳情