奧丁丁新聞 OwlNews|多元觀點。獨創你的輪廓
熱門新聞
創新聞
全國大專課外主管聚朝陽科大 共創AI友善韌性校園
【創新聞 記者顏淑娟/台中報導】為提升大專校院課外活動輔導品質,強化學生事務專業交流,教育部8月20、21日舉
18 分鐘前
18 分鐘前
商傳媒
阿里巴巴出脫遊戲業務 傾力發展 AI 與雲端運算
商傳媒|責任編輯/綜合外電報導阿里巴巴集團(Alibaba Group Holding)已完成旗下遊戲部門靈犀互娛(Lingxi Games)的出售,並正積極將資源集中於人工智慧(AI)與雲端運算兩大核心業務。此舉象徵這家電商巨頭在中國市場(阿里巴巴的中國市場定位:這家總部位於中國的電商與科技巨頭)的戰略轉型,以深化其企業服務版圖。
根據《Simply Wall St》報導,阿里巴巴已將靈犀互娛出售給 Trustar Capital,這項交易符合該公司將資本導向優先成長領域的既有敘事。為了加強其在 AI 領域的投入,阿里巴巴正式推出了名為 HappyShrimp 的人工智慧音樂生成模型。這款模型連同其擴展的雲端服務,直接體現了阿里巴巴支援企業用戶的策略方針。
阿里巴巴對 AI 與雲端業務的承諾高達人民幣 3,800 億元,顯示其致力於深化企業應用案例,而非持有所有消費者娛樂資產。分析指出,儘管市場可能對 AI 支出增加導致的近期利潤壓力有所反應,但此舉能使阿里巴巴的業務組合更為精簡,有助於其 AI 和雲端業務的發展,並使市場更容易追蹤其成長潛力,抵銷當前在利潤率和自由現金流方面的風險。
21 分鐘前
21 分鐘前
台灣好新聞
1.8萬人齊聚彰化 中部全國供佛齋僧大會8/23登場
記者鄧富珍/彰化報導1萬8千人齊聚彰化,中部全國供佛齋僧大會8/23登場,邀請十方信眾共襄盛舉。圖/彰化縣政府提供「115年中部全國供佛齋僧大會」將於8月23日在彰化縣立體育館舉行,預計吸引法師、信眾及義工超過1萬8,000人參與,近40位高僧大德蒞臨主持,並供養近6,000位僧
24 分鐘前
24 分鐘前
賴傳媒
河北彩花來台辦見面會 化身「夢幻天使」祭出限定互動
【Lai傳媒、記者爆料網 王傳文/綜合報導】日本人氣女優河北彩花要來台灣了!她將於9月20日登上billboard Taipei,舉辦「2026 河北彩花粉絲見面會『My Angel』in Taipei」,以「My Angel」為主題化身夢幻天使,除了準備全新舞台內容,也安排多項限定互動,與台灣粉絲近距離相見。
29 分鐘前
29 分鐘前
商傳媒
容器與 Kubernetes 助攻 AI 工作負載 揭部署規模化高效秘訣
圖/示意圖商傳媒|葉安庭/綜合外電報導隨著人工智慧(AI)技術的爆炸性成長,企業在擴展其複雜的 AI 工作負載時,面臨前所未有的技術挑戰。對此,容器(Container)技術——一種將應用程式及其所有依賴項封裝成單一可攜式單位的軟體虛擬化技術——正成為關鍵解決方案。
機器學習(ML)模型與其運行環境的依賴關係樹極為脆弱,一個 CUDA 版本不匹配或是不經意的程式庫更新,都可能在不通知的情況下破壞推論準確性,或是導致訓練任務崩潰。容器技術的優勢在於能將模型、其運行環境、Python 依賴項和配置打包成一個可攜式單元,確保環境一致性。而 Kubernetes(一個用於自動化部署、擴展和管理容器化應用程式的開源平台)則負責處理這些容器的營運管理。
Kubernetes 負責處理容器的營運管理,例如重新啟動失敗的 Pod(Kubernetes 中最小的可部署計算單元),在不同節點間分配負載,以及擴展複本。Google 曾以一個橫跨 65,000 個節點的 Google Kubernetes Engine 叢集進行基準測試,專門用於 AI 工作負載,展現了其大規模運算能力。
AI 工作負載主要分為訓練與推論兩大類。訓練任務(指透過大量資料來優化模型參數的運算過程)通常是爆發性、資源密集型且容許中斷的,往往需要使用高階繪圖處理器(GPU)運行數小時甚至數天。
相較之下,推論服務(指模型完成訓練後,用其來預測或分析新資料的過程)則對延遲性敏感,需要持續運行,通常在較小且成本較低的加速器上也能良好運作。
將訓練和推論的工作負載分開管理,能有效利用低成本的現貨實例(Spot instance,一種雲端服務供應商提供的備用運算資源,價格較低但可能隨時被收回)進行訓練,同時保持推論基礎設施的穩定性。報導指出,這種分離策略可節省高達 60% 至 70% 的運算成本。
針對 AI 工作負載中至關重要的 GPU 資源,輝達(NVIDIA)提供了一系列工具來優化 Kubernetes 中的管理。NVIDIA Container Toolkit 擴展了容器運行時,使其能夠將主機的 GPU 設備和驅動程式庫暴露給容器的隔離檔案系統,而無需將驅動程式直接內建到容器映像中。NVIDIA device plugin 則以 DaemonSet(一種確保所有或部分節點運行一個 Pod 副本的 Kubernetes 控制器)的形式部署在每個 GPU 節點上,將節點的 GPU 數量作為可分配資源(nvidia.com/gpu)暴露給 Kubernetes 調度器。如此一來,為 Pod 請求 GPU 資源就像在 resources.limits 區塊中指定 nvidia.com/gpu: 1 一樣簡單。
此外,NVIDIA GPU Operator 是一個可透過 Helm(Kubernetes 的套件管理工具)安裝的套件,負責處理 GPU 啟用堆疊,包括驅動程式管理、NVIDIA Container Toolkit 和 device plugin,甚至支援將單一實體 GPU 分割給多個 Pod 同時使用。
為確保最佳效率與成本效益,業界建議的基準架構包括:為訓練和推論任務使用不同的容器映像檔、依工作負載類型分離的節點池或叢集、透過 NVIDIA device plugin 暴露 GPU,以及使用 KServe 等模型服務層。KServe 透過客製化資源擴展 Kubernetes,專為模型服務設計,能處理自動擴展、健康檢查、金絲雀部署(Canary rollout,一種軟體部署策略,先將新版本推送到一小部分用戶,觀察其行為後再逐步擴大)以及縮放至零(指當沒有請求時自動關閉服務以節省資源)。早期實施這種工作負載分離,可避免失控的訓練任務佔用推論 Pod 的資源,並確保 GPU 的花費與實際使用情況相符。
Kubernetes 原生功能,如節點選擇器、汙點與容忍度,以及資源請求與限制,都能與 GPU 和模型生命週期結合運用。
34 分鐘前
34 分鐘前
- 亞太新聞網財團法人簡天生紀念基金會捐助薄毯 關懷桃市身障及弱勢家戶▲桃園市社會局捐贈市值逾36萬元之薄毯,提供桃園市身心障礙者以及弱勢家庭基本生活照顧。(圖╱桃園市政府社會局提供) 【亞太新聞網/新聞中心/桃園報導】 財團法人簡天生紀念基金會(下稱簡天生紀念基金會)捐贈37 分鐘前
37 分鐘前 - 台灣好新聞港灣音樂會淨灘親子活動一次玩 桃園竹圍魚鱻節8/22、8/23登場記者黃駿騏/桃園報導「115年竹圍魚鱻節-潮玩竹圍、漁樂一夏」將於8月22、23日在竹圍漁港農業綜合大樓旁天幕廣場登場,桃園市政府輔導桃園區漁會結合港灣音樂會、海岸淨灘、親子DIY及街頭魔術、氣球互動秀等活動,邀請民眾走進竹圍漁港,體驗海洋文化、漁港美食與親子休閒樂趣。農業局長陳37 分鐘前
37 分鐘前 - 商傳媒專攻AI代理程式故障偵測 新創Lemma完成230萬美元種子輪募資圖/本報資料庫商傳媒|責任編輯/綜合外電報導專注於AI代理程式(AI Agents)監測技術的新創公司 Lemma,日前宣布完成230萬美元種子輪募資。這筆資金將用於持續開發其監測平台,旨在於終端使用者發現前,即時偵測並排除人工智慧系統中的潛在故障。 隨著人工智慧(AI)技術日益複雜,AI代理程式(AI Agents)作為一種能夠自主決策並執行多步驟任務的人工智慧系統,正被廣泛應用於客戶支援、軟體開發、數據分析等關鍵業務流程。然而,相較於傳統軟體系統,AI代理程式的行為模式更具動態性與不可預測性。傳統的軟體監測方法多依賴開發者預設的錯誤規則,但對於AI代理程式而言,若系統誤解使用者意圖、選擇不恰當策略,或產生技術上看似有效卻未達成預期目標的結果,這些「未預期」的故障模式便難以被偵測到。 為了解決此挑戰,Lemma 發展的 AI故障偵測技術,不僅著眼於傳統的技術錯誤訊號,更透過理解AI代理程式的「意圖」與整體目標,來判斷其工作流程是否真正成功。即使AI代理程式表面上執行了所有要求動作且沒有軟體錯誤,若最終結果不正確或不完整,該技術也能將其識別為故障。這種方法有助於減少開發者手動建立監測邏輯的需求,特別是在漫長且多步驟的自主工作流程中,即便錯誤發生在初期,也能及早被發現。 當AI代理程式從簡單的指令回應,進化到能夠自主完成複雜工作流程時,其可靠性與穩定性變得至關重要。任何在財務、營運或客戶互動層面的故障,都可能帶來重大影響。Lemma 的技術有助於提升AI代理程式在實際營運環境中的可靠度,讓企業能更安心地將AI系統部署於高可靠性要求的任務中。 此輪230萬美元的種子輪募資將為 Lemma 提供進一步資源,以優化其監測技術並與更多部署自主AI系統的開發者合作。隨著AI代理程式的發展重點從「能否完成任務」轉向「能否穩定可靠地完成任務」,像 Lemma 這樣的故障偵測解決方案,預計將在未來的AI生態系中扮演關鍵角色。42 分鐘前
42 分鐘前 - 區塊客馬斯克旗下 X 擬導入「穩定幣支付」,創作者發文有望直接領 USDC在馬斯克( Elon Musk )的帶領下,社群平台 X 再度向加密貨幣領域邁出關鍵一步。為了解決全球內容創作者的跨境支付痛點,X 平台正積極探索導入穩定幣作為收益分潤的新管道。 〈馬斯克旗下 X 擬導入「穩定幣支付」,創作者發文有望直接領 USDC〉這篇文章最早發佈於《區塊客》。42 分鐘前
42 分鐘前 - CNEWS匯流新聞網踏空水溝蓋女童跌傷 新北工務局依法裁罰管委會6萬元CNEWS匯流新聞網記者謝東明/台北報導 新北市泰山區信華一街1處社區,傳出有女童行經社區前水溝蓋,突踏空跌落受傷意外。新北市工務局表示,調閱建築物使用執照竣工圖並現場勘查,確認事發位置屬於社區基地範圍內供公眾使用的沿街步道式開放空間,應由社區依法負責維護管理。由於社區未善盡維護責任,導致民眾通行受傷,今(20)日也發文依《建築法》裁罰6萬元並限期改善,逾期...1 小時前
1 小時前
閱讀更多