NVIDIA (輝達) 推出第八代人工智慧 (AI) 軟體 TensorRT 8，讓語言查詢的推論時間減半，並讓開發人員得以打造全世界最高效能的搜尋引擎、廣告建議與聊天機器人，並能從雲端到邊緣提供這些服務。
TensorRT 8 的優化只需要 1.2 毫秒就能在 BERT-Large 上達到破紀錄的語言應用速度，而 BERT-Large 是全世界最被廣泛使用的 Transformer 模型之一。企業以往只能縮小模型的大小，但也因此造成較低的精準度，如今有了 TensorRT 8，企業可以把模型的大小擴增兩倍或三倍，並大幅提升精準度。
NVIDIA 開發人員計劃事業部副總裁 Greg Estes 表示：「AI 模型正以指數級的速度變得越來越複雜，而全球各地對於使用 AI 的即時應用需求也隨之高漲。這讓企業迫切地部署最新的推論解決方案。最新版本的 TensorRT 導入全新的功能，可以讓企業把對話式 AI 應用交付給客戶，並達到過去無法企及的品質水準和反應速度。」
來自醫療照護、汽車、金融與零售業等各領域的 2.75 萬家公司、超過 35 萬名開發人員，在過去五年已經累積近 250 萬次的 TensorRT 下載量。TensorRT 的應用可以部署在超大規模資料中心、嵌入式或汽車產品平台。
The post 對話式人工智慧變得更聰明、更具互動性 first appeared on CIO Taiwan.