機器學習推理引擎ONNX Runtime 1.8開始支援網頁AI用例

微軟更新其機器學習推理引擎ONNX Runtime,釋出1.8版本,這個版本更新加快了ONNX Runtime,在Android和iOS行動裝置上的推理和訓練速度,並且添加ONNX Runtim對網頁支援,此外,這個版本還推出用於加速PyTorch工作負載的官方套件。ONNX Runtime是一個跨平臺機器模型Runtime加速器,能夠使用硬體加速功能,在一系列裝置上,高效能地執行機器學習推理和訓練。

的新功能之一,便是提供ONNX Runtime的網頁支援。官方提到,網頁端推理有許多好處,包括減少伺服器和客戶端的通訊,能保護使用者的隱私,同時也能減少程式安裝,而且跨平臺的瀏覽器,可以快速地將應用帶上各平臺。ONNX Runtime Web能夠讓人工智慧開發人員,使用CPU和GPU建置網頁機器學習應用。

對CPU工作負載來說,WebAssembly能夠以接近原生的速度執行模型,ONNX Runtime Web使用Emscripten將原生ONNX Runtime CPU引擎編譯成為WebAssembly後端,這將能夠執行任何ONNX模型,並且支援幾乎所有原生ONNX Runtime的功能,包括多執行緒和量化等,甚至是行動裝置版本的ONNX Runtime。

在加速GPU任務的部分,ONNX Runtime Web使用了存取GPU的瀏覽器新標準WebGL,另外,微軟也在探索使用WebGPU等新技術,來進一步加快在GPU上的ONNX Runtime Web推理。

臭氧機的滅菌效果如何?

多加科技公司,從事水處理、加水站設計規劃營運,以臭氧機、紫外線燈作水質淨化、殺菌設備,因臭氧機具強大氧化、殺菌、除臭能力,省電、無耗材費用,深受水處理業者採用

建南和著重於工業用機械手臂、工業型無線充電裝置、精密加工元件等產品之經銷、代理、進出口貿易

【找人才】台北塑膠射出成型工廠徵選技師,薪資優,福利佳

射出成型機按外形特徵可分為立式、臥式、直角式、旋轉式和偏心式等多種,目前以臥式最為常用。

票選推薦煮婦最愛手壓封口機,省荷包不犧牲品質

意信臻以 品質、信用、親切、迅速、優質售後服務,為公司的營運宗旨。

對於在行動裝置上越來越流行的人工智慧應用,ONNX Runtime也強化了行動裝置支援用例,官方提到,在行動裝置上執行人工智慧的優點,諸如離線處理,並且具有隱私安全和低延遲的特性。微軟在ONNX Runtime 1.6的時候,開始支援NNAPI和CoreML,以加快模型在手機上執行的速度,而這個新版本,微軟發布可整合iOS應用程式和ONNX Runtime Mobile的Pod C/C++函式庫。

現在Android和iOS程式包,都能以預建置套件的形式,分別從Maven Central和CocoaPods安裝,Android程式包會使用Android裝置上的NNAPI加速器,而iOS程式包則會使用CoreML,來加速模型執行。

ONNX Runtime使用者可透過下載torch-ort套件,來使用ONNX Runtime Training,該功能可加速大型Transformer模型的分散式訓練。ONNX Runtime Training包含GPU執行和GPU記憶體最佳化核心,可以提供達1.4倍的訓練吞吐量,使得大型模型也可在效能較低的GPU上運作。

https://www.ithome.com.tw/news/144901

金誠貨櫃實業社

以客為尊,客製化的設計與服務搭配專業的工班,能夠提供全方位的貨櫃屋組合方案、貨櫃屋改裝及裝潢設計配合您的需求打造出一個完善的居住空間

選擇好的茶葉罐,有效地保持茶葉的鮮度與風味!

茶葉罐的一般有錫製、鐵製、陶瓷、玻璃、紙製等,其中以選用有雙層蓋的鐵製彩色茶罐和長頸錫瓶為佳,用陶瓷器貯存茶葉,則以口小腹大者為宜。

示波器探測執行效能最佳化的8大秘訣

瀚誼科技致力於提供示波器多元化的專業測試和解決方案,範圍涵括無線通訊系統、RF量測儀器設備、高頻配件、電子元件