新聞與活動
03-12
2024
AI推理框架軟件ONNX Runtime正式支持龍架構(gòu)
近日，知名AI推理框架開源社區(qū)ONNX Runtime正式發(fā)布支持龍架構(gòu)的版本1.17.0。今后，用戶可以直接使用ONNX Runtime開源社區(qū)發(fā)布的版本在龍芯平臺完成AI推理類應(yīng)用的開發(fā)和部署，標(biāo)志著龍架構(gòu)軟件生態(tài)得到進(jìn)一步完善。
ONNX Runtime（ORT）是近年來興起的AI推理框架軟件，被大量AI應(yīng)用作為基礎(chǔ)AI推理引擎。ORT可支持PyTorch、Tensorflow、TFLite等多種格式的模型輸入，以及CPU、GPU、IoT、NPU、FPGA等多樣化算力后端。
在ONNX Runtime 社區(qū)1.17.0版本的研制過程中，龍芯中科技術(shù)團(tuán)隊與社區(qū)保持緊密合作，期間向ONNX Runtime社區(qū)代碼倉庫提交了7697行代碼，對矩陣乘法、卷積、轉(zhuǎn)置等核心算子進(jìn)行深度向量優(yōu)化。在社區(qū)支持下，龍架構(gòu)優(yōu)化代碼通過了檢視、測試驗證等質(zhì)量保證流程，ONNX Runtime社區(qū)自1.17.0版本起正式實現(xiàn)對龍架構(gòu)的原生支持。
未來，龍芯中科將繼續(xù)與AI領(lǐng)域的國際開源軟件社區(qū)攜手合作，助力AI領(lǐng)域的生態(tài)發(fā)展和技術(shù)創(chuàng)新，為用戶帶來更優(yōu)產(chǎn)品，實現(xiàn)更大價值。
