,Triton 是一種類似于 Python 的開源編程語言,它可以使沒有 CUDA 經驗的研究人員順利編寫高效的 GPU 代碼,而且號稱小白也可以寫出與專業人士相媲美的代碼,就是讓用戶用相對較少的努力實現最高的硬件性能,但 Triton 初期只支持英偉達 GPU。
OpenAI 聲稱:Triton 只要 25 行代碼,就能在 FP16 矩陣乘法上達到與 cuBLAS 相當的性能。
從 Github 我們可以看到,OpenAI 已經開始在最新的Triton 版本中合并 AMD ROCm 相關分支代碼,也正因此暴露了很多東西。也就是說,最新 Triton 后端已適配 AMD 平臺,可謂意義重大。
通過官方的說法來看,他們已經通過了“test_core.py”上的大多數單元測試環節,但由于各種原因跳過了一些測試。
IT之家注意到,OpenAI 還宣布將于 9 月 20 日上午 10 點至下午 4 點在加利福尼亞州山景城的微軟硅谷園區舉行 Triton 開發者大會,而日程安排中就包括“將 Triton 引入 AMD GPU”和“Triton 的英特爾 XPU”兩大環節,預計 Triton 將很快擺脫英偉達 CUDA 壟斷的歷史。
值得一提的是,Triton 是開源的,比起閉源的 CUDA,其他硬件加速器能直接集成到 Triton 中,大大減少了為新硬件建立 AI 編譯器棧的時間。
在此前發布的 PyTorch 2.0 版本中,TorchInductor 便引入了 OpenAI Triton 支持,可為多個加速器和后端自動生成快速代碼,同時實現用 Python 取代 CUDA 編程來寫底層硬件的代碼。也就是說,Triton 已經是PyTorch2.0 后端編譯器關鍵構成部分。
實際上,此前 AMD ROCm 則主要是采用 Hipify 工具實現CUDA 兼容,而隨著 AMD 開始為 RDNA 3 消費級顯卡提供 ROCm 支持,預計后續將會有更多平臺選擇適配 AMD 硬件。
相關閱讀:
《AMD 將為 RDNA 3 消費級顯卡提供 ROCm 支持,從 Radeon RX 7900 XTX 和 Pro W7900 開始》
《AMD 正式推出 HIP SDK:拓展 ROCm 生態,支持運行英偉達 CUDA 應用》
廣告聲明:文內含有的對外跳轉鏈接,用于傳遞更多信息,節省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。
鄭重聲明:此文內容為本網站轉載企業宣傳資訊,目的在于傳播更多信息,與本站立場無關。僅供讀者參考,并請自行核實相關內容。
2023年2月15日,湯臣倍健與美團買藥在北京舉辦了2023
2021年收入增長目標應能確保實現,2022年收入增長預計將
具體來看,一是簡化業務流程和材料,便利北京冬奧會相關區域內境
炒股就看金麒麟分析師研報,權威,專業,及時,全面,助您挖掘潛
,據索尼官方消息,新星粉,銀河紫,星光藍,三款全新配色Dua
,新氧數據顏究院發布《2021醫美行業白皮書》,白皮書顯示,