NVIDIA CUDA 13.1 是自 CUDA 二十年前發(fā)明以來，規(guī)模最大、內(nèi)容最全面的一次更新。

最新的版本包含一系列新功能與改進，旨在提升性能并推動加速計算，主要包括：

推出NVIDIA CUDA Tile：它是基于 tile 的全新編程模型，對包括 Tensor Cores 在內(nèi)的專用硬件做了抽象

暴露了綠色上下文運行時的 API

在 NVIDIA cuBLAS 中實現(xiàn)雙精度與單精度仿真功能

全新編寫的CUDA 編程指南，面向 CUDA 初學(xué)者到資深開發(fā)者

CUDA Tile 編程

為了幫助開發(fā)者開發(fā)適配當(dāng)前及未來的 GPU 開發(fā)軟件，NVIDIA CUDA 13.1 推出了CUDA Tile。該編程模型允許開發(fā)者在 SIMT 編程模型之上更高層級編寫 GPU 內(nèi)核。在 SIMT 編程中，開發(fā)者實現(xiàn)一個內(nèi)核需要手動劃分?jǐn)?shù)據(jù)，并為每個線程指定執(zhí)行路徑。而在 CUDA Tile 編程中，你可以用更高的抽象層級實現(xiàn)內(nèi)核，直接對稱為“Tile”的數(shù)據(jù)塊指定執(zhí)行路徑：只需指定要在這些 Tile 上執(zhí)行的數(shù)學(xué)運算，編譯器和運行時會自動決定如何將任務(wù)最優(yōu)地分配給各個線程。這種 Tile 編程模型隱藏了 Tensor Cores 等專用硬件的具體細(xì)節(jié)，使 Tile 代碼能夠兼容未來的 GPU 架構(gòu)。

CUDA 13.1 發(fā)布了 Tile 編程的兩大組件

CUDA Tile IR：用于 NVIDIA GPU 編程的全新虛擬指令集架構(gòu)（ISA）。

cuTile Python：全新領(lǐng)域特定的編程語言（DSL），用于在 Python 中編寫基于數(shù)組和 Tile 的內(nèi)核。

如需了解更多關(guān)于 CUDA Tile IR 與cuTile Python的信息，請查看相關(guān)詳細(xì)介紹。

CUDA軟件更新

本次 CUDA 版本還包括以下重要軟件更新。

運行時暴露綠色上下文

CUDA 中的綠色上下文是傳統(tǒng) CUDA 上下文的一種輕量級替代方案，旨在為開發(fā)者提供一種對 GPU 進行更細(xì)顆粒度的空間劃分和資源分配的機制。自 CUDA 12.4 起，該功能可在驅(qū)動 API 中使用；而從本版本開始，綠色上下文也正式支持運行時 API。

綠色上下文使用戶可以定義并管理 GPU 資源（主要是 Streaming Multiprocessors，SMs）的不同分區(qū)，并將特定的 SM 集合分配給某個上下文。隨后，在該綠色上下文該所擁有的資源范圍內(nèi)啟動中 CUDA 內(nèi)核并管理 CUDA 流。一個典型應(yīng)用場景是：當(dāng)應(yīng)用程序包含對延遲敏感的代碼，且其優(yōu)先級高于所有其他 GPU 任務(wù)時，可以將一部分 SM 資源分配給一個專用于此代碼的綠色上下文，其余 SM 分配給處理其他任務(wù)的另一個綠色上下文，即可確保關(guān)鍵計算始終擁有可用的 SM 資源。

CUDA 13.1 還引入了可定制程度更高的 split() API。開發(fā)者可以構(gòu)建此前需要多次 API 調(diào)用才能完成的 SM 分區(qū)，并能夠配置工作隊列，以減少在不同綠色上下文中提交任務(wù)時可能產(chǎn)生的偽依賴。

有關(guān)這些功能及綠色上下文運行時的更多信息，請參閱CUDA Programming Guide。

CUDA 多進程服務(wù)（MPS）更新

CUDA 13.1 為多進程服務(wù)新增了多項功能特性。有關(guān)這些新功能的完整信息，請參閱MPS 文檔。其中的重點內(nèi)容包括：內(nèi)存局部性優(yōu)化分區(qū)、靜態(tài)流多處理器分區(qū)、cuBLAS 中的雙精度與單精度仿真。

開發(fā)者工具

開發(fā)者工具是 CUDA 平臺至關(guān)重要的一環(huán)，本次發(fā)布帶來了多項創(chuàng)新與功能優(yōu)化。

CUDA Tile 內(nèi)核性能分析工具

NVIDIA Nsight Compute 2025.4 現(xiàn)可對 CUDA Tile 內(nèi)核進行性能分析。相關(guān)更新包括：在摘要頁面新增“結(jié)果類型”列，用于區(qū)分內(nèi)核屬于 Tile 還是 SIMT 類型；詳情頁面新增“Tile 統(tǒng)計信息”區(qū)域，匯總 Tile 維度及關(guān)鍵流程的利用率情況；源頁面也支持將性能指標(biāo)映射到高級別的 cuTile 內(nèi)核源代碼。此外，本次 Nsight Compute 版本還新增了兩項功能：支持對設(shè)備端啟動的 CUDA 圖節(jié)點進行性能分析；同時改進了源頁面導(dǎo)航，現(xiàn)在無論是編譯器生成的標(biāo)簽還是用戶自定義的標(biāo)簽，都支持以可點擊鏈接的形式快速跳轉(zhuǎn)。

編譯時修補

NVIDIA Compute Sanitizer 2025.4 現(xiàn)可通過編譯器標(biāo)志 -fdevice-sanitize=memcheck 對 NVIDIA CUDA 編譯器進行編譯時修補。此功能增強了內(nèi)存錯誤檢測能力并提升了 Compute Sanitizer 的運行性能。編譯時插樁可將錯誤檢測直接集成到 NVCC 中，這樣不僅運行速度更快，還能通過先進的基址-邊界分析捕捉到更隱蔽的如相鄰分配非法訪問的內(nèi)存問題。這意味著開發(fā)者可以在不犧牲調(diào)試速度的前提下，排查內(nèi)存問題，運行更多測試，從而保持開發(fā)效率。目前，該功能僅支持 memcheck。有關(guān)編譯時插樁的完整信息，請參閱 compute-sanitizer文檔。

NVIDIA Nsight Systems

NVIDIA Nsight Systems 2025.6.1 與 CUDA Toolkit 13.1 同步發(fā)布，新增多項剖析功能，主要包括：

系統(tǒng)級 CUDA 剖析：新增 -cuda-trace-scope 參數(shù)，支持跨進程樹或整個系統(tǒng)進行剖析。

CUDA 主機函數(shù)剖析：支持剖析 CUDA Graph 主機函數(shù)節(jié)點及 cudaLaunchHostFunc()；該函數(shù)在主機端執(zhí)行，并會阻塞所在流。

綠色上下文時間軸：現(xiàn)在其提示信息會顯示 SM 分配情況，幫助用戶了解 GPU 資源利用率。

數(shù)學(xué)函數(shù)庫

本次核心 CUDA 工具包的數(shù)學(xué)函數(shù)庫引入了多項新功能，主要包括：NVIDIA cuBLAS、NVIDIA cuSPARSE、NVIDIA cuFFT。

NVIDIA CUDA 核心計算庫

NVIDIA CUDA 核心計算庫（CCCL）為CUB庫帶來了多項創(chuàng)新與增強：

確定性浮點數(shù)縮減：作為 CUDA 13.1 一部分， NVIDIA CCCL 3.1 提供了兩種額外的浮點確定性選項，以便在確定性和性能之間進行權(quán)衡：

Not-guaranteed：使用原子操作進行單輪歸約。此選項不保證為多次運行提供位級相同的結(jié)果。

GPU-to-GPU：基于 Kate Clark 在 NVIDIAGTC 2024演講中提出的可復(fù)現(xiàn)歸約算法。其結(jié)果始終是位級相同的。

更便捷的單階段CUB API：CCCL 3.1 為部分 CUB 算法新增了重載函數(shù)，它們可以直接接受內(nèi)存資源參數(shù)，從而省去查詢、分配、釋放臨時存儲的步驟。

了解更多

CUDA 13.1 帶來了眾多新功能，并開啟了以 CUDA Tile 為核心的GPU 編程新時代，了解更多關(guān)于 CUDA 13.1 的更新。

歡迎探索CUDA Tile相關(guān)資源，下載CUDA Toolkit 13.1，立即開始體驗。

關(guān)于作者 —

Jonathan Bentz

領(lǐng)導(dǎo) NVIDIA 的 CUDA 技術(shù)營銷工程團隊，其團隊專注于創(chuàng)建和提供引人入勝的內(nèi)容，并與 CUDA 開發(fā)者建立聯(lián)系。Jonathan 擁有愛荷華州立大學(xué)化學(xué)博士學(xué)位和計算機科學(xué)碩士學(xué)位。

Tony Scudiero

是 CUDA 平臺的技術(shù)營銷工程師。他致力于將 CUDA 帶給各種類型和能力的開發(fā)者。在 NVIDIA 任職期間，他曾使用過大型 HPC 系統(tǒng)和應(yīng)用、實時聲學(xué)模擬 (VRWorks Audio) 和 Omniverse RTX 渲染器。