多年來，圖形管線一直依賴于成熟且固定的功能工作負載，如幾何處理、光柵化、紋理貼圖和著色。這種傳統(tǒng)方法為渲染提供了可預(yù)測的結(jié)構(gòu)，每個階段都提供特定且易于理解的功能。

然而，這種模式已經(jīng)悄然發(fā)生了深刻轉(zhuǎn)變?，F(xiàn)代渲染的特點如今是計算驅(qū)動流程、神經(jīng)推理以及對AI輔助圖像形成的日益依賴。AI在圖形學(xué)中的作用已超越了輔助功能的范疇；它正逐漸成為圖像渲染、增強、重建和合成方式中不可或缺的一部分。

因此，GPU的未來方向是明確的：它們必須在桌面平臺、云平臺和邊緣設(shè)備中融入高效的AI加速能力。如今的芯片負責(zé)處理從幾何處理到圖像增強和重建的各種工作負載。這一轉(zhuǎn)變使AI加速成為現(xiàn)代渲染的核心支柱，推動著當(dāng)代系統(tǒng)圖形質(zhì)量與能力的提升。

在整個行業(yè)中，現(xiàn)代圖形引擎正從以片段處理為主的管線轉(zhuǎn)向以計算為主導(dǎo)的模式，這一點在高端PC引擎和主機級工作負載中尤為明顯。對比早期引擎與當(dāng)代管線可以清晰看到這一變化：傳統(tǒng)管線由片段著色主導(dǎo)，而現(xiàn)代引擎將越來越多的幀時間分配給計算工作負載。光照、材質(zhì)評估、可見性處理以及后處理正不斷遷移到計算驅(qū)動階段。

當(dāng)代渲染管線越來越依賴計算著色器來驅(qū)動光照、材質(zhì)、可見性和后期處理。傳統(tǒng)片段著色的比例正在穩(wěn)步下降；計算著色器以及超分辨率、降噪和增強技術(shù)已經(jīng)占據(jù)了GPU幀處理時間的很大一部分。像DLSS和FSR這樣的技術(shù)，曾經(jīng)被視為高端特性，現(xiàn)在已成為現(xiàn)代引擎中的標準配置。它們利用神經(jīng)網(wǎng)絡(luò)從較低分辨率的輸入重建高分辨率幀，應(yīng)用高質(zhì)量降噪，并在嚴格的延遲限制下保持時間穩(wěn)定性。

我們內(nèi)部分析清晰地反映了這一轉(zhuǎn)變。在現(xiàn)代渲染管線中，越來越多的幀延遲不再直接花費在“繪制”像素上，而是花費在通過神經(jīng)方法，從一個稀疏的基礎(chǔ)（較低分辨率輸入、較少的著色樣本和激進的時間復(fù)用）來推斷出一個感知上完整的圖像。

商業(yè)硬件決策也體現(xiàn)了這一模式。例如，索尼從PlayStation 5向PlayStation 5 Pro的升級中，GPU子系統(tǒng)的硅面積大約增加了4倍，其中絕大部分用于神經(jīng)計算，而非傳統(tǒng)著色或固定功能光線追蹤。這反映了行業(yè)的明確判斷：未來圖像質(zhì)量的提升將主要來自重建與推理，而非單純提高片段吞吐量。

從架構(gòu)角度看，實時3D圖形始終是一門“近似科學(xué)”，而非數(shù)學(xué)上的完全精確。其核心約束從來不是正確性，而是受限的延遲和能耗，這迫使引擎必須激進地剔除那些對感知畫質(zhì)提升不明顯的計算?？梢娦圆眉簟⒓毠?jié)層次（LOD）、時間復(fù)用和重建技術(shù)，本質(zhì)上都遵循同一原則：去除不必要的計算，將硅面積和功耗預(yù)算集中用于真正能帶來差異化體驗的部分。

這一理念對GPU設(shè)計產(chǎn)生了直接影響。隨著工作負載越來越由重建、推理和近似計算主導(dǎo)，架構(gòu)重點從最大化原始片段吞吐量轉(zhuǎn)向在渲染流水線內(nèi)部高效執(zhí)行中小規(guī)模神經(jīng)網(wǎng)絡(luò)。神經(jīng)著色器正是這一趨勢的自然演進：將緊湊的神經(jīng)網(wǎng)絡(luò)嵌入著色階段，使近似過程以數(shù)據(jù)驅(qū)動的方式被“學(xué)習(xí)”，并與現(xiàn)有著色執(zhí)行和內(nèi)存訪問模式緊密耦合。

要高效支持這一點，就需要GPU將神經(jīng)執(zhí)行視為頭等架構(gòu)關(guān)注點，而非輔助性的計算任務(wù)。需要針對低延遲、高利用率以及與傳統(tǒng)著色進行細粒度集成進行優(yōu)化，而不是將其視為孤立的、面向批處理的推理任務(wù)。

雖然神經(jīng)超分辨率已經(jīng)成為主流，但神經(jīng)著色器（直接嵌入在著色管線內(nèi)部的小型網(wǎng)絡(luò)）正涌現(xiàn)為實時圖形學(xué)的下一個重大變革。行業(yè)技術(shù)成熟度分析表明，神經(jīng)著色正從早期創(chuàng)新階段邁向本十年后期的更廣泛應(yīng)用。我們已經(jīng)發(fā)布了神經(jīng)近似技術(shù)的相關(guān)研究，預(yù)計未來GPU需要將高效神經(jīng)執(zhí)行作為常規(guī)著色工作負載的一部分，而非獨立的計算路徑。

研發(fā)趨勢也支持這一判斷。預(yù)測圖形工作負載未來方向的最快方式之一，就是關(guān)注SIGGRAPH。過去兩年中，神經(jīng)驅(qū)動圖形研究的數(shù)量顯著激增，例如：

神經(jīng)材質(zhì)和神經(jīng)隱式表面，為復(fù)雜資產(chǎn)提供實時、可學(xué)習(xí)的表示。

基于擴散的資產(chǎn)提取和內(nèi)容合成，使用生成模型來生成和優(yōu)化3D內(nèi)容。

神經(jīng)降噪、重建和混合生成工作流，在最近的SIGGRAPH出版物中隨處可見。

神經(jīng)驅(qū)動的藝術(shù)和設(shè)計工具，將AI直接嵌入內(nèi)容創(chuàng)作管線。

規(guī)劃多年架構(gòu)的硬件團隊必須認識到這一時間線，因為今天設(shè)計的GPU模塊必須支持2028年及以后的工作負載。涵蓋材質(zhì)、動畫、渲染和工具的神經(jīng)圖形研究，其數(shù)量和廣度都確鑿無疑地表明，AI已成為計算機圖形學(xué)中的基礎(chǔ)學(xué)科。綜上所述，行業(yè)信號是一致的：渲染不再是關(guān)于最大化FP32片段吞吐量，而是關(guān)于靈活的、通用的計算。

而當(dāng)未來的圖形工作負載嚴重依賴神經(jīng)處理時，GPU架構(gòu)師就不能依賴標量或傳統(tǒng)的著色器核心來高效運行它們。神經(jīng)工作負載需要更高的計算密度、更低的單次推理能耗，并支持與著色器緊密集成且具有互補內(nèi)存訪問模式的中小型網(wǎng)絡(luò)。

正因如此，Imagination正將AI加速直接集成到GPU架構(gòu)中，使客戶能夠支持計算機圖形的前沿發(fā)展。我們的E-Series GPU IP同時支持圖形處理和通用推理應(yīng)用，通過AI加速單元與傳統(tǒng)著色集群的緊密融合，在低功耗下提供高吞吐性能。

在未來，實時圖形將由重建、近似和神經(jīng)執(zhí)行來定義，將AI視為渲染管線中的頭等部分不是可有可無的——而是必不可少的。

欲深入了解Imagination高效能GPU IP如何應(yīng)對先進制程挑戰(zhàn)，請立即預(yù)約與團隊會面。

作者：Ed Plowman

英文鏈接：https://blog.imaginationtech.com/the-transformation-of-graphics-pipelines

聲明：本文為原創(chuàng)文章，轉(zhuǎn)載需注明作者、出處及原文鏈接。