DPU芯片，跟之前的GPU、AI芯片最大的不同在于，DPU是集成多種領(lǐng)域加速于一體的集成加速平臺。如果說GPU、AI加速芯片，是CPU+xPU單個異構(gòu)計算的分離趨勢，那么DPU的出現(xiàn)，則預示著，整個計算系統(tǒng)，在從單異構(gòu)的分離逐漸走向多異構(gòu)的融合。 當然，DPU僅僅只是開始，更加充分的融合，將在本文詳細分析和介紹。

01數(shù)據(jù)中心（相比終端）系統(tǒng)的特點

1.1 軟件業(yè)務和硬件平臺分離

數(shù)據(jù)中心軟件有一個非常重要的要求，就是高可用性（High Availability，HA）。比如通過負載均衡器實現(xiàn)后端服務的高可用，負載均衡器本身也是通過集群機制實現(xiàn)自身的高可用。底層的VM通過熱遷移實現(xiàn)高可用，容器則是通過在新的環(huán)境自動拉起新實例來實現(xiàn)容器的高可用。

如果我們關(guān)注底層軟件和硬件，我們會發(fā)現(xiàn)，實際運行的軟件（不考慮虛擬化部分，虛擬化實際上是介于軟件和硬件之間，通過軟硬件協(xié)同實現(xiàn)的虛擬化機制）和硬件實際上是完全脫離的：

軟件實體可以在不同的硬件平臺上運行，可以實時遷移，上層的軟件以為軟件實體一直是高可用的，感受不到底層硬件的變化（硬件有可能磁盤故障、死機或者是更新服務器等）。

完整的單個硬件平臺通過虛擬化，可以靈活地切分成許多虛擬的硬件平臺，可以支持不同的軟件實體運行。

1.2 單服務器的虛擬化、多系統(tǒng)、多租戶，全數(shù)據(jù)中心多集群系統(tǒng)交叉混合

我們之前講過，系統(tǒng)分為四類，跟智能終端系統(tǒng)相比，云和邊緣數(shù)據(jù)中心的系統(tǒng)最大特點是虛擬化和服務化，數(shù)據(jù)中心服務器和終端設備系統(tǒng)最大的區(qū)別在于：

首先，通過虛擬化實現(xiàn)多系統(tǒng)多租戶共存于單個硬件平臺。硬件平臺需要支持虛擬化和高擴展性，提供多個個性化的虛擬硬件平臺。然后需要支持多個不同甚至迥異的軟件系統(tǒng)，運行在各自獨立的虛擬硬件平臺上。

另一個，終端系統(tǒng)當做單個系統(tǒng)的話，那么數(shù)據(jù)中心服務器則是多個系統(tǒng)混合運行。這樣，我們可以把支持虛擬化多系統(tǒng)多租戶運行的服務器運行的系統(tǒng)定義為宏系統(tǒng)。

單個服務器是多系統(tǒng)多租戶運行的宏系統(tǒng)，那么整個數(shù)據(jù)中心或多個數(shù)據(jù)中心連成一體的數(shù)以十萬、甚至百萬級服務器組成的超大型集群；其上運行的系統(tǒng)，就完全變成了，不同租戶的多種集群系統(tǒng)混合交叉在一起，并行不悖運行的超大型多宏系統(tǒng)。

1.3 物理硬件的一致性和虛擬“硬件”的多樣性

很多做硬件的同學，不由自主的，會很喜歡搞硬件“創(chuàng)新”。比如：

通過PCIe Switch，連接不同數(shù)量不同規(guī)格的CPU、GPU以及存儲盤、網(wǎng)卡等I/O設備，組成形態(tài)各異的多種類型的硬件服務器；

通過智能網(wǎng)卡、DPU等強大的能力，實現(xiàn)不同規(guī)格、不同性能的多計算節(jié)點的自由組合；

還有，通過TOR的功能增強，把許多DPU的工作放到TOR交換機，實現(xiàn)Smart TOR或者TOR-DPU的方式，來實現(xiàn)系統(tǒng)能力的增強；

其他各種硬件創(chuàng)新項目。

但我個人一直的觀點是：硬件需要盡可能的簡單，通過軟件去實現(xiàn)各種復雜多樣性。比如，數(shù)據(jù)中心不宜有不同層次不同規(guī)格的服務器和網(wǎng)絡設備，而是極致簡單清晰的就計算節(jié)點和網(wǎng)絡核心設備兩種物理設備類型：

計算節(jié)點，即服務器，核心功能是計算和各類數(shù)據(jù)的處理，其網(wǎng)絡功能，盡可能只體現(xiàn)在輸入輸出時的高性能網(wǎng)絡。

交換機，作為高效的網(wǎng)絡核心設備，專注網(wǎng)絡的相關(guān)處理，盡可能少地參與到用戶的計算，保持對用戶計算的透明。

在AWS的官網(wǎng)中介紹Nitro系統(tǒng)優(yōu)勢的時候，首先提到的就是“更快的創(chuàng)新”： Nitro System 將各種各樣的構(gòu)建基塊集合，且可按照不同方式進行組合，從而讓我們能夠通過不斷擴展的計算、存儲、內(nèi)存和網(wǎng)絡選項，靈活設計并快速交付 EC2 云服務器實例類型。 這項創(chuàng)新還促成了裸機實例，客戶可以在這些實例中使用自己的管理程序或不需要使用任何管理程序。 這句話的意思，我再給大家進一步解釋一下：AWS首先通過Nitro系統(tǒng)可以完全抵消虛擬化的各種軟件開銷，完全實現(xiàn)了虛擬化的硬件加速。然后可以非常方便的把一臺服務器的CPU資源、加速器資源、內(nèi)存資源、I/O資源以及其他各種資源完全的虛擬化，然后就可以隨意的重新組合，然后可以快速而高效的給用戶提供形態(tài)各異的虛擬機實例，實例類型如計算優(yōu)化型、內(nèi)存優(yōu)化型、存儲優(yōu)化型、網(wǎng)絡優(yōu)化型、GPU/FPGA/DSA加速優(yōu)化型等。 總結(jié)一下，站在云計算公司的視角，CSP希望的是盡可能簡單的并且自己可以掌控一切的數(shù)據(jù)中心網(wǎng)絡架構(gòu)，希望的是盡可能簡單的、一致的服務器硬件規(guī)格（這樣，運維才最簡單并且系統(tǒng)的穩(wěn)定性才最高），然后通過（軟件的）虛擬化機制，實現(xiàn)多種多樣的（軟件）虛擬硬件平臺，來支撐VM和容器的運行。

02數(shù)據(jù)中心處理器：

從合到分，再從分到合

2.1 再來學習一下馮諾依曼架構(gòu)

馮諾依曼架構(gòu)是經(jīng)典的計算架構(gòu)，從此架構(gòu)我們可以得到計算的三個主要的部件：計算單元、存儲單元，以及輸入輸出單元。

2.2 第一階段：CPU單一計算平臺

如上圖所示，綠色代表計算單元+存儲單元，這里的計算單元是CPU。為了簡化系統(tǒng)分析，我們把存儲單元略去，默認是跟隨計算單元。

2.3 第二階段：從合到分，CPU+其他計算芯片的異構(gòu)計算平臺

基于CPU的摩爾定律失效，CPU的性能提升很慢，每年只有不到3%，要想性能翻倍，需要20年以上。然而，對性能的需求，依然在不斷上升，因此，CPU+xPU的異構(gòu)計算逐漸走向舞臺的中央。

所有的xPU，包括GPU、AI-DSA等加速器無法單獨存在，需要有Host CPU，形成CPU+xPU的異構(gòu)計算的方式來實現(xiàn)完整的計算。 單個CPU+xPU異構(gòu)計算本身存在的問題：

可加速部分占整個系統(tǒng)的比例有限，例如加速占比為80%，則加速最高不超過5倍；

數(shù)據(jù)在CPU和加速器之間來回搬運的影響，加速比率打了折扣，有些場景綜合加速效果不明顯；

異構(gòu)加速顯式的引入新的實體，計算變成兩個或多個實體顯式的協(xié)作完成，增加了整個系統(tǒng)的復雜度；

雖然GPU相比CPU性能提升不少，但是相比DSA/ASIC的性能，還是有顯著的差距；而DSA/ASIC的問題則在于，無法適應復雜場景對業(yè)務靈活性的要求，導致大規(guī)模應用成為巨大的門檻；

CPU+xPU架構(gòu)，是以CPU為中心，整個IO路徑很長，IO成為性能的瓶頸。

如果把基于CPU+xPU的多個異構(gòu)計算整合起來，那會存在新的問題：

本質(zhì)上，每一個CPU+xPU是一個個的孤島，不同xPU之間的通信會非常的麻煩，都需要CPU的參與，非常低效率低性能；

在服務器的物理空間里，通常只能加載一種類型的加速卡。不存在這么多的空間，可以加載如此多類型和數(shù)量的加速卡。站在服務器功耗約束的角度，這么多加速卡也不允許。

以CPU為中心的架構(gòu)，所有的xPU交互需要CPU的參與（P2P方式可以減輕一些CPU的壓力，但至少跨越2條總線交互依然是低效的，本質(zhì)問題沒有解決）。CPU是整個系統(tǒng)的重中之重，隨著CPU的性能提升緩慢，CPU成為整個系統(tǒng)的瓶頸，拖累了整個系統(tǒng)整體性能的顯著提升。

2.4 第三階段：從分到合的起點：DPU+其他計算芯片的異構(gòu)計算平臺

我們再來看看以DPU為中心的架構(gòu)。 需要澄清一下：以CPU計算為中心的架構(gòu)，本質(zhì)上是以控制為中心；以DPU為中心的架構(gòu)，也不天然就等同于以數(shù)據(jù)為中心；如果DPU的架構(gòu)實現(xiàn)依然是傳統(tǒng)SOC，那么DPU本質(zhì)上仍然是以控制為中心。要想真正實現(xiàn)以數(shù)據(jù)為中心，整個系統(tǒng)架構(gòu)需要做大范圍調(diào)整。 我們來看看在以DPU為中心的多個異構(gòu)計算的混合狀態(tài)下，具體解決了哪些問題？

有一種說法，DPU是一個Switch，它不做具體的功能，只是連接了眾多的PU。那這樣的話，DPU實際上什么事情也沒干，這樣的DPU沒有意義。

大家對DPU形成共識的看法，DPU需要支持虛擬化、網(wǎng)絡、存儲和安全的加速處理。這樣的話，DPU本身完成了大量I/O數(shù)據(jù)的計算任務，減輕了CPU的負擔并且顯著的提升了整個系統(tǒng)的性能。

系統(tǒng)“分分合合”，DPU的出現(xiàn)，代表了計算在從分離逐漸走向合并，即把多個CPU+xPU的異構(gòu)加速逐漸整合成單個處理芯片，實現(xiàn)異構(gòu)計算的逐步整合。預示著服務器大芯片系統(tǒng)的發(fā)展，逐步從單CPU到CPU+xPU異構(gòu)計算的逐漸分解的階段，走向了把多個CPU+xPU持續(xù)整合到一起的逐漸合并的新階段。 DPU沒有解決哪些問題？

計算任務，不僅僅包括I/O類任務處理，還可以是其他系統(tǒng)層，甚至可以是應用層的計算任務。如果把DPU當做綜合性的計算加速平臺，DPU可以繼續(xù)集成更多的加速功能。

DPU代替CPU，成為中心節(jié)點，“屠龍少年變成了惡龍”，CPU、GPU、其他xPU之間的通信依然很麻煩，依然是一個個孤島。

如果不更新整個系統(tǒng)的底層架構(gòu)，以DPU為中心的架構(gòu)，本質(zhì)上仍然是以控制為中心的計算，而不是以數(shù)據(jù)為中心的計算，依然無法達到整個數(shù)據(jù)吞吐量和計算量的數(shù)量級提升。

依然存在物理空間約束的問題，服務器空間有限，特別是2U或1U的服務器，也需要足夠強勁的算力。而且隨著綠色數(shù)據(jù)中心的流行，對單臺服務器的功耗約束勢必越來越大。這個時候，各自獨立的CPU、GPU以及各類獨立加速器的問題就是亟待解決的。

從以CPU為中心架構(gòu)，改成以DPU為中心的架構(gòu)。會使得DPU成為重中之重，成為系統(tǒng)的關(guān)鍵“瓶頸”，成為系統(tǒng)的不可承受之重。

2.5 第四階段：從分到合：更高效的融合計算平臺

在新的階段里，沒有所謂的核心節(jié)點，把CPU、GPU、DPU（DPU可以看做Multi-XPU的集合），集成到單芯片。這個眾多功能融合的芯片，就是我們一直提到的超異構(gòu)計算芯片（HPU，Hyper-heterogeneous Processing Unit）。 超異構(gòu)計算芯片HPU可以認為是CPU+GPU+DPU的融合型芯片，但不能簡單的看做三者的集成。HPU需要解耦CPU、GPU和DPU的功能，重構(gòu)整個系統(tǒng)，并且形成以數(shù)據(jù)為中心、數(shù)據(jù)流驅(qū)動計算的新型架構(gòu)。 需要強調(diào)的是，超異構(gòu)融合芯片不能跟超融合的概念混為一談，超異構(gòu)芯片不等于云計算里經(jīng)常講的超融合：

超融合是為了把云計算IaaS服務的大集群再整合到小規(guī)模集群，這樣方便在私有云和企業(yè)云部署。

而超異構(gòu)融合芯片則強調(diào)系統(tǒng)棧的整體優(yōu)化，是把服務器上運行的系統(tǒng)整體優(yōu)化到多種引擎混合的高效高性能的單芯片里。超異構(gòu)融合芯片既可以支持超融合，也可以支持不融合（即極致解構(gòu)并超多用戶超多系統(tǒng)共存）。

我們可以簡單的把系統(tǒng)分為兩個平面：

控制和管理平面：仍然是運行在CPU的軟件；

計算和數(shù)據(jù)平面：此刻，CPU、GPU、其他各類xPU，甚至包括I/O都可以看做是平等的各類計算引擎，他們完成各自擅長的工作，并且充分交互，形成一個更加高效更加高性能的的一個整體的系統(tǒng)。

03大芯片融合的背景條件

3.1 條件1：90%以上的服務器系統(tǒng)相對輕量，單芯片可以容納

重量級場景，需要獨立的CPU、GPU和DPU三芯片，而輕量級場景則可以有獨立的單芯片融合方案，實現(xiàn)比傳統(tǒng)CPU芯片同等面積下，性能數(shù)量級提升的可能，可以覆蓋輕量級系統(tǒng)所需的算力和復雜度。 而輕量級場景所占的所有服務器的規(guī)模也能夠達到90%左右：

邊緣服務器。數(shù)據(jù)中心包括云數(shù)據(jù)中心和邊緣數(shù)據(jù)中心，據(jù)有關(guān)數(shù)據(jù)分析，未來，邊緣計算會占到整個數(shù)據(jù)中心規(guī)模的80%。

企業(yè)級服務器。企業(yè)云場景，需要支持虛擬化，但一般來說不需要支持多租戶。服務器對算力的需求沒有云那么高。也屬于輕量級場景。

云數(shù)據(jù)中心服務器大體分為兩類，一類是重量級的業(yè)務服務器，一類是輕量級的存儲、其他各類資源池化服務器。這些資源池化服務的輕量級場景，都可以由超異構(gòu)單芯片覆蓋。

此外，獨立的超異構(gòu)融合芯片，也可以作為DPU的角色，和CPU、GPU配合來使用。

3.2 條件2：Chiplet技術(shù)成熟，使得單芯片可以覆蓋重量級場景

Chiplet技術(shù)提供了使系統(tǒng)規(guī)模立竿見影快速提升的可能，這樣，我們可以提供一個更大規(guī)模的超異構(gòu)融合芯片，來覆蓋各類重量級計算場景，用在典型的云計算業(yè)務計算服務器和異構(gòu)計算服務器場景。 從而，使得超異構(gòu)計算單芯片（單DIE芯片和多DIE組成的Chiplet芯片），可覆蓋云網(wǎng)邊端融合的所有復雜計算場景（復雜計算的顯著標志為：虛擬化和服務化）。

04融合，大芯片的發(fā)展趨勢

4.1 案例：NVIDIA Bluefield DPU集成GPU

NVIDIA DPU roadmap NVIDIA DPU的Roadmap，NVIDIA計劃從Bluefield第四代開始，把DPU和GPU兩者集成一個單芯片。 NVIDIA DPU和GPU集成了，也已經(jīng)有了獨立的Grace CPU。那么，在Chiplet技術(shù)已經(jīng)成熟的情況下，再把CPU集成進來，構(gòu)成CPU+GPU+DPU的超異構(gòu)芯片，還會遠嗎？（不遠，因為在自動駕駛端已經(jīng)有了。）

4.2 案例2：NVIDIA自動駕駛Atlan超異構(gòu)融合芯片

圖 NVIDIA計劃2024年推出的自動駕駛芯片Atlan NVIDIA在自動駕駛領(lǐng)域的芯片發(fā)展，也基本上是2年一代產(chǎn)品。2024年要發(fā)布的Atlan芯片，則完全變成了集成ARM Neoverse系列的Grace CPU（NVIDIA數(shù)據(jù)中心CPU）、有可能是Hopper架構(gòu)的GPU（NVIDIA數(shù)據(jù)中心GPU）以及Bluefield DPU（NVIDIA數(shù)據(jù)中心DPU），可以單芯片達到1000 TOPS。 這樣，我們可以看到，在自動駕駛領(lǐng)域，已經(jīng)實現(xiàn)了多種處理引擎混合的完全的超異構(gòu)融合芯片，Atlan使用的是數(shù)據(jù)中心相同的處理引擎架構(gòu)，可以無縫實現(xiàn)云邊端協(xié)同甚至融合。 從量變到質(zhì)變，Atlan隨著集成單元的增多，隨著性能需求的上升，隨著系統(tǒng)復雜度的上升而對芯片的通用靈活可編程能力要求上升，都需要全新的架構(gòu)，全新的整合重構(gòu)。

審核編輯 ：李倩