Meta：正在多款自研芯片上使用RISC-V

在DAC 2023上，Meta 的 ASIC 工程經(jīng)理 Himanshu Sanghavi 談到了 Meta 正在使用 RISC-V 開展的各種項目。他表示，定制指令是“我們決定采用 RISC-V 架構(gòu)的關(guān)鍵因素”，因為 Meta 從 IP 提供商處定制 RISC-V 內(nèi)核，“以加速計算、降低能耗并創(chuàng)建更靈活的 ASIC”。

Sanghavi 進行了更詳細的介紹：“我在 Meta 的團隊正在開發(fā)基于 RISC-V 的 ASIC，用于視頻轉(zhuǎn)碼以及機器學(xué)習應(yīng)用。這些 ASIC 正在我們的數(shù)據(jù)中心運行一些計算最密集的工作負載。這些是大型、高性能的設(shè)備，由多個不同的處理器、硬件加速器、內(nèi)存系統(tǒng)、接口 IP 組成，全部位于一個芯片上。大約四年前，當我們開始這項工作時，我們評估了多種不同的處理器架構(gòu)，并決定對這些 SoC 的一些關(guān)鍵插槽采用 RISC-V。這一選擇的驅(qū)動因素是 RISC-V 是一種開放架構(gòu)，并且有多個處理器 IP 提供商實現(xiàn)了該架構(gòu)?？爝M到今天，Meta現(xiàn)在有幾個可用的 ASIC，它們使用 RISC-V 處理器進行控制處理和數(shù)據(jù)處理。特別是后者確實使用自定義指令。為一些對我們的工作負載很重要的專門計算定義的自定義指令，以及在同一芯片上的處理器內(nèi)核和硬件加速器之間構(gòu)建自定義接口?！?/p>

Meta自研芯片計劃詳情

Meta 最近發(fā)布了一系列與其內(nèi)部 AI 基礎(chǔ)設(shè)施和芯片相關(guān)的公告。其中一些主題包括遷移到具有更多液體冷卻、更高功率和設(shè)施級別變化的數(shù)據(jù)中心。在硅方面，有趣的是，Meta 正在采取與谷歌完全相同的策略。

Meta 只是在談?wù)撍麄円呀?jīng)擁有的舊芯片，就像新的東西已經(jīng)準備就緒一樣。例如,他們在去年使用 16,000 個 Nvidia A100 構(gòu)建的研究集群上發(fā)布了整個博客，只是在他們已經(jīng)開始使用 H100 構(gòu)建更大的集群之后。正如我們過去報道的一樣，H100 集群的基礎(chǔ)設(shè)施設(shè)置非常奇怪。

本問將涵蓋 Meta 自 2021 年以來擁有的舊芯片以及 Meta 目前正在開發(fā)的新芯片。我們將討論架構(gòu)、路線圖、各種設(shè)計合作伙伴和未來的抱負。

Meta可擴展視頻處理器 (MSVP)

Meta 展示了他們自 2021 年以來一直在部署的視頻編碼 ASIC。視頻編碼 ASIC 對公司來說是非常重要的基礎(chǔ)設(shè)施。例如，這是亞馬遜不得不通過 Twitch 提供比谷歌的 YouTube 差得多的直播服務(wù)的主要原因。

谷歌是第一個設(shè)計視頻編碼芯片的公司，代號為 Argos，我們在多年前就介紹過了Google的布局。大規(guī)模部署的谷歌 Argos VPU 完成了超過 1000 萬個英特爾 CPU 的 VP9 編碼工作.，這為谷歌節(jié)省了數(shù)十億美元的成本。我們 We have 還介紹了 NetInt 的 VCU，這是一家擁有類似視頻編碼 ASIC 的初創(chuàng)公司，他們設(shè)計的產(chǎn)品正在出售給字節(jié)跳動、百度、騰訊和阿里巴巴等公司。

Meta 有大量視頻上傳到 Instagram 和 Facebook，因此該產(chǎn)品對于降低成本至關(guān)重要。此外，第二M代ndMeta 的可擴展視頻處理器使他們能夠如此普遍地在卷軸中部署 AV1。注意 Meta今天只公開了第一代。

Meta 聲稱該芯片是內(nèi)部開發(fā)的，但事實并非如此。宣布的 MSVP 和即將推出的下一代版本都是與 Broadcom 共同設(shè)計的。Google 的前兩代視頻編碼 ASIC 也是與 Broadcom 共同設(shè)計的。

每個 MSVP ASIC 芯片都擁有 4K 的最大轉(zhuǎn)碼能力，在最高質(zhì)量設(shè)置下以 15fps 的速度運行，配置為一個輸入流到五個輸出流。它能夠在標準質(zhì)量配置下以 60fps 的速度擴展到 4K。Meta 聲稱性能隨著分辨率的增加而統(tǒng)一。所有這些都是通過 PCIe 模塊大約 10W 的功率使用來實現(xiàn)的。H.264 性能提升 9 倍，VP9 性能提升 50 倍。

該芯片采用 M.2 22110 格式，支持 4 條 PCIe Gen 4 通道，即 8GB/s。展示的主板中還有 2 個 4GB 的 Micron LPDDR5，總共 8GB，內(nèi)存帶寬為 88GB/s。封裝約為 24mm x 19mm，芯片尺寸約為 112mm^2。

Meta訓(xùn)練和推理加速器 (MTIA)

人工智能是Meta 數(shù)據(jù)中心中最重要、成本最高的工作負載。Meta 至少從 2019 年就開始開發(fā)他們的 AI 芯片。第一代剛剛發(fā)布，雖然處理器類別被命名為 Meta Training 和 Inference Accelerator，但需要明確的是，第一代僅可用于推理。

Meta 的主要工作負載是當今的推理DLRM inference，因此，他們嘗試構(gòu)建他們的芯片，尤其是針對該工作負載。提醒一下，DLRM 模型仍然是最大的大規(guī)模 AI 工作負載。這些 DLRM 是百度、Meta、字節(jié)跳動、Netflix 和谷歌等公司的支柱。它是廣告、搜索排名、社交媒體訂閱等方面年收入超過一萬億美元的引擎。

雖然生成式人工智能很快就會在硬件需求方面超過它，但這種轉(zhuǎn)變還沒有完全發(fā)生。

DLRM 模型正在持續(xù)增長，這導(dǎo)致 Meta 的基礎(chǔ)架構(gòu)發(fā)生重大變化。有一段時間，他們大量使用英特爾的 NNP-I 推理加速器，但很快就讓位給了 GPU。在某些方面，第一代 MTIA 可以被認為是第二代 NNP-I，因為系統(tǒng)架構(gòu)（不是 uarch）非常相似。

Meta 多年前就推出了他們的半定制 AI 加速器項目，他們的目標非常明確。更好的 DLRM 模型和易用性的推理成本更低。他們的第一代可以被認為是一種軟件工具，用于開發(fā)利用 PyTorch 2.0 的急切模式和全圖模式與 LLVM 編譯器的能力。他們正在致力于實施 Dynamo、Inductor 和 Triton。

我們的數(shù)據(jù)顯示，Meta 是今年 Nvidia H100 GPU 的最大個人買家。這不是巧合。Meta 需要 GPU 來進行訓(xùn)練和推理，而在大多數(shù)情況下，H100 是滿足這種需求的最具成本效益的方式。

Meta 分享了他們各種生產(chǎn)推薦模型的概況。這些模型具有不同的大小和復(fù)雜性。Meta 還分享了各種硬件在這些工作負載中的性能。

雖然 Meta 沒有分享他們比較的 GPU，但我們四處詢問，似乎是舊的 Ampere GPU，而不是新的 Hopper 和 Lovelace GPU。雖然這看起來不公平，但請記住 Meta 的第一代stMTIA 也是一款較舊的芯片。一旦您疊加了新的 Nvidia 芯片的額外性能，第一代 MTIA 在每瓦性能方面失去了大部分工作負載。

話雖如此，第一代 MTIA 只是一個開始。

Meta 在 2021 年獲得了視頻中的芯片。MTIA 在臺積電的 7nm 晶圓廠制造，并由 Amkor 封裝。芯片標記表明這發(fā)生在 2021 年 8 月 23 日至8 月 29日。

該芯片具有 102.4 TOPS 的 INT8 和 51.2 TFLOPS 的 FP16 以及 25W TDP。共有 128 MB SRAM，運行速度為 800GB/s。該 SRAM 位于內(nèi)存控制器旁邊，可以充當直接尋址為可尋址內(nèi)存的內(nèi)存端緩存。在以 176GB/s 運行的 256 位總線上還有高達 128GB 的 LPDDR5-5500。值得注意的是，Meta 使用了能夠達到 6400 MT 的 LPDDR5，但以降頻運行。還有 8 個 PCIe 4.0 通道。

內(nèi)存和 IO 位于處理元件周圍。這些處理元素是一個 8 x 8 的網(wǎng)格，其中包含一個命令處理器、本地內(nèi)存和兩個不同的 RISC-V CPU。一個內(nèi)核只有標量能力，而另一個內(nèi)核既可以標量也可以矢量。這些內(nèi)核是從第三方 IP 機構(gòu)獲得許可的。該第三方不協(xié)助后端。