• 亞馬遜云科技將提供首款搭載 NVIDIA Grace Hopper 超級芯片和亞馬遜云科技可擴(kuò)展性 UltraCluster 的云 AI 超級計算機(jī)。

• 首款采用 NVIDIA GH200 NVL32 的 NVIDIA DGX 云即將登陸亞馬遜云科技。

• 兩家公司聯(lián)合開展“Project Ceiba”合作項(xiàng)目，即全球最快的 GPU 驅(qū)動 AI 超級計算機(jī)和最新 NVIDIA DGX 云超級計算機(jī)，用于 NVIDIA AI 研發(fā)和自定義模型開發(fā)。

• 搭載 NVIDIA GH200、H200、L40S 和 L4 GPU的全新亞馬遜 EC2 實(shí)例為生成式 AI、高性能計算（HPC）、設(shè)計和仿真工作負(fù)載提供助力

• 亞馬遜云科技提供的 NVIDIA 軟件——NeMo LLM 框架、NeMo Retriever 和 BioNeMo 可推動用于自定義模型、語義檢索和藥物研發(fā)的生成式 AI 開發(fā)工作。

亞馬遜公司旗下的亞馬遜云科技（AWS）和 NVIDIA 宣布擴(kuò)大戰(zhàn)略合作，共同提供最先進(jìn)的基礎(chǔ)架構(gòu)、軟件和服務(wù)，推進(jìn)客戶的生成式人工智能（AI）創(chuàng)新。

NVIDIA 與亞馬遜云科技將集兩家公司技術(shù)之大成，無論是采用 NVIDIA 最新多節(jié)點(diǎn)系統(tǒng)的新一代 GPU、CPU 和 AI 軟件，還是 AWS Nitro System 高級虛擬化與安全功能、Elastic Fabric Adapter（EFA）互連接口和可擴(kuò)展性 UltraCluster，均為訓(xùn)練基礎(chǔ)模型和構(gòu)建生成式 AI 應(yīng)用的理想選擇。

這一擴(kuò)展合作建立在雙方長期合作關(guān)系的基礎(chǔ)上。兩家公司通過為早期的機(jī)器學(xué)習(xí)（ML）先行者提供推進(jìn)這些技術(shù)發(fā)展所需的計算性能，進(jìn)而推動了生成式 AI 時代的發(fā)展。

擴(kuò)展的合作內(nèi)容之一是為所有行業(yè)的生成式 AI 提供強(qiáng)大助力：

• 亞馬遜云科技將成為首家把采用全新多節(jié)點(diǎn)NVLink技術(shù)的 NVIDIA GH200 Grace Hopper 超級芯片帶到云端的云服務(wù)提供商。NVIDIA GH200 NVL32 多節(jié)點(diǎn)平臺將 32 顆采用 NVIDIA NVLink 和NVSwitch技術(shù)的 Grace Hopper 超級芯片連接到一個實(shí)例中。該平臺將在與亞馬遜的強(qiáng)大網(wǎng)絡(luò)（EFA）相連的亞馬遜彈性計算云（Amazon EC2）實(shí)例上提供，并且得到先進(jìn)的虛擬化功能（AWS Nitro System）和超大規(guī)模集群（Amazon EC2 UltraClusters）的支持，支持雙方客戶擴(kuò)展到數(shù)千顆 GH200 超級芯片。

• NVIDIA 和亞馬遜云科技將共同提供由亞馬遜云科技托管的 NVIDIA AI 訓(xùn)練即服務(wù)——NVIDIA DGX 云。這將是首個采用 GH200 NVL32 的 DGX 云，可以為開發(fā)者提供最大的單實(shí)例共享內(nèi)存。亞馬遜云科技托管的 DGX 云將加快前沿生成式 AI 和大語言模型的訓(xùn)練速度，這些模型的參數(shù)可能超過 1 萬億個。

• NVIDIA 和亞馬遜云科技正在合作“Project Ceiba”項(xiàng)目，設(shè)計世界上最快的由 GPU 驅(qū)動的 AI 超級計算機(jī)——一套搭載 GH200 NVL32 和亞馬遜 EFA 互連接口的大規(guī)模系統(tǒng)，由亞馬遜云科技托管，供 NVIDIA 內(nèi)部研發(fā)團(tuán)隊(duì)使用。這臺獨(dú)一無二的超級計算機(jī)具有 16,384 顆 NVIDIA GH200 超級芯片和 65 EFLOPS 的 AI 處理性能。NVIDIA 將使用其推動下一輪生成式 AI 創(chuàng)新浪潮。

• 亞馬遜云科技還將推出三個全新的亞馬遜 EC2 實(shí)例：搭載 NVIDIA H200 Tensor Core GPU 的 P5e 實(shí)例，適用于大規(guī)模和前沿生成式 AI 與 HPC 工作負(fù)載；以及分別搭載 NVIDIA L4 GPU 和 NVIDIA L40S GPU 的 G6 和 G6e 實(shí)例，適用于 AI 微調(diào)、推理、圖形和視頻工作負(fù)載等廣泛應(yīng)用。其中，G6e 實(shí)例尤其適用于開發(fā) 3D 工作流程、數(shù)字孿生以及使用NVIDIA Omniverse（一個用于連接和構(gòu)建生成式 AI 賦能的 3D 應(yīng)用的平臺）的其他應(yīng)用。

亞馬遜云科技首席執(zhí)行官 Adam Selipsky 表示：“自全球首個 GPU 云實(shí)例開始，亞馬遜云科技與 NVIDIA 的合作已經(jīng)超過 13 年。當(dāng)下，我們?yōu)閳D形、游戲、高性能計算、機(jī)器學(xué)習(xí)，以及如今的生成式 AI 等工作負(fù)載提供最廣泛的 NVIDIA GPU 解決方案。我們將繼續(xù)與 NVIDIA 一起創(chuàng)新，將下一代 NVIDIA Grace Hopper 超級芯片與亞馬遜云科技的 EFA 強(qiáng)大網(wǎng)絡(luò)、EC2 UltraClusters 超大規(guī)模集群以及 Nitro 高級虛擬化功能相結(jié)合，使亞馬遜云科技成為運(yùn)行 GPU 的最佳平臺。”

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“生成式 AI 正在深入改變云工作負(fù)載，并將加速計算作為多樣化內(nèi)容生成的基礎(chǔ)。NVIDIA 和亞馬遜云科技的共同使命是為每一位客戶提供經(jīng)濟(jì)高效的前沿生成式 AI 技術(shù)。在這一使命的驅(qū)動下，NVIDIA 和亞馬遜云科技正在開展覆蓋整個計算堆棧的合作，包括 AI 基礎(chǔ)架構(gòu)、加速庫、基礎(chǔ)模型以及生成式 AI 服務(wù)。”

集 NVIDIA 和亞馬遜云科技

最新技術(shù)于一身的亞馬遜 EC2 實(shí)例

亞馬遜云科技將成為首家提供采用多節(jié)點(diǎn) NVLink 技術(shù)的 NVIDIA GH200 Grace Hopper 超級芯片的云服務(wù)提供商。每個 GH200 超級芯片都將基于 Arm 的 Grace CPU 與 NVIDIA Hopper 架構(gòu) GPU 整合在一個模塊上。僅一個采用 GH200 NVL32 的亞馬遜 EC2 實(shí)例就可提供高達(dá) 20 TB 的共享內(nèi)存，驅(qū)動 TB 級工作負(fù)載。

這些實(shí)例將充分利用亞馬遜云科技的第三代 Elastic Fabric Adapter（EFA）互連接口，為每個超級芯片提供高達(dá) 400 Gbps 的低延遲、高帶寬網(wǎng)絡(luò)吞吐量，支持客戶能夠在 EC2 UltraClusters 中擴(kuò)展到數(shù)千顆 GH200 超級芯片。

采用 GH200 NVL32 的亞馬遜云科技實(shí)例將支持客戶按需訪問超級計算機(jī)級的性能，這對于大規(guī)模 AI/ML 工作負(fù)載至關(guān)重要。這些工作負(fù)載需要分布在多個節(jié)點(diǎn)上，以處理復(fù)雜的生成式 AI 工作負(fù)載，包括 FM、推薦系統(tǒng)和向量數(shù)據(jù)庫等。

搭載 NVIDIA GH200 的 EC2 實(shí)例將配備 4.5 TB 的 HBM3e 內(nèi)存，與前一代搭載 H100 的 EC2 P5d 實(shí)例相比增加了 7.2 倍，這使客戶能夠運(yùn)行更大規(guī)模的模型，并提升訓(xùn)練性能。此外，CPU-GPU 內(nèi)存互連提供比 PCIe 高 7 倍的帶寬，實(shí)現(xiàn)了芯片到芯片的通信，進(jìn)而擴(kuò)展了應(yīng)用可用的內(nèi)存總量。

采用 GH200 NVL32 的亞馬遜云科技實(shí)例將成為其首個采用液冷技術(shù)的 AI 基礎(chǔ)架構(gòu)，這有助于確保密集服務(wù)器機(jī)架能夠以最高性能高效運(yùn)行。

采用 GH200 NVL32 的 EC2 實(shí)例還將受益于下一代 EC2 實(shí)例的底層平臺——AWS Nitro System。Nitro System 通過將主機(jī) CPU/GPU 的 I/O 功能卸載到專用硬件上，從而提供更加穩(wěn)定的性能，同時其安全增強(qiáng)措施可在處理過程中保護(hù)客戶代碼和數(shù)據(jù)的安全。

亞馬遜云科技率先托管搭載

Grace Hopper 的 NVIDIA DGX 云

亞馬遜云科技將與 NVIDIA 共同托管采用 GH200 NVL32 NVLink 基礎(chǔ)架構(gòu)的 NVIDIA DGX 云。NVIDIA DGX 云是一項(xiàng) AI 超級計算服務(wù)，可幫助企業(yè)快速訪問多節(jié)點(diǎn)超級計算，用以訓(xùn)練最復(fù)雜的 LLM 和生成式 AI 模型。同時，還集成了NVIDIA AI Enterprise軟件并可直接連線 NVIDIA AI 專家。

大規(guī)模 Project Ceiba

超級計算機(jī)將為 NVIDIA 的

AI 開發(fā)工作提供強(qiáng)大助力

亞馬遜云科技和 NVIDIA 正在合作的 Project Ceiba 超級計算機(jī)將與亞馬遜 Virtual Private Cloud（VPC）加密網(wǎng)絡(luò)和亞馬遜 Elastic Block Store 高性能塊存儲等服務(wù)集成，使 NVIDIA 能夠訪問亞馬遜云科技的全套功能。

NVIDIA 將把這臺超級計算機(jī)應(yīng)用于研發(fā)，以此推進(jìn) AI 在 LLM、圖形和仿真、數(shù)字生物學(xué)、機(jī)器人、自動駕駛汽車、Earth-2 氣候預(yù)測等領(lǐng)域的發(fā)展。

NVIDIA 和亞馬遜云科技

大力推進(jìn)生成式 AI、

HPC、設(shè)計和仿真的發(fā)展

為推動最大規(guī)模 LLM 的開發(fā)、訓(xùn)練和推理，亞馬遜云科技 P5e 實(shí)例將采用 NVIDIA 最新的 H200 GPU。該 GPU 具有 141 GB 的 HBM3e GPU 內(nèi)存，較 H100 GPU 內(nèi)存擴(kuò)大了 1.8 倍，提速 1.4 倍，加上 AWS Nitro System 支持的高達(dá) 3200 Gbps 的 EFA 網(wǎng)絡(luò)，將支持客戶繼續(xù)在亞馬遜云科技平臺上構(gòu)建、訓(xùn)練和部署其前沿模型。

為了提供節(jié)能且高性價比的視頻、AI 和圖形工作負(fù)載解決方案，亞馬遜云科技發(fā)布了搭載 NVIDIA L40S GPU的全新亞馬遜 EC2 G6e 實(shí)例和搭載 L4 GPU 的 G6 實(shí)例。這些新服務(wù)有助于滿足初創(chuàng)公司、企業(yè)和研究人員的 AI 和高保真圖形需求。

G6e 實(shí)例專為處理生成式 AI 和數(shù)字孿生應(yīng)用等復(fù)雜工作負(fù)載而構(gòu)建。借助 NVIDIA Omniverse，可以開發(fā)出逼真的 3D 仿真并利用來自 AWS IoT TwinMaker、智能聊天機(jī)器人、AI 助手、搜索和摘要等服務(wù)所提供的實(shí)時數(shù)據(jù)對其進(jìn)行情景化和增強(qiáng)。Amazon Robotics 和 Amazon Fulfillment Centers 將能夠整合使用 NVIDIA Omniverse 與 AWS IoT TwinMaker 構(gòu)建的數(shù)字孿生系統(tǒng)，從而優(yōu)化倉庫設(shè)計和流程，訓(xùn)練更加智能的機(jī)器人助手，并提高交付質(zhì)量。

L40S GPU 可提供高達(dá) 1.45 PFLOPS 的 FP8 性能，其光線追蹤內(nèi)核可提供高達(dá) 209 TFLOPS 的光追性能。G6 實(shí)例中的 L4 GPU 將為部署自然語言處理、語言翻譯、AI 視頻和圖像分析、語音識別以及個性化領(lǐng)域的 AI 模型提供成本更低、能效更高的解決方案。L40S GPU 還能加速圖形工作負(fù)載，如創(chuàng)建和渲染實(shí)時電影級圖形與游戲流等。這三個實(shí)例都將在明年推出。

亞馬遜云科技托管的

NVIDIA 軟件助力生成式 AI 開發(fā)

此外，NVIDIA 還發(fā)布了亞馬遜云科技托管、用于推動生成式 AI 開發(fā)工作的軟件。NVIDIA NeMo Retriever微服務(wù)提供的新工具可利用加速語義檢索，創(chuàng)建高度準(zhǔn)確的聊天機(jī)器人和摘要工具。NVIDIA BioNeMo已在 Amazon SageMaker 上提供使用，并將登陸亞馬遜云科技托管的 NVIDIA DGX 云。該平臺能幫助制藥公司利用自己的數(shù)據(jù)簡化并加速模型訓(xùn)練，進(jìn)而加快藥物研發(fā)。

亞馬遜云科技托管的 NVIDIA 軟件正在助力亞馬遜為其服務(wù)和運(yùn)營注入創(chuàng)新活力。亞馬遜云科技使用 NVIDIA NeMo 框架訓(xùn)練選定的新一代亞馬遜 Titan LLM。Amazon Robotics 已開始使用 NVIDIA Omniverse Isaac 構(gòu)建數(shù)字孿生，以便先在虛擬環(huán)境中自動化、優(yōu)化和規(guī)劃其自主倉庫，然后再將其倉庫部署到現(xiàn)實(shí)世界中。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。點(diǎn)擊“閱讀原文”或掃描下方海報二維碼，立即注冊 GTC 大會。