AI 計算資源的需求正不斷增長。從概念驗證到企業(yè)部署需要針對生成性 AI 工作負載進行優(yōu)化的強大計算基礎設施。同時，AI 開發(fā)項目需要更多的計算資源來支持不斷增長的 AI 工程師和研究人員創(chuàng)建模型和應用程序。數(shù)據(jù)中心和云服務提供商 (CSP) 對 AI 加速硬件的需求超過供應。當前的桌面計算資源可能不適合 AI 增強型工作流程，因此出現(xiàn)硬件短缺的問題。

挑戰(zhàn)

在快速發(fā)展的生成式 AI 領域，企業(yè)正尋求利用這項尖端技術來獲得競爭優(yōu)勢并加速創(chuàng)新。然而，生成式 AI 帶來了一些挑戰(zhàn)，可能會阻礙其有效部署和利用：

快速原型設計：開發(fā)人工智能應用程序需要快速原型設計和迭代，但缺乏工具、預建資源和計算能力會拖慢這一進程。

部署復雜性：在不同基礎設施上部署 AI 模型既耗時又容易出錯。

數(shù)據(jù)隱私和安全：對專有數(shù)據(jù)進行微調模型通常需要將敏感信息發(fā)送到外部服務器，這帶來了重大風險。

性能優(yōu)化：實現(xiàn)低延遲和高吞吐量對于實時應用至關重要，但如果沒有專門的硬件和軟件，則很難實現(xiàn)。

可擴展性：有效擴展數(shù)據(jù)處理和機器學習任務需要強大而有力的計算資源。

NVIDIA NIM和NVIDIA RTX驅動的 AI 工作站通過提供優(yōu)化、安全且可擴展的 AI 開發(fā)解決方案，以及滿足企業(yè)特定需求所需的驚人計算能力來解決這些挑戰(zhàn)，促進生成式 AI 的有效部署和利用。

NVIDIA NIM 在搭載 RTX 技術的

AI 工作站上的應用

NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，是一套易于使用的預構建容器工具，目的是幫助企業(yè)客戶加速在云、數(shù)據(jù)中心和工作站中部署生成式 AI 模型。通過 NIM 可以部署廣泛的 AI 模型 - 包括開源社區(qū)模型，NVIDIA AI Foundation 模型，和自定義模型。

RTX 驅動的 AI 工作站上的 NVIDIA NIM 微服務為開發(fā)人員集成生成式 AI 功能提供了強大而高效的解決方案。NIM 提供具有行業(yè)標準 API 的預構建容器，簡化了 AI 模型部署，并允許開發(fā)人員專注于應用程序開發(fā)而不是基礎設施管理。在 AI 工作站上本地運行 NIM 可讓開發(fā)人員控制其數(shù)據(jù)，確保隱私和安全，同時避免與云托管 API 相關的延遲、成本和合規(guī)性問題。

NVIDIA RTX 驅動的 AI 工作站可在云端、數(shù)據(jù)中心和桌面上使用，配備最新的NVIDIA GPU (用于實體工作站的 NVIDIA RTX 5880 Ada 架構 GPU 和用于 RTX 虛擬工作站的 NVIDIA 數(shù)據(jù)中心 GPU)，可為計算密集型 AI 工作負載提供支持。每個工作站最多配備四個 NVIDIA RTX 5880 Ada 架構 GPU，AI 工作站可提供令人驚嘆的 4.4 petaFLOPS 綜合 AI 計算性能和 192GB 系統(tǒng) GPU 總顯存，以促進快速原型設計和測試。這些工作站加快了開發(fā)周期并能夠無縫擴展到生產環(huán)境。AI 工作站上的 NIM 支持各個領域的各種模型?包括最新的大語言模型 (LLM)，如 Qwen 和 YiLarge，使開發(fā)人員能夠輕松創(chuàng)建復雜的 AI 驅動的應用程序，并能夠隨時使用最先進的功能。

快速創(chuàng)建支持 RAG 的應用程序

RTX 驅動的 AI 工作站上的 NIM 微服務為創(chuàng)建本地 RAG 應用程序提供了強大的解決方案，確保對數(shù)據(jù)和模型的完全控制，尤其是對于數(shù)據(jù)安全和隱私至關重要的行業(yè)。開發(fā)人員可以快速制作 RAG 應用程序的原型、部署和迭代，在安全的本地環(huán)境中開發(fā)創(chuàng)新。

此外，運行 NIM 微服務的多 GPU 工作站可以作為小型團隊的集中式 RAG 應用程序中心，提供企業(yè)級生成式 AI 功能，而無需依賴云資源。這些基于工作站的 RAG 應用程序可以處理多模態(tài)輸入，包括文本、語音和圖像，同時得益于 NVIDIA 的優(yōu)化推理引擎，實現(xiàn)高性能、低延遲響應。

利用 NVIDIA NIM 隨時隨地

構建生成式 AI 應用程序

NVIDIA 開發(fā)者計劃會員現(xiàn)可免費使用 NVIDIA NIM 預構建容器工具。

注冊開發(fā)者計劃 (NVIDIA Developer Program)，可免費訪問并下載 NIM，用于在一定數(shù)量 GPU 上進行研究，開發(fā)和測試（詳情參照申請頁）。當準備投入生產時，開發(fā)人員可以獲得 NVIDIA AI Enterprise，它提供企業(yè)級安全性、支持和 API 穩(wěn)定性。

NVIDIA NIM 可以幫助開發(fā)人員實現(xiàn)：

通過針對低延遲、高吞吐量 AI 推理優(yōu)化的加速推理引擎獲得卓越性能。

在任何地方的 NVIDIA GPU 上運行 AI 模型并保持對 AI 應用程序和數(shù)據(jù)的控制。

使用行業(yè)標準 API 和流行的應用程序開發(fā)工具、框架簡化 AI 應用程序開發(fā)。

通過無縫部署 NIM 來針對特定用例定制模型，以便根據(jù)數(shù)據(jù)對模型進行微調。

使用詳細的可觀察性指標和 Helm 圖表在 Kubernetes 上擴展 NIM，最大限度地提高操作性和規(guī)模。

了解如何優(yōu)化生成 AI 應用程序的開發(fā)以部署在任何 NVIDIA 加速基礎設施上，同時仍然保持對 IP 和 AI 應用程序的完全控制。