繼系統(tǒng)安裝與環(huán)境配置后，本期我們將繼續(xù)帶大家深入 NVIDIA Jetson AGX Thor 的開發(fā)教程之旅，了解如何在 Jetson AGX Thor 上，通過 Docker 高效部署 vLLM 推理服務。
2025-11-13 14:08:21
3848 
最新MLPerf基準測試表明，NVIDIA已將其在AI推理性能和能效方面的高標準擴展到Arm以及x86計算機。
2021-09-23 14:18:062953 
不久前，AI性能基準評測平臺MLPerf公布了2022年首次推理（Inference v2.0）測試成績，NVIDIA的AI平臺表現依然搶眼。
2022-04-15 22:12:004143 
針對基于 Diffusion 和 LLM 類別的 TTS 模型，NVIDIA Triton 和 TensorRT-LLM 方案能顯著提升推理速度。在單張 NVIDIA Ada Lovelace
2025-06-12 15:37:401472 
NVIDIA Turing GPU和Xavier 芯片系統(tǒng)在首個獨立AI推理基準測試 ——MLPerf Inference 0.5中取得第一名。
2019-11-08 16:53:295804 NVIDIA憑借A100進一步擴大了在MLPerf基準測試中的領先優(yōu)勢，實現了比CPU快237倍的AI推理性能，助力企業(yè)將AI研究轉化為生產力。
2020-10-22 14:07:581068 NVIDIA NeMo Megatron 框架; 可定制的大規(guī)模語言模型 Megatron 530B；多GPU、多節(jié)點 Triton推理服務器助力基于語言的AI開發(fā)和部署，推動行業(yè)和科學發(fā)展。
2021-11-10 14:22:521160 此次測試的十二家公司中，只有NVIDIA AI平臺提交了 MLPerf的全部五項推理測試成績（MLPerf是一個于2018年5月成立的行業(yè)基準測試小組）。這證明了NVIDIA CUDA-X AI
2019-11-08 19:44:51
客戶在其環(huán)境中擁有nVidia Licensing服務器（vSphere Enterprise Plus和Horizo??n 7）。許可證文件在nVidia企業(yè)門戶中生成，并且許可證服務器中安裝了2
2018-09-20 11:41:44
基于SRAM的方法可加速AI推理
2020-12-30 07:28:28
產品簡介AI推理服務器HS1208G1HS1208G1是華頡科技推出的一款支持單張全長全高雙寬GPU的高性價比AI推理服務器，基于Intel企業(yè)級C246芯片組，可搭載Intel Xeon
2025-03-31 15:54:03
為幫助數據科學家和開發(fā)人員充分利用深度學習領域中的機遇，NVIDIA為其深度學習軟件平臺發(fā)布了三項重大更新，它們分別是NVIDIA DIGITS 4、CUDA深度神經網絡庫(cuDNN)5.1和全新的GPU推理引擎(GIE)?！ ?
NVIDIA深度學習軟件平臺推三項重大更新
2016-08-06 15:00:262307 MLPerf Inference 0.5是業(yè)內首個獨立AI推理基準套件，其測試結果證明了NVIDIA Turing數據中心GPU以及 NVIDIA Xavier 邊緣計算芯片系統(tǒng)的性能。
2019-11-29 14:45:023401 2019年12月18日— — NVIDIA于今日發(fā)布一款突破性的推理軟件。借助于該軟件，全球各地的開發(fā)者都可以實現會話式AI應用，大幅減少推理延遲。而此前，巨大的推理延遲一直都是實現真正交互式互動的一大阻礙。
2019-12-19 10:06:511571 NVIDIA和多家全球領先的服務器制造商于今日發(fā)布多款內置NVIDIA A100的系統(tǒng)。這些系統(tǒng)具有多種不同的設計和配置，可應對AI、數據科學和科學計算領域最復雜的挑戰(zhàn)。
2020-06-24 16:04:333140 這些AI模型被運行在裝載了V100Tensor Core GPU的NVIDIADGX系統(tǒng)上的數據中心服務器上，以及裝載了JetsonAGX Xavier模塊的邊緣計算網絡中。該硬件運行NVIDIA
2020-07-02 15:00:542470 ）的12個提交者增加了近一倍。 結果顯示，今年5月NVIDIA（Nvidia）發(fā)布的安培（Ampere）架構A100 Tensor Core GPU，在云端推理的基準測試性能是最先進Intel CPU
2020-10-23 17:40:025131 
芯東西1月27日報道，剛剛，NVIDIA公布通過NVIDIA認證系統(tǒng)測試的全球首批加速服務器，它們是目前業(yè)內唯一通過現代工作負載測試的服務器，可用于機器學習和分析。 通過NVIDIA認證系統(tǒng)的產品
2021-01-27 16:25:592431 NVIDIA NeMo Megatron 框架; 可定制的大規(guī)模語言模型Megatron 530B；多GPU、多節(jié)點 Triton推理服務器助力基于語言的AI開發(fā)和部署，推動行業(yè)和科學發(fā)展
2021-11-12 14:30:072126 Capital One、Microsoft、Samsung Medison、Siemens Energy、Snap等25000多家客戶都在使用該平臺。 這些更新包括開源NVIDIA Triton推理服務器
2021-11-12 14:42:532690 平臺），NVIDIA和Mavenir 正在實現智能邊緣網絡構建方式的創(chuàng)新。企業(yè)和電信公司能夠利用配備聚合加速器的邊緣服務器快速部署各種AI 技術，例如同時部署NVIDIA Metropolis智
2021-11-15 14:25:562864 這一德國電氣巨頭正在利用 AI 技術助力發(fā)電廠客戶管理其設施。 隨著能源市場的快速變化，AI 技術正在幫助全球各個城市保持燈火通明。 西門子能源公司正在發(fā)揮 NVIDIA Triton 推理服務器
2021-11-16 16:14:441835 西門子能源公司正在發(fā)揮 NVIDIA Triton 推理服務器的強大力量，利用 AI 協(xié)助解決全球發(fā)電廠在預測性服務管理方面的擔憂。
2021-11-16 16:25:314171 Microsoft Teams借助AI生成的實時字幕和轉錄功能，幫助全球學生和職場人士順利進行在線會議。用于訓練的NVIDIA AI計算技術和用于推理語音識別模型的NVIDIA Triton推理服務器進一步提升了這兩個功能。
2022-01-04 14:20:112492 Microsoft Teams借助AI生成的實時字幕和轉錄功能，幫助全球學生和職場人士順利進行在線會議。用于訓練的NVIDIA AI計算技術和用于推理語音識別模型的NVIDIA Triton推理服務器進一步提升了這兩個功能。
2022-01-04 17:45:122204 NVIDIA AI 可供開發(fā)者免費使用，包括用于語音 AI 的 NVIDIA Riva 和用于智能推薦系統(tǒng)的 NVIDIA Merlin?，這兩款軟件均已正式全面上線。而整個軟件套件也進行了更新，包括 NVIDIA Triton、NeMo、Maxine 和 TAO 工具包等工具。
2022-03-23 14:27:081431 GTC2022大會黃仁勛：NVIDIA Triton是AI部署的“中央車站”，支持在每一代NVIDIA GPU、x86和ARM CPU上部署模型。
2022-03-23 16:23:041781 
Microsoft 的目標是，通過結合使用 Azure 與 NVIDIA GPU 和 Triton 推理軟件，率先將一系列強大的 AI Transformer 模型投入生產用途。
2022-03-28 09:43:381848 推薦系統(tǒng)的大規(guī)模部署帶來了諸多工程化挑戰(zhàn)，借助NVIDIA TensorRT， Triton and MPS （Multi-Process Service） 及單張T4 GPU推理卡，其性能優(yōu)于約6臺以上的78核CPU服務器，成本方面也降低75%。
2022-03-29 15:25:051735 它包括Megatron方面的進步，這是一個由 NVIDIA 研究人員領導的開源項目，旨在開發(fā)有效培訓法學碩士的技術。企業(yè)可以使用 NeMo Megatron 定制 LLM ，如 Megatron 530B ，并使用 NVIDIA Triton 推理服務器跨多個 GPU 和節(jié)點進行部署。
2022-04-01 16:27:3611827 Microsoft 的目標是，通過結合使用 Azure 與 NVIDIA GPU 和 Triton 推理軟件，率先將一系列強大的 AI Transformer 模型投入生產用途。
2022-04-02 13:04:212347 NVIDIA Triton 推理服務器是一款開源人工智能模型服務軟件，可簡化在生產中大規(guī)模部署經過培訓的人工智能模型。對于服務器管理的任何模型，客戶端可以遠程向提供的 HTTP 或 gRPC 端點發(fā)送推斷請求。
2022-04-07 09:54:054434 對于 AWS 上的人工智能推理部署，您可以利用 NVIDIA Triton 推理服務器 。使用開源推理服務軟件在任何 CPU 或 CPU 基礎設施上部署來自多個框架的經過培訓的人工智能模型，包括 TensorFlow 、 TensorRT 、 PyTorch 、 ONNX 、 XGBoost 和 Python 。
2022-04-08 15:37:281511 現在，您和開發(fā)人員社區(qū)的其他成員都可以使用這些成果，主要是以開源軟件的形式。此外， TensorRT 和 Triton 推理服務器可從?NVIDIA NGC?免費獲得，以及預訓練模型、深度學習框架
2022-04-08 16:31:311759 
GKE 的 Triton 推理服務器應用程序是一個 helm chart 部署程序，可自動安裝和配置 Triton ，以便在具有 NVIDIA GPU 節(jié)點池的 GKE 集群上使用，包括
2022-04-08 16:43:033025 
通過將 Triton 編譯為動態(tài)鏈接庫，可以方便地鏈入公司內部框架，對接公司的平臺治理體系。符合 C 語言規(guī)范的 API 也極大降低了用戶的接入成本。
2022-04-10 10:08:311791 一個完整的醫(yī)療影像推理流程一般包含數據的前處理、AI 推理以及數據后處理這幾部分。
2022-04-10 15:06:093859 NVIDIA 時間序列預測平臺提供從訓練到時間序列模型的推斷的端到端 GPU 加速。平臺中包含的參考示例經過優(yōu)化和認證，可在 NVIDIA DGX A100 和 NVIDIA 認證系統(tǒng)上運行。
2022-04-10 17:44:043213 
“在使用 NVIDIA TensorRT和NVIDIA T4 GPU對平臺賦能后，“極星”推理平臺的算法推理效率得到了進一步的提升，更好地支持速接入各類算法、數據及智能設備，實現AI自閉環(huán)能力，并通過應用服務和標準化接口，幫助終端客戶低成本實現AI與業(yè)務的結合，快速構建智能應用。
2022-04-13 14:49:191588 NVIDIA Triton 有助于在每個數據中心、云和嵌入式設備中實現標準化的可擴展生產 AI 。它支持多個框架，在 GPU 和 DLA 等多個計算引擎上運行模型，處理不同類型的推理查詢。通過與 NVIDIA JetPack 的集成， NVIDIA Triton 可用于嵌入式應用。
2022-04-18 15:40:023480 
網易互娛 AI Lab 的研發(fā)人員，基于 Wenet 語音識別工具進行優(yōu)化和創(chuàng)新，利用 NVIDIA Triton 推理服務器的 GPU Batch Inference 機制加速了語音識別的速度，并且降低了成本。
2022-05-13 10:40:192805 借助NVIDIA Triton 推理框架，配合 DALI/FIL/Python 等Backend，以及 TensorRT，整體推理服務的吞吐能力最大提升 6 倍，延遲最大降低 40%。
2022-05-20 15:25:102902 
在這篇文章中，我們使用預訓練 BERT Hugging Face 的大型模型，采用 PyTorch 格式。 NVIDIA Triton 推理服務器可以使用其LibTorch后端為TorchScript模型提供服務，也可以使用其 Python 后端為純 PyTorch 模型提供服務。
2022-05-30 09:38:083866 
NVIDIA Triton 推理服務器(以前稱為 TensorRT 推理服務器)是一款開源軟件，可簡化深度學習模型在生產環(huán)境中的部署。借助 Triton 推理服務器，Devops 和 MLops
2022-06-28 15:49:472785 NVIDIA Triton 推理服務器在 NVIDIA T4 GPU 上進行高效部署，幫助阿里巴巴天貓精靈流式 TTS 服務將吞吐提升 50%，首包延時降低 35%，大幅提升服務運行效率，提升資源利用率。
2022-07-14 10:05:001959 NVIDIA Triton 推理服務器是 NVIDIA AI 平臺的一部分，它是一款開源推理服務軟件，可助力標準化模型的部署和執(zhí)行，并在生產環(huán)境中提供快速且可擴展的 AI。
2022-07-18 10:11:265055 騰訊云 TI 平臺 TI-ONE 利用 NVIDIA Triton 推理服務器構造高性能推理服務部署平臺，使用戶能夠非常便捷地部署包括 TNN 模型在內的多種深度學習框架下獲得的 AI 模型，并且顯著提升推理服務的吞吐、提升 GPU 利用率。
2022-09-05 15:33:013067 螞蟻鏈 AIoT 團隊與 NVIDIA 合作，將量化感知訓練(QAT)技術應用于深度學習模型性能優(yōu)化中，并通過 NVIDIA TensorRT 高性能推理 SDK 進行高效率部署， 通過 INT8 推理， 吞吐量提升了 3 倍， 助力螞蟻鏈版權 AI 平臺中的模型推理服務大幅降本增效。
2022-09-09 09:53:521845 在近日舉行的 GTC 大會上，蔚來 AI 平臺負責人白宇利帶來非常有價值的分享，他首次對外透露了蔚來自研的全棧式自動駕駛系統(tǒng)（NAD）的部署和開發(fā)情況，同時也將蔚來自動駕駛研發(fā)平臺（NADP）這個神秘的“Peta Factory”帶到了公眾視野中。
2022-10-09 10:18:201466 Triton 為高效的多模型推理帶來了一種新的模型編排服務。該軟件應用程序目前處于早期使用階段，有助于以資源高效的方式簡化 Kubernetes 中 Triton 實例的部署，其中包含許多模型。此服務的一些關鍵功能包括：
2022-10-11 14:24:322021 
推理識別是人工智能最重要的落地應用，其他與深度學習相關的數據收集、標注、模型訓練等工作，都是為了得到更好的最終推理性能與效果。
2022-10-26 09:43:573382 前面文章介紹微軟 Teams 會議系統(tǒng)、微信軟件與騰訊 PCG 服務三個 Triton 推理服務器的成功案例，讓大家對 Triton 有初步的認知，但別誤以為這個軟件只適合在大型的服務類應用中使用，事實上 Triton 能適用于更廣泛的推理環(huán)節(jié)中，并且在越復雜的應用環(huán)境中就越能展現其執(zhí)行成效。
2022-11-02 10:44:413590 推理模型倉（inference model repository） 是 Triton 推理服務器的最基礎元件 ，如同數據庫（database）服務器必須先創(chuàng)建一個數據庫是類似的道理。要使
2022-11-15 21:20:121983 在前一篇文章已經帶著讀者創(chuàng)建一個 Triton 的推理模型倉，現在只要安裝好服務器端與用戶端軟件，就能進行基本的測試與體驗。 為了簡化過程，我們使用 NVIDIA Jetson AGX Orin
2022-11-22 19:50:022899 在前面的文章中，已經帶著讀者創(chuàng)建好 Triton 的模型倉、安裝并執(zhí)行 Triton 推理服務器軟件，接下來就是要 安裝 Triton 用戶端軟件，對服務器提出推理請求（requests），才能觸發(fā)
2022-11-29 19:20:063153 模型，并提供開箱即用的云邊端部署體驗，實現 AI 模型端到端的推理性能優(yōu)化。 歡迎廣大開發(fā)者使用 NVIDIA 與飛槳聯(lián)合深度適配的 NGC 飛槳容器，在 NVIDIA GPU 上進
2022-12-13 19:50:052193 前面已經做好了每個推理模型的基礎配置，基本上就能正常讓 Triton 服務器使用這些獨立模型進行推理。接下來的重點，就是要讓設備的計算資源盡可能地充分使用，首先第一件事情就是模型并發(fā)執(zhí)行
2023-01-05 11:55:062311 、NVIDIA 的技術專家將帶來 AI Infra 、 推理引擎 相關的專題分享，包括目前各企業(yè)面臨的模型推理挑戰(zhàn)、Triton 的應用及落地的具體方案等，現身說法，干貨十足。此外，還有來自蔚來
2023-02-15 16:10:05981 日 – NVIDIA于今日推出四款推理平臺。這些平臺針對各種快速興起的生成式AI應用進行了優(yōu)化，能夠幫助開發(fā)人員快速構建用于提供新服務和洞察的AI驅動的專業(yè)應用。 ? 這些平臺將NVIDIA的全棧推理
2023-03-22 14:48:39533 
– NVIDIA 于今日推出四款推理平臺。這些平臺針對各種快速興起的生成式 AI 應用進行了優(yōu)化，能夠幫助開發(fā)人員快速構建用于提供新服務和洞察的 AI 驅動的專業(yè)應用。 這些平臺將 NVIDIA
2023-03-23 06:55:021494 NVIDIA在3月23日周四舉行的全球AI和元宇宙大會GTC上發(fā)布了多項引爆新一輪視覺AI熱潮的技術更新，包括用于創(chuàng)建自定義生產級AI模型的NVIDIA TAO工具套件5.0、用于開發(fā)視覺AI應用和服務的軟件開發(fā)工具套件NVIDIA DeepStream擴展...
2023-03-27 16:57:401567 
案例介紹 金山辦公與 NVIDIA 團隊合作，通過 NVIDIA Tensor Core GPU、TensorRT 提升圖像文檔識別與理解的推理效率；借助 NVIDIA Triton 推理服務器
2023-06-29 21:35:041430 
使用集成模型在 NVIDIA Triton 推理服務器上為 ML 模型管道提供服務
2023-07-05 16:30:342037 
OVX 服務器采用全新 NVIDIA GPU 以加速訓練和推理以及圖形密集型工作負載，將通過戴爾科技、慧與、聯(lián)想、超微等公司提供。 洛杉磯 — SIGGRAPH — 太平洋時間 2023 年 8 月
2023-08-09 19:10:06858 with NVIDIA 拉斯維加斯 — VMware Explore — 太平洋時間 2023 年 8 月 22 日 — NVIDIA 宣布，全球領先的系統(tǒng)制造商將推出 AI 就緒型服務器，其支持同發(fā)布的 VMware
2023-08-23 19:10:091064 超級芯片 首次亮相 MLPerf 行業(yè)基準測試，其運行了所有數據中心推理測試，進一步擴大了 NVIDIA H100 Tensor Core GPU 的領先優(yōu)勢。 總體測試結果表明，NVIDIA AI
2023-09-12 20:40:04900 Hopper超級芯片首次亮相 MLPerf 行業(yè)基準測試，其運行了所有數據中心推理測試，進一步擴大了NVIDIA H100 Tensor Core GPU的領先優(yōu)勢。 ? 總體測試結果表明，NVIDIA AI
2023-09-13 09:45:401159 
，使用 NVIDIA Triton TM? 推理服務器進行端到端部署 LLM Serving，以及金融行業(yè)的 AI、NLP/LLM 應用場景、客戶案例。 通過本次活動，您將了解基于上述產品的 LLM
2023-10-26 09:05:02684 和初創(chuàng)公司在 Microsoft Azure 上開發(fā)、調優(yōu)和部署其自定義生成式 AI 應用。 ? 這項 NVIDIA AI foundry 服務整合了 NVIDIA AI Foundation
2023-11-16 14:13:08859 
AI Enterprise 軟件進行部署 NVIDIA 于今日推出一項 AI foundry 服務，助力企業(yè)和初創(chuàng)公司在 Microsoft Azure 上開發(fā)、調優(yōu)和部署其自定義生成式 AI
2023-11-16 21:15:021193 本案例通過利用NVIDIA TensorRT-LLM加速指令識別深度學習模型，并借助NVIDIA Triton推理服務器在NVIDIA V100 GPU上進行高效部署，幫助必優(yōu)科技的文檔智能體
2024-01-17 09:30:351430 這家云計算巨頭的計算機視覺和數據科學服務使用 NVIDIA Triton 推理服務器來加速 AI 預測。
2024-02-29 14:04:401458 在藥物研發(fā)領域，NVIDIA的AI技術正發(fā)揮著日益重要的作用。Cadence、Iambic Therapeutics等超過100家公司已采用NVIDIA的AI解決方案，推動計算機輔助藥物研發(fā)和生成式AI的飛速發(fā)展。
2024-03-27 10:31:24832 本實踐中，唯品會 AI 平臺與 NVIDIA 團隊合作，結合 NVIDIA TensorRT 和 NVIDIA Merlin HierarchicalKV（HKV）將推理的稠密網絡和熱 Embedding 全置于 GPU 上進行加速，吞吐相比 CPU 推理服務提升高于 3 倍。
2024-04-20 09:39:182014 ）的軟件平臺。近日發(fā)布的NVIDIA AI Enterprise 5.0將為用戶提供一系列微服務，其中包括NVIDIA NIM。這是一套用于對二十多種流行的AI模型進行優(yōu)化推理的微服務。該軟件平臺將通過工業(yè)
2024-05-07 11:21:25835 
來自 AI 生態(tài)系統(tǒng)各個領域的 150 余家合作伙伴嵌入了 NIM 推理微服務，將企業(yè)級 AI 應用的部署時間從數周縮短至幾分鐘 NVIDIA 開發(fā)者計劃會員可免費使用 NIM 來進行研究、開發(fā)
2024-06-03 09:12:46555 
來自 AI 生態(tài)系統(tǒng)各個領域的 150 余家合作伙伴嵌入了 NIM 推理微服務，將企業(yè)級 AI 應用的部署時間從數周縮短至幾分鐘 NVIDIA 開發(fā)者計劃會員可免費使用 NIM 來進行研究、開發(fā)
2024-06-03 18:21:161783 英偉達近日宣布推出一項革命性的AI模型推理服務——NVIDIA NIM。這項服務將極大地簡化AI模型部署過程，為全球的2800萬英偉達開發(fā)者提供前所未有的便利。
2024-06-04 09:15:061278 NVIDIA 宣布推出全新 NVIDIA AI Foundry 服務和 NVIDIA NIM 推理微服務，與同樣剛推出的 Llama 3.1 系列開源模型一起，為全球企業(yè)的生成式 AI 提供強力支持。
2024-07-25 09:48:211350 NVIDIA近日宣布了一項重大舉措，正式推出NVIDIA AI Foundry服務與NVIDIA NIM（NVIDIA Inference Microservices）推理微服務，這兩項創(chuàng)新成果與同步問世的Llama 3.1系列開源模型強強聯(lián)合，為全球企業(yè)構建強大的生成式AI能力鋪設了堅實的基石。
2024-07-25 16:57:371068 在本案例中，Dify 以模型中立以及開源生態(tài)的優(yōu)勢，為廣大 AI 創(chuàng)新者提供豐富的模型選擇。其集成的 NVIDIAAPI Catalog、NVIDIA NIM和Triton 推理服務器產品，為
2024-09-09 09:19:291396 在科技界引起廣泛關注的最新動態(tài)中，里昂證券于9月26日發(fā)布了一份引人注目的報告，揭示了NVIDIA在AI服務器領域的一項重大變革。據該報告透露，NVIDIA即將在AI服務器領域引入插槽設計，這一創(chuàng)新
2024-09-26 14:25:151567 由 NVIDIA 加速計算平臺、NVIDIA AI Enterprise 軟件和 NVIDIA NIM 推理微服務加持的思科 Nexus HyperFabric AI 集群解決方案在 Cisco Live 上首次亮相。
2024-10-10 09:35:371429 麗蟾科技通過 Leaper 資源管理平臺集成 NVIDIA AI Enterprise，為企業(yè)和科研機構提供了一套高效、靈活的 AI 訓練與推理加速解決方案。無論是在復雜的 AI 開發(fā)任務中，還是在高并發(fā)推理場景下，都能夠確保項目的順利進行，并顯著提升業(yè)務效率與創(chuàng)新能力。
2024-10-27 10:03:251765 
開發(fā)者現在可以使用全新 NVIDIA AI Blueprint 構建和部署具備推理、規(guī)劃和行動能力的定制化 AI 智能體。這些藍圖囊括了 NVIDIA NIM 微服務、NVIDIA NeMo、以及領先提供商的代理式 AI 框架。
2025-01-09 11:08:071088 的“知識機器人”，提升全球數十億知識工作者的生產力。為了開發(fā) AI 智能體，企業(yè)需要解決信任、物理安全、網絡安全以及合規(guī)性等關鍵問題。 全新 NVIDIA NIM AI Guardrail 微服務
2025-01-17 16:29:00294 NVIDIA推理平臺提高了 AI 推理性能，為零售、電信等行業(yè)節(jié)省了數百萬美元。
2025-02-08 09:59:031512 
月 18 日 —— ?NVIDIA 今日發(fā)布具有推理功能的開源 Llama Nemotron 模型系列，旨在為開發(fā)者和企業(yè)提供業(yè)務就緒型基礎，助力構建能夠獨立工作或以團隊形式完成復雜任務的高級 AI 智能體。
2025-03-19 09:31:53352 
——Oracle 和 NVIDIA 今日宣布，NVIDIA 加速計算和推理軟件與 Oracle 的 AI 基礎設施以及生成式 AI 服務首次實現集成，以幫助全球企業(yè)組織加速創(chuàng)建代理式 AI 應用。 ? 此次
2025-03-19 15:24:36504 
Triton 推理服務器的后續(xù)產品，NVIDIA Dynamo 是一款全新的 AI 推理服務軟件，旨在為部署推理 AI 模型的 AI 工廠最大化其 token 收益。它協(xié)調并加速數千個 GPU 之間的推理通信，并使用分離服務將大語
2025-03-20 15:03:551120 英偉達GTC25亮點：NVIDIA Blackwell Ultra 開啟 AI 推理新時代
2025-03-20 15:35:401300 、Figure AI、Skild AI 是最早采用該技術的公司。 NVIDIA 宣布推出全新 NVIDIA Cosmos 世界基礎模型 (WFM) 的重大更新，該模型引入了開放式、可完全定制的物理 AI 開發(fā)
2025-03-20 19:01:261226 Enterprise 軟件平臺之間的集成，將使 160 多個 AI 工具和 100 多個 NVIDIA NIM 微服務通過 OCI 控制臺以原生方式提供。此外，Oracle 和 NVIDIA 正在合作無代碼部署 Oracle 和 NVIDIA AI Blueprint，并使用 NVID
2025-03-21 12:01:551268 
已發(fā)布的 NeMo 微服務可與合作伙伴平臺集成，作為創(chuàng)建 AI 智能體的構建模塊，使用商業(yè)智能與強大的邏輯推理模型 (包括 NVIDIA Llama Nemotron) 處理更多任務。
2025-04-27 15:05:251095 近日，NVIDIA 開源其物理 AI 平臺 NVIDIA Cosmos 中的關鍵模型——NVIDIA Cosmos Reason-1-7B。這款先進的多模態(tài)大模型能夠理解視頻、進行物理推理，并規(guī)劃
2025-07-09 10:17:37641 NVIDIA 正式推出準確、高效的混合 Mamba-Transformer 推理模型系列 NVIDIA Nemotron Nano 2。
2025-08-27 12:45:441573 
NVIDIA 的數據工廠團隊為 NVIDIA Cosmos Reason 等 AI 模型奠定了基礎，該模型近日在 Hugging Face 的物理推理模型排行榜中位列榜首。
2025-09-23 15:19:231043 TensorRT LLM 作為 NVIDIA 為大規(guī)模 LLM 推理打造的推理框架，核心目標是突破 NVIDIA 平臺上的推理性能瓶頸。為實現這一目標，其構建了多維度的核心實現路徑：一方面，針對需
2025-10-21 11:04:24923 為了讓客戶能夠高效安裝和部署 NVIDIA Omniverse 及 NVIDIA Isaac 平臺，NVIDIA 現已推出簡單便捷的容器化部署方案，以支持在數據中心的服務器中實現流式仿真或協(xié)作。
2025-12-17 10:17:14264 
電子發(fā)燒友App
工商網監(jiān)
評論