英偉達發(fā)布AI模型 Llama-3.1-Nemotron-51B AI模型
英偉達公司宣布推出 Llama-3.1-Nemotron-51B AI 模型，這個AI大模型是源自 Meta 公司的 Llama-3.1-70B大模型，基于使用了神經架構搜索（NAS）方法，推理速度比原70B大模型提升2.2倍，具備更準確和更高效的運算效率；能夠大幅降低運行成本。
通過NAS技術微調；大幅降低了內存消耗、計算復雜性；Llama-3.1-Nemotron-51B AI 模型在單個H100 GPU上的表現非常優(yōu)秀，在推理過程中可以在單個 GPU 上運行 4 倍以上的工作負載。這使得單片H100 GPU即可處理更大型的推理任務；這無疑是顯著的降低了訓練成本。這為AI提供了高效、經濟的方案。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規(guī)問題，請聯系本站處理。
舉報投訴
-
英偉達
+關注
關注
23文章
4089瀏覽量
99232 -
AI大模型
+關注
關注
0文章
398瀏覽量
1004
發(fā)布評論請先 登錄
相關推薦
熱點推薦
利用NVIDIA Nemotron開放模型構建智能文檔處理系統
基于 NVIDIA Nemotron 開放模型的 AI 驅動文檔智能，增強科學研究、金融和法律等領域工作流。
大模型 ai coding 比較
序
我主要用途是 ai coding，從各種渠道獲取到了很多 不同的大模型排序 最多的是 opus 4.6 > k2.5 > glm5 >
發(fā)表于 02-19 13:43
NVIDIA 推出 Nemotron 3 系列開放模型
新聞摘要： ● Nemotron 3 系列開放模型包含 Nano、Super 和 Ultra 三種規(guī)模，具有極高的效率和領先的精度，適用于代理式 AI 應用開發(fā)。 ● Nemotron
NVIDIA推動面向數字與物理AI的開源模型發(fā)展
NVIDIA 發(fā)布一系列涵蓋語音、安全與輔助駕駛領域的全新 AI 工具，其中包括面向移動出行領域的行業(yè)級開源視覺-語言-動作推理模型（Reasoning VLA） NVIDIA DRIVE Alpamayo-R1。此外，一項新的
【CIE全國RISC-V創(chuàng)新應用大賽】基于 K1 AI CPU 的大模型部署落地
/llama-cli --version
第二步：獲取 14B 的 Q2_K 模型
由于官方文檔演示的是 0.6B 小模型，我們需要自己獲
發(fā)表于 11-27 14:43
NVIDIA Nemotron模型如何推動AI發(fā)展
Nemotron 開源技術能夠幫助開發(fā)者與企業(yè)構建強大的通用和專用智能系統。
NVIDIA Nemotron Nano 2推理模型發(fā)布
NVIDIA 正式推出準確、高效的混合 Mamba-Transformer 推理模型系列 NVIDIA Nemotron Nano 2。
英偉達打響“小模型”第一槍
電子發(fā)燒友網綜合報道 ， 近日，Nvidia 推出了一款新的小型語言模型 Nemotron-Nano-9B-v2，該模型在多項基準測試中表現優(yōu)異，且用戶可靈活控制其推理功能的開關。 該模型
發(fā)表于 08-24 01:18
?1389次閱讀
使用 NPU 插件對量化的 Llama 3.1 8b 模型進行推理時出現“從 __Int64 轉換為無符號 int 的錯誤”，怎么解決？
安裝了 OpenVINO? GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型：
optimum-cli export openvino -m meta-
發(fā)表于 06-25 07:20
企業(yè)使用NVIDIA NeMo微服務構建AI智能體平臺
已發(fā)布的 NeMo 微服務可與合作伙伴平臺集成，作為創(chuàng)建 AI 智能體的構建模塊，使用商業(yè)智能與強大的邏輯推理模型 (包括 NVIDIA Llama
首創(chuàng)開源架構，天璣AI開發(fā)套件讓端側AI模型接入得心應手
AI的演進正在逼近“終端智能涌現”的拐點，從通用模型向場景落地遷移成為關鍵議題。聯發(fā)科以“AI隨芯，應用無界”為主題召開天璣開發(fā)者大會2025（MDDC 2025），不僅聚合了全球生態(tài)資源，還
發(fā)表于 04-13 19:52
英偉達Cosmos-Reason1 模型深度解讀
英偉達近期發(fā)布的 Cosmos-Reason1 模型在物理常識推理領域引發(fā)廣泛關注。作為專為物理世界交互設計的多模態(tài)大語言模型，它通過融合視
NVIDIA 推出開放推理 AI 模型系列，助力開發(fā)者和企業(yè)構建代理式 AI 平臺
月 18 日 —— ?NVIDIA 今日發(fā)布具有推理功能的開源 Llama Nemotron 模型系列，旨在為開發(fā)者和企業(yè)提供業(yè)務就緒型基礎，助力構建能夠獨立工作或以團隊形式完成復雜
發(fā)表于 03-19 09:31
?396次閱讀
工商網監(jiān)
評論