在每周的預告中，你可以：

了解一周的在線研討會時間及詳細內(nèi)容，選擇感興趣的研討會并提前安排收聽時間;

找到每場研討會的參會方式，保存并轉發(fā)到朋友圈及微信群，與朋友分享精彩內(nèi)容。

基于 NVIDIA Triton 的 AI 模型高效部署實踐

內(nèi)容

NVIDIA Triton 推理服務器(以前稱為 TensorRT 推理服務器)是一款開源軟件，可簡化深度學習模型在生產(chǎn)環(huán)境中的部署。借助 Triton 推理服務器，Devops 和 MLops 團隊可以將各類框架(TensorFlowPyTorch、TensorRT、ONNX Runtime、MXNet、XGBoost 等或自定義框架后端)訓練的 AI 模型，在基于 GPU 或 CPU 的本地、數(shù)據(jù)中心、云、邊緣云等平臺，快速可靠地部署在諸如 Kubernetes、KFServing、Prometheus、Grafana 等大規(guī)模生產(chǎn)環(huán)境中，并輕松擴展。

借助 NVIDIA Ampere 架構 Tensor Core 和多實例并行運行多個工作負載( MIG )，Triton 推理服務器可以最大化 A100 GPU 和 A30 GPU 的利用率。它不僅可在單個 NVIDIA GPU 上同時運行多個模型，以更大限度地提高利用率，與 Kubernetes 集成以用于編排、指標和自動擴展，還可以讓多個用戶共享一個 GPU ，通過將單個 GPU 劃分為多個 GPU 實例，讓每個實例都有專用的內(nèi)存和計算資源，在確保執(zhí)行工作負載的同時，保證服務質(zhì)量和故障隔離。

本次研討會 NVIDIA 解決方案架構師張萌將參與主講環(huán)節(jié)， NVIDIA 解決方案架構師申意則將主要參與問答環(huán)節(jié)。

通過本次在線研討會您將了解以下內(nèi)容：

應用 Triton 的收益

基于 Ampere 架構多實例 GPU 特性和 K8s 實現(xiàn) Triton 大規(guī)模部署

如何使用 Triton 部署端到端的 CV 模型

Triton 在行業(yè)內(nèi)的一些應用案例

日程

6 月 28 日，周二，19:00 – 20:00

演講嘉賓

張萌

NVIDIA 解決方案架構師

申意

NVIDIA 解決方案架構師

內(nèi)容

隨著人工智能、數(shù)據(jù)科學、虛擬仿真等數(shù)據(jù)流量負載呈現(xiàn)指數(shù)增長，企業(yè)需要在任何位置都有足夠的處理能力，這對傳統(tǒng)的數(shù)據(jù)中心基礎設施帶來全新挑戰(zhàn)與巨大沖擊，需要構建現(xiàn)代數(shù)據(jù)中心來支撐企業(yè)業(yè)務應用。

NVIDIA BlueField DPU 是一款非常強大的片上數(shù)據(jù)中心基礎設施，可用于卸載、加速和隔離在主機 CPU 上運行的各種軟件定義基礎設施服務，將數(shù)據(jù)中心基礎設施與業(yè)務應用解耦，提升在云計算、數(shù)據(jù)中心或邊緣計算的性能、安全性和效率，突破性能和可擴展性的瓶頸，并消除現(xiàn)代數(shù)據(jù)中心的安全威脅，簡化運營并降低總擁有成本( TCO)。

為了充分發(fā)揮 BlueField DPU 這一強大的片上數(shù)據(jù)中心基礎設施硬件能力，簡單、高效的 NVIDIA DOCA 軟件框架應運而生，為開發(fā)者打造一個全面、開放的開發(fā)平臺，支持廣大的開發(fā)者在 BlueField DPU 上進行簡單、靈活的軟件開發(fā)，讓開發(fā)者可以快速創(chuàng)建 BlueField DPU 加速的、高性能應用程序和服務。

本次課程將幫助開發(fā)者深入了解如下內(nèi)容：

什么是 DPU?

NVIDIA BlueField DPU 簡介

NVIDA DOCA 軟件框架

NVIDIA BlueField DPU 加速功能

日程

6 月 30 日，星期四，20:00 – 21:00

演講嘉賓

崔巖

NVIDIA 網(wǎng)絡技術專家

負責以技術角度推進 DPU 和 DOCA 產(chǎn)品及聯(lián)合解決方案在中國的市場營銷，驅(qū)動 DOCA 開發(fā)者社區(qū)在中國的增長與發(fā)展，促進客戶與合作伙伴在未來數(shù)據(jù)中心基礎設施上取得成功。

原文標題：一周預告丨本周 NVIDIA 在線研討會精彩亮點搶先看

文章出處：【微信公眾號：NVIDIA英偉達企業(yè)解決方案】歡迎添加關注!文章轉載請注明出處。

審核編輯：湯梓紅