NVIDIA 系列 AIBOX

AIBOX-OrinNano 和 AIBOX-OrinNX 均搭載 NVIDIA 原裝 Jetson Orin 核心板模組，標配工業(yè)級全金屬外殼，鋁合金結(jié)構(gòu)導(dǎo)熱，頂蓋外殼側(cè)面采用條幅格柵設(shè)計，高效散熱，保障在高溫運行狀態(tài)下的運算性能和穩(wěn)定性，滿足各種工業(yè)級的應(yīng)用需求。

NVIDIA TensorRT

NVIDIA系列 AIBOX 支持深度學(xué)習(xí)框架TensorRT，TensorRT是用于高性能深度學(xué)習(xí)推理的 API 生態(tài)系統(tǒng)，其包括推理運行時和模型優(yōu)化，可為生產(chǎn)應(yīng)用提供低延遲和高吞吐量。

TensorRT 生態(tài)系統(tǒng)包括 TensorRT、TensorRT-LLM、TensorRT 模型優(yōu)化器和 TensorRT Cloud。

NVIDIA TensorRT 的優(yōu)勢

推理速度提升 36 倍

優(yōu)化推理性能

加速各種工作負載

使用 Triton 進行部署、運行和擴展

應(yīng)用案例—語義分割

語義分割基于圖像識別，但分類是在像素級別進行的，而不是在整個圖像上進行。這是通過將預(yù)訓(xùn)練的圖像識別骨干網(wǎng)絡(luò)進行卷積化來實現(xiàn)的，將模型轉(zhuǎn)換為能夠進行逐像素標注的全卷積網(wǎng)絡(luò)（FCN）。語義分割對于環(huán)境感知特別有用，它能夠?qū)γ總€場景中的許多不同潛在對象（包括前景和背景）進行密集的逐像素分類。

SegNet 模型

SegNet 的新穎之處在于解碼器對其較低分辨率的輸入特征圖進行上采樣的方式。具體地說，解碼器使用了在相應(yīng)編碼器的最大池化步驟中計算的池化索引來執(zhí)行非線性上采樣。經(jīng)上采樣后的特征圖是稀疏的，因此隨后使用可訓(xùn)練的卷積核進行卷積操作，生成密集的特征圖。SegNet 的架構(gòu)與廣泛采用的 FCN 以及眾所周知的 DeepLab-LargeFOV，DeconvNet 架構(gòu)進行比較。比較的結(jié)果揭示了在實現(xiàn)良好的分割性能時所涉及的內(nèi)存與精度之間的權(quán)衡。

下載源碼

$ git clone --recursive --depth=1 https://github.com/dusty-nv/jetson-inference

編譯 / 安裝

參考：https://github.com/dusty-nv/jetson-inference/blob/master/docs/building-repo-2.md

運行示例

$ ./segnet.py --network=fcn-resnet18-cityscapes city_0.jpg output_city_0.jpg