前面我們花了很多力氣在 TAO 上面訓練模型，其最終目的就是要部署到推理設備上發(fā)揮功能。除了將模型訓練過程進行非常大幅度的簡化，以及整合遷移學習等功能之外，TAO 還有一個非常重要的任務，就是讓我們更輕松獲得 TensorRT 加速引擎。

將一般框架訓練的模型轉換成 TensorRT 引擎的過程并不輕松，但是 TensorRT 所帶來的性能紅利又是如此吸引人，如果能避開麻煩又能享受成果，這是多么好的福利！

• 一般深度學習模型轉成 TensorRT 引擎的流程

下圖是將一般模型轉成 TesnorRT 的標準步驟，在中間 “Builder” 右邊的環(huán)節(jié)是相對單純的，比較復雜的是 “Builder” 左邊的操作過程。

下圖就上圖 “NetworkDefinition” 比較深入的內容，TensorRT 提供 Caffe、uff 與 ONNX 三種解析器，其中 Caffe 框架已淡出市場、uff 僅支持 TensorFlow 框架，其他的模型就需要透過 ONNX 交換格式進行轉換。

這里以 TensorRT 所提供的 YOLOv3 范例來做范例，在安裝 Jetpack 4.6 版本的 Jetson Nano 設備上進行體驗，請進入到 TesnorRT 的 YOLOv3 范例中：

cd  /usr/src/tensorrt/samples/python/yolov3_onnx

?

根據(jù)項目的 README.md 指示，我們需要先為工作環(huán)境添加依賴庫，不過由于部分庫的版本關系，請先將 requirements.txt 的第 1、3 行進行以下的修改：

numpy==1.19.4protobuf>=3.11.3onnx==1.10.1Pillow; python_version<"3.6"Pillow==8.1.2; python_version>="3.6"pycuda<2021.1

然后執(zhí)行以下指令進行安裝：

python3 -m pip install -r requirements.txt

接下來需要先下載 download.yml 里面的三個文件，

wget https://pjreddie.com/media/files/yolov3.weights wget https://raw.githubusercontent.com/pjreddie/darknet/f86901f6177dfc6116360a13cc06ab680e0c86b0/cfg/yolov3.cfg wgethttps://github.com/pjreddie/darknet/raw/f86901f6177dfc6116360a13cc06ab680e0c86b0/data/dog.jpg

然后就能執(zhí)行以下指令，將 yolov3.weights 轉成 yolov3.onnx：

./yolov3_to_onnx.py  -d  /usr/src/tensorrt

這個執(zhí)行并不復雜，是因為 TensorRT 已經(jīng)提供 yolov3_to_onnx.py 的 Python 代碼，但如果將代碼打開之后，就能感受到這 750+ 行代碼要處理的內容是相當復雜，必須對 YOLOv3 的結構與算法有足夠了解，包括解析 yolov3.cfg 的 788 行配置。想象一下，如果這個代碼需要自行開發(fā)的話，這個難度有多高！

接下去再用下面指令，將 yolov3.onnx 轉成 yolov3.trt 加速引擎：

./onnx_to_tensorrt.py  -d  /usr/src/tensorrt

以上是從一般神經(jīng)網(wǎng)絡模型轉成 TensorRT 加速引擎的標準步驟，這需要對所使用的神經(jīng)網(wǎng)絡的結構層、數(shù)學公式、參數(shù)細節(jié)等等都有相當足夠的了解，才有能力將模型先轉換成 ONNX 文件，這是技術門檻比較高的環(huán)節(jié)。

• TAO 工具訓練的模型轉成 TensorRT 引擎的工具

用 TAO 工具所訓練、修剪并匯出的 .etlt 文件，可以跳過上述過程，直接在推理設備上轉換成 TensorRT 加速引擎，我們完全不需要了解神經(jīng)網(wǎng)絡的任何結構與算法內容，直接將 .etlt 文件復制到推理設備上，然后用 TAO 所提供的轉換工具進行轉換就可以。

這里總共需要執(zhí)行三個步驟：

1、下載 tao-converter 工具，并調試環(huán)境：

請根據(jù)以下 Jetpack 版本，下載對應的 tao-converter 工具：

Jetpack 4.4：https://developer.nvidia.com/cuda102-trt71-jp44-0 Jetpack 4.5：https://developer.nvidia.com/cuda110-cudnn80-trt72-0 Jetpack 4.6：https://developer.nvidia.com/jp46-20210820t231431z-001zip

下載壓縮文件后執(zhí)行解壓縮，就會生成 tao-converter 與 README.txt 兩個文件，再根據(jù) README.txt 的指示執(zhí)行以下步驟：

（1）安裝 libssl-dev 庫：

sudo  apt  install  libssl-dev

（2） 配置環(huán)境，請在 ~/.bashrc 最后面添加兩行設置：

export TRT_LIB_PATH=/usr/lib/aarch64-linux-gnuexportTRT_INCLUDE_PATH=/usr/include/aarch64-linux-gnu

（3） 將 tao-convert 變成可執(zhí)行文件：

source ~/.bashrcchmod  +x  tao-convertersudocptao-converter/usr/local/bin

2、安裝 TensorRT 的 OSS (Open Source Software)

這是 TensorRT 的開源插件，項目在 https://github.com/NVIDIA/TensorRT，下面提供的安裝說明非常復雜，我們將繁瑣的步驟整理之后，就是下面的步驟：

export  ARCH=請根據(jù)設備進行設置，例如Nano為53、NX為72、Xavier為62export  TRTVER=請根據(jù)系統(tǒng)的TensorRT版本，例如Jetpack 4.6為8.0.1git  clone  -b  $TRTVER  https://github.com/nvidia/TensorRT  TRToss cd  TRToss/git checkout  -b  $TRTVER  &&  git  submodule  update  --init  --recursivemkdir  -p  build  &&  cd  buildcmake .. -DGPU_ARCHS=$ARCH-DTRT_LIB_DIR=/usr/lib/aarch64-linux-gnu/-DCMAKE_C_COMPILER=/usr/bin/gcc-DTRT_BIN_DIR=`pwd`/out-DTRT_PLATFORM_ID=aarch64-DCUDA_VERSION=10.2make  nvinfer_plugin  -j$(nproc)sudomv/usr/lib/aarch64-linux-gnu/libnvinfer_plugin.so.8.0.1  /usr/lib/aarch64-linux-gnu/libnvinfer_plugin.so.8.0.1.baksudocplibnvinfer_plugin.so.8.0.1/usr/lib/aarch64-linux-gnu/libnvinfer_plugin.so.8.0.1

這樣就能開始用 tao-converter 來將 .etlt 文件轉換成 TensorRT 加速引擎了。

3、用 tao-converter 進行轉換

（1）首先將 TAO 最終導出 (export) 的文件復制到 Jetson Nano 上，例如前面的實驗中最終導出的文件 ssd_resnet18_epoch_080.etlt，

（2）在 Jetson Nano 上執(zhí)行 TAO 的 ssd.ipynb 最后所提供的轉換指令，如下：

%set_env KEY=tao converter  -k  $KEY -d  3,300,300     -o  NMS     -e  ssd_resnet18_epoch_080.trt   # 自己設定輸出名稱    -m  16     -t  fp16                       # 使用export時相同精度    -i  nchw ssd_resnet18_epoch_080.etlt

這樣就能生成在 Jetson Nano 上的 ssd_resnet18_epoch_080.trt 加速引擎文件，整個過程比傳統(tǒng)方式要簡便許多。