上一篇文章已經(jīng)帶著大家安裝 DeepStream 的 Python 開發(fā)環(huán)境，并且執(zhí)行最簡單的 deepstream-test1.py，讓大家體驗一下這個范例的效果。本文則進一步以這個 Python 代碼講解 DeepStream 插件工作流，并且擴充 USB 攝像頭作為輸入，以及將輸出透過 RTSP 轉(zhuǎn)發(fā)到其他電腦上觀看。

如果還未安裝 Python 環(huán)境或下載 Python 范例的，請至前一篇文章中找安裝與下載的步驟，這里不再重復(fù)。

前面文章中已經(jīng)簡單提過 DeepStream 所用到的插件內(nèi)容，但那只是整個框架中非?；A(chǔ)的一小部分，本文要用代碼開始解說范例的時候，還是得將 Gstreamer 一些重要構(gòu)成元素之間的關(guān)系說明清楚，這樣才能讓大家在代碼過程得以一目了然。

現(xiàn)在先把這個 test1 范例的執(zhí)行流程先講解清楚，這樣在閱讀后面的代碼就會更加容易掌握上下之間的交互關(guān)系。這里的流程對 C/C++ 版本與 Python 版本是完全一樣的，只不過代碼不過用 Python 來說明：

首先 filesrc 數(shù)據(jù)源元件負責(zé)從磁盤上讀取視頻數(shù)據(jù)

h264parse 解析器元件負責(zé)對數(shù)據(jù)進行解析

nvv4l2decoder 編碼器元件負責(zé)對數(shù)據(jù)進行解碼

nvstreammux 流多路復(fù)用器元件負責(zé)批處理幀以實現(xiàn)最佳推理性能

nvinfer 推理元件負責(zé)實現(xiàn)加速推理

nvvideoconvert 轉(zhuǎn)換器元件負責(zé)將數(shù)據(jù)格式轉(zhuǎn)換為輸出顯示支持的格式

nvdsosd 可視化元件負責(zé)將邊框與文本等信息繪制到圖像中

nvegltransform 渲染元件和 nveglglessink 接收器元件負責(zé)輸出到屏幕上

建立 DeepStream 應(yīng)用程式的步驟與 Gstreamer 幾乎一樣，都是有固定的步驟，只要熟悉之后就會發(fā)現(xiàn)其實并沒有什么難度，接下去就開始我們的執(zhí)行步驟。

創(chuàng)建 DeepStream 應(yīng)用的7大步驟初始化 Gstreamer 與創(chuàng)建管道（pipeline）

1. 初始化 Gstreamer 與創(chuàng)建管道（pipeline）

# 從“def main（args）：”開始

GObject.threads_init（）

# 標準GStreamer初始化

Gst.init（None）

# 創(chuàng)建Gst物件與初始化

pipeline = Gst.Pipeline（）

# 創(chuàng)建與其他元素相連接的管道元素

2. 創(chuàng)建所有需要的元件（element）：用Gst.ElementFactory.make（） 創(chuàng)建所需要的元素，每個元素內(nèi)指定插件類別（粗體部分）并給定名稱（自行設(shè)定）：

# 階段1-處理輸入源的插件：

# 建立“源”元素負責(zé)從文件讀入數(shù)據(jù)

source = Gst.ElementFactory.make（“filesrc”， “file-source”）

# 解析文件是否為要求的h264格式

h264parser = Gst.ElementFactory.make（“h264parse”， “h264-parser”）

# 調(diào)用NVIDIA的nvdec_h264硬件解碼器

decoder = Gst.ElementFactory.make（“nvv4l2decoder”， “nvv4l2-decoder”）

# 創(chuàng)建nvstreammux實例，將單個或多個源數(shù)據(jù)，復(fù)用成一個“批（batch）”

streammux = Gst.ElementFactory.make（“nvstreammux”， “Stream-muxer”）

# 階段2-執(zhí)行推理的插件：

# 使用NVINFERE對解碼器的輸出執(zhí)行推理，推理行為是通過配置文件設(shè)置

pgie = Gst.ElementFactory.make（“nvinfer”， “primary-inference”）

# 階段3-處理輸出的插件：

# 根據(jù)nvosd的要求，使用轉(zhuǎn)換器將NV12轉(zhuǎn)換為RGBA

nvvidconv = Gst.ElementFactory.make（“nvvideoconvert”， “convertor”）

# 創(chuàng)建OSD以在轉(zhuǎn)換的RGBA緩沖區(qū)上繪制

nvosd = Gst.ElementFactory.make（“nvdsosd”， “onscreendisplay”）

# 最后將osd的繪制，進行渲染后在屏幕上顯示結(jié)果

transform=Gst.ElementFactory.make（“nvegltransform”， “egltransform”）

sink = Gst.ElementFactory.make（“nveglglessink”， “nvvideo-renderer”）

3. 配置元件的參數(shù)：

# 以args［1］給定的文件名為輸入源視頻文件

source.set_property（‘location’， args［1］）

# 設(shè)定流復(fù)用器的尺寸、數(shù)量

streammux.set_property（‘width’， 1920）

streammux.set_property（‘height’， 1080）

streammux.set_property（‘batch-size’， 1）

streammux.set_property（‘batched-push-timeout’， 4000000）

# 設(shè)定pgie的配置文件

pgie.set_property（‘config-file-path’， “dstest1_pgie_config.txt”）

4. 將元件添加到導(dǎo)管之中：用pipeline.add（）

pipeline.add（source）

pipeline.add（h264parser）

pipeline.add（decoder）

pipeline.add（streammux）

pipeline.add（pgie）

pipeline.add（nvvidconv）

pipeline.add（nvosd）

pipeline.add（sink）

if is_aarch64（）：

pipeline.add（transform）

5. 將元件按照要求連接起來：本范例的管道流為file-source -》 h264-parser -》 nvh264-decoder -》 streammux -》 nvinfer -》 nvvidconv -》 nvosd -》 video-renderer

source.link（h264parser） # file-source -》 h264-parser

h264parser.link（decoder） # h264-parser -》 nvh264-decoder

# 下面粗線的三行，是streammux的特殊處理方式

sinkpad = streammux.get_request_pad（“sink_0”）

srcpad = decoder.get_static_pad（“src”）

srcpad.link（sinkpad）

streammux.link（pgie） # streammux -》 nvinfer

pgie.link（nvvidconv） # nvinfer -》 nvvidconv

nvvidconv.link（nvosd） # nvvidconv -》 nvosd

nvosd.link（transform） # nvosd -》 transform

transform.link（sink） # transform -》 video-renderer

前面5個步驟都是比較靜態(tài)的固定步驟，只要將想開發(fā)的應(yīng)用所需要的插件元件進行“創(chuàng)建”、“給值”、“連接”就可以。

接下去的部分是整個應(yīng)用中非常關(guān)鍵的靈魂，就是我們得為整個應(yīng)用去建構(gòu)“信息（message）傳遞系統(tǒng)”，這樣才能讓這個應(yīng)用與插件元件之間形成互動，進而正確執(zhí)行我們想要得到的結(jié)果。其相互關(guān)系圖如下，這里并不花時間去講解調(diào)用細節(jié)，想了解的請自行參考 Gstreamer 框架的詳細使用。

6. 創(chuàng)建一個事件循環(huán)（evnet loop）：將信息（mesages）傳入并監(jiān)控bus的信號

loop = GObject.MainLoop（）

bus = pipeline.get_bus（）

bus.add_signal_watch（）

bus.connect （“message”， bus_call， loop）

# 用osdsinkpad來確認nvosd插件是否獲得輸入

osdsinkpad = nvosd.get_static_pad（“sink”）

# 添加探針（probe）以獲得生成的元數(shù)據(jù)的通知，我們將probe添加到osd元素的接收器板中，因為到那時，緩沖區(qū)將具有已經(jīng)得到了所有的元數(shù)據(jù)。

osdsinkpad.add_probe（Gst.PadProbeType.BUFFER，

osd_sink_pad_buffer_probe， 0）

注意粗體“osd_sink_pad_buffer_probe”部分，這是代碼中另一個重點，需要自行撰寫代碼去執(zhí)行的部分，就是代碼中第41~126行的內(nèi)容，這里面的處理以“幀”為單位（在“while l_frame is not None：”里面），將該幀所檢測到的物件種類進行加總，并且將物件根據(jù)種類的顏色畫出框框。

事實上在這80+行代碼中，真正與數(shù)據(jù)處理相關(guān)的部分，只有20行左右的內(nèi)容，注釋的部分占用不小的篇幅，這是作者為大家提供非常重要的說明，只要耐心地去閱讀，就能輕松地掌握里面的要領(lǐng)。

7. 播放并收聽事件：這部分就是個“啟動器”，如同汽車鑰匙“執(zhí)行發(fā)動”功能一樣。

# 配置導(dǎo)管狀態(tài)為PLAYING就可以

pipeline.set_state（Gst.State.PLAYING）

try：

loop.run（） # 執(zhí)行前面創(chuàng)建的事件循環(huán)

except：

pass

# 執(zhí)行結(jié)束之后，需要清除導(dǎo)管，將狀態(tài)為NULL就可以

pipeline.set_state（Gst.State.NULL）

以上就是建立DeepStream應(yīng)用的標準步驟，可以將“def main（args）：”部分的代碼當(dāng)作是個模板去加以利用。

至于“osd_sink_pad_buffer_probe”函數(shù)的作用，就是從osd接收器提取接收的元數(shù)據(jù)，并更新繪圖矩形、對象信息等的參數(shù)，里面的代碼也都是標準內(nèi)容，可以在別的應(yīng)用在重復(fù)套用。更多參數(shù)優(yōu)化的細節(jié)部分，須花時間詳細閱讀DeepStream開發(fā)手冊。

接下來就實際執(zhí)行一下Python版本的deepstream-test1代碼，看看效果如何！

執(zhí)行deepstream_test_1.py

前面文章中已經(jīng)將NVIDIA/AI-IOT/deepstream-python-apps項目下載到Jetson Nano 2GB上的《deepstream《 span=“”》根目錄》/sources下面，現(xiàn)在就到這個目錄下去執(zhí)行

cd《deepstream《 span=“”》根目錄》/sources/deepstream_python_apps/apps

cd deepstream-test1

下面有執(zhí)行文件deepstream_test_1.py、配置文件dstest1_pgie_config.txt與說明文件README，這個配置文件就是步驟3最后“pgie.set_property”里面指定的文件，在執(zhí)行文件里看不到任何與推理模型相關(guān)的內(nèi)容，原來都放在設(shè)定文件里面去指定了。

關(guān)于設(shè)定文件的參數(shù)設(shè)定部分，是相對容易了解的，這里不多花時間說明，接下去直接執(zhí)行以下指令看看執(zhí)行結(jié)果：

python3 deepstream_test_1.py 。。/。。/。。/。。/samples/streams/sample_720p.h264

就能跑出我們熟悉的結(jié)果，

如果覺得左上方顯示的字體太小，請自行改動代碼第110行的字體號數(shù)。字體放大到20號時候的顯示結(jié)果，現(xiàn)在就可以看到很清楚了。

到這里，相信您應(yīng)該對DeepStream代碼有更深層次的了解，在了解整個框架與工作流程之后，可以發(fā)現(xiàn)要開發(fā)一個基礎(chǔ)應(yīng)用，并不是一件太困難的事情，不過建議您多反復(fù)閱讀代碼內(nèi)的每一行說明，并且自行適度修改些參數(shù)看看效果會有什么變化，一旦熟悉這些邏輯與交互關(guān)系之后，就會覺得DeepStream其實很簡單。

編輯：jq