如今，零售商可以使用商店中安裝的攝像頭和傳感器提供的大量視頻數(shù)據(jù)。利用計(jì)算機(jī)視覺(jué) AI 應(yīng)用程序，零售商和軟件合作伙伴可以更快地開(kāi)發(fā) AI 應(yīng)用程序同時(shí)提供更高的準(zhǔn)確性。這些應(yīng)用程序可以幫助零售商：

了解店內(nèi)顧客行為和購(gòu)買偏好

減少收縮

通知員工庫(kù)存不足或耗盡

改進(jìn)商品銷售

優(yōu)化操作

大規(guī)模構(gòu)建和部署這種高效的計(jì)算機(jī)視覺(jué)人工智能應(yīng)用帶來(lái)了許多挑戰(zhàn)。傳統(tǒng)技術(shù)耗時(shí)，需要密集的開(kāi)發(fā)工作和人工智能專業(yè)知識(shí)來(lái)繪制所有復(fù)雜的架構(gòu)和選項(xiàng)。這些可以包括構(gòu)建定制的人工智能模型、部署高性能視頻解碼和人工智能推理管道，以及生成有洞察力的分析儀表板。

NVIDIA 的 SDK 套件有助于簡(jiǎn)化此工作流。您可以使用 NVIDIA DeepStream SDK 創(chuàng)建具有最低配置的高質(zhì)量視頻分析，并使用 NVIDIA TAO Toolkit 創(chuàng)建簡(jiǎn)單的模型訓(xùn)練過(guò)程。

這篇文章提供了一個(gè)教程，介紹如何使用 NVIDIA DeepStream SDK 和 NVIDIA TAO Toolkit 構(gòu)建一個(gè)可以在零售領(lǐng)域執(zhí)行實(shí)時(shí)智能視頻分析（ IVA ）的示例應(yīng)用程序。

要?jiǎng)?chuàng)建端到端零售愿景 AI 應(yīng)用程序，請(qǐng)遵循以下步驟：

使用 NVIDIA 預(yù)訓(xùn)練模型進(jìn)行人員檢測(cè)和跟蹤。

使用 NVIDIA TAO 工具包為特定零售使用案例定制計(jì)算機(jī)視覺(jué)模型。

使用 Apache Kafka 開(kāi)發(fā) NVIDIA DeepStream 管道，用于視頻分析和流式推理輸出。 Kafka 是一個(gè)用于 stream processing 、實(shí)時(shí)數(shù)據(jù)管道和大規(guī)模數(shù)據(jù)集成的開(kāi)源分布式流系統(tǒng)。

設(shè)置 Kafka Consumer 將推理數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)中。

開(kāi)發(fā)一個(gè) Django web 應(yīng)用程序，使用各種指標(biāo)分析商店性能。

您可以使用 NVIDIA-AI-IOT/deepstream-retail-analytics GitHub repo 上的代碼來(lái)實(shí)現(xiàn)這個(gè)示例應(yīng)用程序。

此示例的最終產(chǎn)品是一個(gè)自定義儀表板，如圖 1 所示。該儀表板提供分析見(jiàn)解，如商店流量趨勢(shì)、帶購(gòu)物籃的顧客數(shù)量、過(guò)道占用率等。

圖 1 。用于可視化推斷數(shù)據(jù)的前端儀表板

應(yīng)用程序體系結(jié)構(gòu)簡(jiǎn)介

在深入了解詳細(xì)的工作流之前，本節(jié)概述了用于構(gòu)建此項(xiàng)目的工具。

NVIDIA DeepStream SDK 公司

NVIDIA DeepStream SDK 是 NVIDIA 的流媒體分析工具包，支持 GPU 加速視頻分析，支持跨各種硬件平臺(tái)的高性能 AI 推理。 DeepStream 包括幾個(gè) reference applications 以啟動(dòng)開(kāi)發(fā)。這些參考應(yīng)用程序可以很容易地進(jìn)行修改，以適應(yīng)新的用例，并且可以在 DeepStream Docker 鏡像和 GitHub 上的 deepstream_reference_apps 中獲得。

該零售視覺(jué) AI 應(yīng)用程序構(gòu)建在兩個(gè)參考應(yīng)用程序之上，- deepstream-test4 和 deepstream test5 。圖 2 顯示了典型 DeepStream 應(yīng)用程序的體系結(jié)構(gòu)。

圖 2 : NVIDIA DeepStream 參考應(yīng)用程序架構(gòu)

NVIDIA TAO 工具包和預(yù)訓(xùn)練模型

NVIDIA TAO （訓(xùn)練、調(diào)整和優(yōu)化）工具包可將各種 AI 預(yù)訓(xùn)練模型微調(diào)到新領(lǐng)域。 TAO 工具包與 DeepStream 應(yīng)用程序配合使用，以執(zhí)行獨(dú)特用例的分析。

在本項(xiàng)目中，該模型用于檢測(cè)客戶是否攜帶購(gòu)物籃。 DeepStream 實(shí)現(xiàn)了 TAO 工具包與其現(xiàn)有管道的無(wú)縫集成，無(wú)需進(jìn)行大量配置。

使用 TAO 工具包很容易。 TAO 工具包為 100 多種 CV 架構(gòu)和主干的組合提供了完整的 Jupyter notebooks 模型定制。 TAO 工具包還為常見(jiàn)零售任務(wù)（如 people detection 、 pose estimation 和 action recognition 等）提供了一個(gè)特定于任務(wù)的預(yù)訓(xùn)練模型庫(kù)。要開(kāi)始，請(qǐng)參見(jiàn) TAO Toolkit Quick Start 。

零售視覺(jué) AI 應(yīng)用程序工作流

零售視覺(jué) AI 應(yīng)用程序架構(gòu)（圖 3 ）由以下階段組成：

具有以下配置的DeepStream 管道：

主檢測(cè)器：從 NGC 配置 PeopleNet 預(yù)訓(xùn)練模型以檢測(cè)“人員”

二級(jí)檢測(cè)器：使用 TAO 工具包訓(xùn)練的自定義分類模型，用于購(gòu)物籃檢測(cè)

對(duì)象跟蹤器： NvDCF 跟蹤器（在精度配置中），用于跟蹤視頻流中的移動(dòng)

消息轉(zhuǎn)換器：消息轉(zhuǎn)換器，用于從推斷數(shù)據(jù)生成自定義 Kafka 流負(fù)載

MessageBroker ：將推斷數(shù)據(jù)中繼到 Kafka 接收器的消息代理

kSQL 時(shí)間序列數(shù)據(jù)庫(kù)：用于存儲(chǔ)邊緣推理服務(wù)器的推理輸出流

Django Web Application：應(yīng)用程序，用于分析存儲(chǔ)在 kSQL 數(shù)據(jù)庫(kù)中的數(shù)據(jù)，以生成有關(guān)存儲(chǔ)性能的見(jiàn)解，并將這些指標(biāo)用作 RESTful API 和 web 儀表板

圖 3 。零售視覺(jué) AI 應(yīng)用架構(gòu)

此外，此應(yīng)用程序是為具有 NVIDIA GPU 的 x86 平臺(tái)構(gòu)建的。然而，它可以很容易地部署在 NVIDIA Jetson 嵌入式平臺(tái)上，例如 NVIDIA ZVK4] AGX Orin 。

下一節(jié)將引導(dǎo)您完成構(gòu)建應(yīng)用程序所涉及的步驟。

步驟 1 ：構(gòu)建自定義 NVIDIA DeepStream 管道

要構(gòu)建零售數(shù)據(jù)分析管道，請(qǐng)從 NVIDIA DeepStream reference applications deepstream-test4 和 deepstream-1test5 開(kāi)始。 deepstream-retail-analytics GitHub repo 中提供了管道代碼和流程的詳細(xì)描述。我們建議使用本文作為對(duì)存儲(chǔ)庫(kù)中代碼的演練。

deepstream-test4 應(yīng)用程序是一個(gè)引用 DeepStream 管道，它演示了將custom-detected對(duì)象添加為NVDS_EVENT_MSG_META用戶元數(shù)據(jù)并將其附加到要發(fā)布的緩沖區(qū)。 deepstream-test5 是一個(gè)端到端應(yīng)用程序，它演示了如何在多流管道中使用nvmsgconv和nvmsgbroker插件，創(chuàng)建NVDS_META_EVENT_MSG類型的元，以及使用 Kafka 和其他匯類型的流推理輸出。

除了主對(duì)象檢測(cè)器之外，該管道還集成了一個(gè)輔助分類器，一旦在零售視頻分析應(yīng)用程序中檢測(cè)到某人，該分類器可用于檢測(cè)購(gòu)物者屬性。 test4 應(yīng)用程序用于修改nvmsgconv插件以包括零售分析屬性。然后，在 Kafka 主題上使用nvmsgbroker從管道中獲取二級(jí)分類器和流式數(shù)據(jù)，請(qǐng)參考 test5 應(yīng)用程序。

由于工作流的第一步是從視頻源中識(shí)別人和對(duì)象，因此首先使用 deepstream-test4 應(yīng)用程序進(jìn)行主要對(duì)象檢測(cè)。該對(duì)象檢測(cè)是在 PeopleNet 預(yù)訓(xùn)練模型上完成的，默認(rèn)情況下，該模型接受視頻輸入并檢測(cè)人或其物品。

對(duì)于此用例，請(qǐng)配置模型以僅捕獲有關(guān)人員的信息。這可以通過(guò)僅存儲(chǔ)關(guān)于數(shù)據(jù)集中包含人物的幀子集的信息來(lái)輕松實(shí)現(xiàn)。

完成主person對(duì)象檢測(cè)后，使用 deepstream-test5 添加輔助對(duì)象分類模型。該對(duì)象分類顯示檢測(cè)到的人是否攜帶籃子。

步驟 2 ：使用 NVIDIA TAO 工具包構(gòu)建購(gòu)物籃檢測(cè)的自定義模型

本節(jié)介紹如何使用 TAO 工具包來(lái)微調(diào)對(duì)象分類模型，并找出 PeopleNet 模型中檢測(cè)到的人是否攜帶購(gòu)物籃。

首先，從零售環(huán)境收集并注釋訓(xùn)練數(shù)據(jù)，以執(zhí)行對(duì)象分類。使用 Computer Vision Annotation Tool （ CVAT ）為觀察到的人標(biāo)注以下標(biāo)簽：

hasBasket：有人提著籃子

noBasket：人沒(méi)有提籃子

此注釋存儲(chǔ)為 KITTI 格式的數(shù)據(jù)集，其中每行對(duì)應(yīng)一個(gè)幀，因此對(duì)應(yīng)一個(gè)對(duì)象。要使數(shù)據(jù)與對(duì)象分類兼容，請(qǐng)使用 GitHub 上的示例 ‘kitti_to_classification‘ Python file 裁剪數(shù)據(jù)集。然后可以對(duì)其執(zhí)行對(duì)象分類。

接下來(lái)，使用 TAO 工具包微調(diào) Resnet34 圖像分類模型，以對(duì)訓(xùn)練數(shù)據(jù)執(zhí)行分類。在 GitHub 上 deepstream-retail-analytics/tree/main/TAO 了解有關(guān)微調(diào)過(guò)程的更多信息。

創(chuàng)建自定義模型后，運(yùn)行推斷以驗(yàn)證模型是否按預(yù)期工作。

步驟 3 ：集成 Kafka 消息代理以創(chuàng)建自定義前端儀表板

隨著主要對(duì)象檢測(cè)和次要對(duì)象分類模型準(zhǔn)備就緒， DeepStream 應(yīng)用程序需要將該推斷數(shù)據(jù)轉(zhuǎn)發(fā)到分析 web 服務(wù)器。使用 deepstream-test5 參考應(yīng)用程序作為模板，使用 ApacheKafka 流式傳輸數(shù)據(jù)。

這里，內(nèi)置在 DeepStream 中的 Kafka 適配器用于向 Kafka 消息代理發(fā)布消息。一旦 web 服務(wù)器從商店內(nèi)的每個(gè)攝像頭接收到 Kafka 流，這些推斷輸出數(shù)據(jù)就會(huì)存儲(chǔ)在一個(gè) kSQL 時(shí)間序列數(shù)據(jù)庫(kù)中。

DeepStream 有一個(gè)默認(rèn)的 Kafka 消息共享庫(kù)對(duì)象，使用戶能夠執(zhí)行主要對(duì)象檢測(cè)并無(wú)縫傳輸數(shù)據(jù)。這個(gè)項(xiàng)目進(jìn)一步修改了這個(gè)庫(kù)，以包括關(guān)于二級(jí)分類器的信息。這有助于流式傳輸商店內(nèi)購(gòu)物籃使用的數(shù)據(jù)。

當(dāng)前 DeepStream 庫(kù)包括NvDsPersonObject、 ，用于定義在主檢測(cè)器中檢測(cè)到的persons。為了確?；@子檢測(cè)唯一地映射到每個(gè)人，請(qǐng)修改該類，使其除了先前存在的屬性之外，還包含hasBasket屬性。有關(guān)詳細(xì)信息，請(qǐng)?jiān)L問(wèn) GitHub 上的 deepstream-retail-analytics/tree/main/nvmsgconv 。

在修改NvDsPersonObject 以包括籃檢測(cè)后，使用圖 5 所示的管道以確?；@檢測(cè)功能正常工作。

圖 5 。零售視覺(jué) AI 應(yīng)用管道

如圖 5 中的應(yīng)用程序管道所示，對(duì)象檢測(cè)和跟蹤是在pgie和sgie.的幫助下執(zhí)行的。這些 是nvinfer 插件[VZX6]的一部分，作為主要和次要推理引擎。使用nvtracker，將數(shù)據(jù)傳輸?shù)絥vosd 插件。這個(gè)nvosd 插件負(fù)責(zé)在前面章節(jié)中檢測(cè)到的對(duì)象周圍繪制方框。

接下來(lái)，需要根據(jù)特定的模式將該推斷數(shù)據(jù)轉(zhuǎn)換為消息負(fù)載， Kafka 消息代理稍后可以使用該模式來(lái)存儲(chǔ)和分析結(jié)果。使用NvDsPersonsObject （先前生成） 作為 eventmsg_payload file. 中更新的有效載荷

最后，您現(xiàn)在有了帶有自定義模式的消息負(fù)載。使用此命令將其傳遞給 Kafka 協(xié)議適配器，并發(fā)布 DeepStream 應(yīng)用程序在指定的代理地址和主題向 Kafka 消息代理發(fā)送的消息。此時(shí)，最終的消息負(fù)載已準(zhǔn)備就緒。

現(xiàn)在 DeepStream 管道已經(jīng)準(zhǔn)備好，構(gòu)建一個(gè) web 應(yīng)用程序，將流式推理數(shù)據(jù)存儲(chǔ)到一個(gè) kSQL 數(shù)據(jù)庫(kù)中。這個(gè)使用 Django 框架構(gòu)建的 web 應(yīng)用程序分析推理數(shù)據(jù)，以生成與前面討論的商店性能相關(guān)的指標(biāo)。這些指標(biāo)可通過(guò) GitHub 上 deepstream-retail-analytics/tree/main/ds-retail-iva-frontend 中記錄的 RESTful API 獲得。

為了演示 API 功能，我們構(gòu)建了一個(gè)前端 web 儀表板，以可視化分析服務(wù)器的結(jié)果。此儀表板充當(dāng)整個(gè)門(mén)店分析系統(tǒng)的模板。

Results

前面的步驟演示了如何使用 NVIDIA DeepStream 和 NVIDIA TAO 工具包輕松開(kāi)發(fā)端到端零售視頻分析管道。這條管道幫助零售企業(yè)利用已有的視頻源，并找到他們可以用來(lái)提高利潤(rùn)的有洞察力的信息。

該工作流以易于使用的 web 儀表板為高潮，可實(shí)時(shí)分析寶貴的全店數(shù)據(jù)。如圖 1 所示，儀表板顯示以下信息：

全天門(mén)店訪客數(shù)量

關(guān)于帶籃子和不帶籃子購(gòu)物的客戶比例的信息

每個(gè)商店過(guò)道的訪客數(shù)

門(mén)店入住熱圖

客戶旅程可視化

這些屬性可以很容易地修改，以包括與每個(gè)單獨(dú)商店更相關(guān)的特定用例的信息。商店可以使用這些信息來(lái)安排人員配置并改進(jìn)商店布局，以最大限度地提高效率。

例如，圖 6 顯示了全天商店中顧客的總體分布，以及帶籃子和不帶籃子的顧客的比例。雖然此示例應(yīng)用程序僅支持單個(gè)攝像機(jī)流，但可以輕松修改以支持多個(gè)攝像機(jī)。將此應(yīng)用程序擴(kuò)展到多個(gè)商店同樣容易。

圖 6 。一段時(shí)間內(nèi)商店中顧客數(shù)量的推斷數(shù)據(jù)（左），以及有籃子的顧客與沒(méi)有籃子的顧客的比率（右）

應(yīng)用程序通過(guò)設(shè)置hasBasket屬性來(lái)唯一檢測(cè)person 11攜帶購(gòu)物籃，而未攜帶購(gòu)物籃的其他客戶則標(biāo)記為noBasket。此外，帶有紙板箱的person 1未被識(shí)別為有籃子。因此，該模型對(duì)誤報(bào)是魯棒的，確保它被成功訓(xùn)練為只獲取該用例的相關(guān)信息。

總結(jié)

這篇文章展示了一個(gè)端到端的過(guò)程，即使用 NVIDIA TAO 工具包和 NVIDIA DeepStream SDK 開(kāi)發(fā)視覺(jué) AI 應(yīng)用程序，以執(zhí)行零售分析。零售企業(yè)可以利用現(xiàn)有的視頻數(shù)據(jù)流，并構(gòu)建最先進(jìn)的視頻分析應(yīng)用程序。這些應(yīng)用程序可以實(shí)時(shí)部署，啟動(dòng)時(shí)只需最少的配置。此外，該應(yīng)用程序的高度可定制性確保了它可以應(yīng)用于商店可能受益的任何用例。

開(kāi)始使用 GitHub 上的示例 deepstream-retail-analytics 應(yīng)用程序。