在人工智能和計(jì)算機(jī)視覺(jué)中，數(shù)據(jù)采集成本高、耗時(shí)長(zhǎng)，并且基于人的標(biāo)記容易出錯(cuò)。模型的準(zhǔn)確性還受到數(shù)據(jù)不足和不平衡以及改進(jìn)深度學(xué)習(xí)模型所需的時(shí)間延長(zhǎng)的影響。它總是要求在現(xiàn)實(shí)世界中重新獲取數(shù)據(jù)。

基于人工智能培訓(xùn)的數(shù)據(jù)收集、準(zhǔn)備和準(zhǔn)確可靠的軟件解決方案的開(kāi)發(fā)是一個(gè)極其艱苦的過(guò)程。所需的投資成本抵消了部署該系統(tǒng)的預(yù)期收益。

用合成數(shù)據(jù)代替真實(shí)數(shù)據(jù)進(jìn)行訓(xùn)練是縮小數(shù)據(jù)差距、加速模型訓(xùn)練的一種方法 天空發(fā)動(dòng)機(jī) 提供了一個(gè) AI 平臺(tái)，將深度學(xué)習(xí)轉(zhuǎn)移到虛擬現(xiàn)實(shí)中。可以使用模擬生成合成數(shù)據(jù)，其中合成圖像帶有可直接用于訓(xùn)練 AI 模型的注釋。

合成數(shù)據(jù)現(xiàn)在可以直接導(dǎo)出到 NVIDIA 遷移學(xué)習(xí)工具包 （ TLT ）上運(yùn)行， TLT 是一個(gè)人工智能訓(xùn)練工具箱，通過(guò)抽象出人工智能/ DL 框架的復(fù)雜性來(lái)簡(jiǎn)化訓(xùn)練。這使您能夠更快地構(gòu)建生產(chǎn)質(zhì)量模型，而不需要任何人工智能專(zhuān)業(yè)知識(shí)。有了 SKY ENGINE AI 平臺(tái)和 TLT ，您可以快速迭代和構(gòu)建 AI 。

在這篇文章中，您將學(xué)習(xí)如何通過(guò)獲取預(yù)先說(shuō)明的合成數(shù)據(jù)并在 TLT 上對(duì)其進(jìn)行訓(xùn)練來(lái)利用合成數(shù)據(jù)的威力。我演示了一個(gè)簡(jiǎn)單的檢查用例，使用分段來(lái)識(shí)別電信塔上的天線。

關(guān)于天空引擎人工智能方法

SKY ENGINE 推出了一個(gè)用于虛擬現(xiàn)實(shí)深度學(xué)習(xí)的全棧 AI 平臺(tái)，這是下一代用于圖像和視頻分析應(yīng)用的主動(dòng)學(xué)習(xí) AI 系統(tǒng)。 SKY ENGINE 人工智能平臺(tái)可以使用一個(gè)專(zhuān)有的、專(zhuān)用的模擬系統(tǒng)生成數(shù)據(jù)，在這個(gè)系統(tǒng)中，圖像已經(jīng)經(jīng)過(guò)注釋?zhuān)梢赃M(jìn)行深入學(xué)習(xí)。

輸出數(shù)據(jù)流可以包括以下任一項(xiàng)：

所選模式中的渲染圖像或其他模擬傳感器數(shù)據(jù)

對(duì)象邊界框

三維邊界框

語(yǔ)義遮罩

二維或三維骨架

深度貼圖

法向量映射

天空引擎人工智能還包括先進(jìn)的領(lǐng)域適應(yīng)算法，可以了解真實(shí)數(shù)據(jù)的特點(diǎn)的例子。它們保證了推理過(guò)程中任何經(jīng)過(guò)訓(xùn)練的人工智能模型的高質(zhì)量性能。

圖 1 天空引擎 AI 平臺(tái)用戶界面預(yù)覽。

天空引擎模擬系統(tǒng)支持物理驅(qū)動(dòng)的傳感器模擬（相機(jī)、熱視覺(jué)、紅外、激光雷達(dá)、雷達(dá)等） 傳感器數(shù)據(jù)融合。它與深度學(xué)習(xí)管道緊密結(jié)合，以確保進(jìn)化。在訓(xùn)練過(guò)程中，天空引擎人工智能可以發(fā)現(xiàn)模糊的情況，從而降低人工智能模型的準(zhǔn)確性。它可以獲得更多的圖像數(shù)據(jù)來(lái)反映那些深層次學(xué)習(xí)精度可以瞬間提高的問(wèn)題情境。天空引擎 AI 通過(guò)每一個(gè)執(zhí)行的實(shí)驗(yàn)學(xué)到了更多。

天空引擎 AI 提供了一個(gè)完全實(shí)現(xiàn)、測(cè)試和優(yōu)化的深度神經(jīng)網(wǎng)絡(luò)花園。提供的模型專(zhuān)用于流行的計(jì)算機(jī)視覺(jué)任務(wù)，如目標(biāo)檢測(cè)和語(yǔ)義分割。它們還可以作為更復(fù)雜的拓?fù)浣Y(jié)構(gòu)，用于三維位置和姿態(tài)估計(jì)、三維幾何推理或表示學(xué)習(xí)。

天空引擎人工智能還包括先進(jìn)的領(lǐng)域適應(yīng)算法，可以了解實(shí)際數(shù)據(jù)的特點(diǎn)，并確保訓(xùn)練模型推理的性能。天空引擎 AI 不需要復(fù)雜的渲染和成像知識(shí)，因此入門(mén)門(mén)檻非常低。它有一個(gè) Python API ，包括大量的幫助程序來(lái)快速構(gòu)建和配置環(huán)境。

神經(jīng)網(wǎng)絡(luò)優(yōu)化

SKY ENGINE AI 平臺(tái)可以生成數(shù)據(jù)集，并支持深度學(xué)習(xí)模型的培訓(xùn)，該模型可以使用來(lái)自任何來(lái)源的輸入數(shù)據(jù)。在 NVIDIA TLT 和 AI 驅(qū)動(dòng)推理中訓(xùn)練 AI 模型的輸入流可以有效地包括使用智能手機(jī)獲得的低質(zhì)量圖像、來(lái)自 CCTV 攝像機(jī)或安裝在無(wú)人機(jī)上的攝像機(jī)的數(shù)據(jù)。

您可以在云上部署用于電信網(wǎng)絡(luò)性能優(yōu)化的分析模塊，包括數(shù)據(jù)存儲(chǔ)和多 GPU 擴(kuò)展。在這個(gè)領(lǐng)域，大多數(shù)由機(jī)器學(xué)習(xí)驅(qū)動(dòng)的軟件項(xiàng)目都無(wú)法達(dá)到解決方案部署的最后階段。這可能是因?yàn)闄C(jī)器學(xué)習(xí)能力高度依賴于輸入數(shù)據(jù)的質(zhì)量。 SKY ENGINE 提供的人工智能模型的開(kāi)發(fā)以及對(duì)合成數(shù)據(jù)的深入培訓(xùn)，是一個(gè)具有可預(yù)測(cè)的項(xiàng)目開(kāi)發(fā)和在多個(gè)工業(yè)業(yè)務(wù)流程中保證部署的解決方案。

電信設(shè)備檢測(cè)與分類(lèi)

計(jì)算機(jī)視覺(jué)的一個(gè)常見(jiàn)任務(wù)是對(duì)感興趣的設(shè)備進(jìn)行定位和分類(lèi)。在這篇文章中，我提出了一個(gè)基于 MaskRCNN 的 NVIDIA TLT 環(huán)境的神經(jīng)網(wǎng)絡(luò)優(yōu)化過(guò)程，用于電信塔天線實(shí)例的包圍盒定位。你使用來(lái)自天空引擎 AI 的合成數(shù)據(jù)來(lái)訓(xùn)練 MaskRCNN 模型。高層工作流程如下：

生成帶注釋的合成數(shù)據(jù)。

根據(jù) NVIDIA TLT-MaskRCNN 模型的要求將數(shù)據(jù)格式轉(zhuǎn)換為 COCO 。

配置 NGC 環(huán)境和數(shù)據(jù)預(yù)處理。

在合成數(shù)據(jù)上訓(xùn)練和評(píng)估 MaskRCNN 模型。

使用訓(xùn)練好的人工智能模型對(duì)合成和真實(shí)的電信塔進(jìn)行推理。

給出了電信塔的真實(shí)示例，我使用 SE 呈現(xiàn)引擎創(chuàng)建了一個(gè)帶注釋的合成數(shù)據(jù)集。

要使用 SKY ENGINE AI 啟動(dòng)標(biāo)記數(shù)據(jù)的自動(dòng)生成并準(zhǔn)備數(shù)據(jù)源對(duì)象，必須定義基本工具（如空渲染器上下文）以及合成場(chǎng)景資源所在的路徑。

在這個(gè)渲染場(chǎng)景中，我隨機(jī)化了以下內(nèi)容：

給定電信塔上天線的數(shù)目

光的方向

攝像機(jī)的位置

攝像機(jī)的水平視野

背景圖

在許多項(xiàng)目中， SKY 引擎返回的樣本洗牌不夠。一個(gè)例子是渲染過(guò)程遵循攝影機(jī)軌跡。因此，我建議在將數(shù)據(jù)劃分為訓(xùn)練集和測(cè)試集之前對(duì)其進(jìn)行額外的洗牌。

生成圖像后，利用 SKY 引擎的數(shù)據(jù)輸出模塊將圖像轉(zhuǎn)換為 COCO 格式。這是 NVIDIA TLT 框架所要求的。根據(jù)文檔準(zhǔn)備好配置文件后，可以使用 TensorFlow 后端運(yùn)行 TLT 預(yù)訓(xùn)練掩碼 RCNN 模型的培訓(xùn)：

!tlt mask_rcnn train -e $SPECS_DIR/maskrcnn_train_telco_resnet50.txt \
 -d $USER_EXPERIMENT_DIR/experiment_telco_anchors \
 -k $KEY \
 --gpus1 

最后一步，運(yùn)行一個(gè)經(jīng)過(guò)訓(xùn)練的深度學(xué)習(xí)模型，對(duì)真實(shí)數(shù)據(jù)進(jìn)行推理，以查看該模型是否準(zhǔn)確地執(zhí)行了感興趣的任務(wù)。

!tlt mask_rcnn inference -i $DATA_DIR/valid_images \
 -o $USER_EXPERIMENT_DIR/se_telco_maskrcnn_inference_synth \
 -e $SPECS_DIR/maskrcnn_train_telco_resnet50.txt \
 -m $USER_EXPERIMENT_DIR/experiment_telco_anchors/model.step-20000.tlt \
 -l $SPECS_DIR/telco_labels.txt \
 -t 0.5 \
 -b 1 \
 -k $KEY \
 --include_mask 

概括

在本文中，我演示了如何使用 SKY ENGINE 的合成數(shù)據(jù)，并使用 NVIDIA TLT 對(duì)其進(jìn)行訓(xùn)練和優(yōu)化，從而減少數(shù)據(jù)收集和注釋工作。我提出了一個(gè)用于電信行業(yè)的單天空引擎人工智能用例。

關(guān)于作者

Jakub Pietrzak 是 Sky Engine AI 的首席技術(shù)官。他負(fù)責(zé) GPU 加速研究、數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)算法開(kāi)發(fā)。他是一名計(jì)算機(jī)視覺(jué)魔術(shù)師，在機(jī)器學(xué)習(xí)、光線跟蹤和數(shù)字圖像處理方面有 15 年以上的經(jīng)驗(yàn)。 Jakub 曾為歐洲最大的電影制片廠開(kāi)發(fā)深度學(xué)習(xí)動(dòng)力運(yùn)動(dòng)捕捉系統(tǒng)，并參與了華沙腫瘤中心的醫(yī)學(xué)影像研究項(xiàng)目。他的博士學(xué)位。 Jakub 探索了在合成數(shù)據(jù)上訓(xùn)練神經(jīng)網(wǎng)絡(luò)的思想，以及虛擬現(xiàn)實(shí)中機(jī)器學(xué)習(xí)問(wèn)題的再創(chuàng)造。

審核編輯：郭婷