建設(shè)訓(xùn)練和測試場地以幫助將運動分析 AI 解決方案從實驗室推進到現(xiàn)實世界是一項極具挑戰(zhàn)性的任務(wù)。在以團隊為基礎(chǔ)的體育運動中，在冠軍賽季前制定正確的比賽策略是任何職業(yè)教練和俱樂部所有者成功的關(guān)鍵。

盡管教練們努力在比賽中提供最佳提示并指出錯誤，但他們?nèi)匀粺o法在重新觀看比賽時注意到雙方的每一個細節(jié)和行為模式。要收集這些數(shù)據(jù)，分析它們，并對團隊行為做出推斷，您可以使用復(fù)雜的 AI 算法。

特別是，我們想要解決的任務(wù)類型是培養(yǎng)橄欖球隊的分析能力，即比賽期間每個球員的位置以及每個球員在球場上的 3D 姿勢。實時獲得這些信息為制定更好的游戲策略提供了必要的證據(jù)。

在許多體育分析案例中，一類問題已經(jīng)找到了有效的解決方案，但無法有效應(yīng)用——主要瓶頸是缺少數(shù)據(jù)。

收集和標(biāo)記數(shù)據(jù)的過程可能既昂貴又耗時。人類必須手動分析圖像，與計算機相比，這種重復(fù)性工作不僅速度慢、成本高，而且精確度也較低。

此外，還有一些情況需要現(xiàn)代設(shè)備來生成標(biāo)記數(shù)據(jù)，并需要高素質(zhì)的專家來維護生產(chǎn)過程。這種情況顯著增加了項目成本，或者在許多情況下，使利益相關(guān)者無法實現(xiàn)體育分析項目。

基于團隊的運動：機器學(xué)習(xí)和計算機視覺的誘人機會

如果你能自動生成圖像和視頻數(shù)據(jù)，完全適合手頭的任務(wù)，并內(nèi)置完整且始終正確的地面真相，會怎么樣？

在這篇文章中，我們將以足球或橄欖球運動員的 3D 姿勢識別為例，展示我們實現(xiàn)這一目標(biāo)的嘗試。目標(biāo)是訓(xùn)練人工智能模型，以準(zhǔn)確識別足球運動員及其姿勢，將其作為真實比賽畫面上 3D 空間中的人體關(guān)鍵點。

人工智能模型專門針對使用 SKY ENGINE 人工智能平臺和 NVIDIA RTX 機器生成的人工合成數(shù)據(jù)進行訓(xùn)練。生成的圖像是完全由 SKY ENGINE 渲染器控制的模擬場景。根據(jù)模型的要求，可以提供各種基本事實。

具有 NVIDIA RTX 核心的 SKY ENGINE AI 渲染引擎為深度學(xué)習(xí)提供基于物理的渲染。異構(gòu)系統(tǒng)由 NVIDIA Titan RTX 和 NVIDIA V100 GPU 組成。這是一種高效且功能強大的配置，可以同時生成標(biāo)記的多光譜 （如果需要）數(shù)據(jù)集和訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

這種方法的主要優(yōu)點包括：

有效處理不平衡數(shù)據(jù)

準(zhǔn)確檢測制服和體育場上的標(biāo)識（誤報）

通常，帶有壓縮偽影的噪聲、低質(zhì)量數(shù)據(jù)流不會降低 AI 驅(qū)動的推理精度

可以有效地導(dǎo)出廣播攝像機的未知參數(shù)

提供高質(zhì)量的 3D 貼圖

可以精確地對小目標(biāo)進行姿態(tài)估計

運動和構(gòu)造的復(fù)雜結(jié)構(gòu)可以準(zhǔn)確識別

NVIDIA RTX 體系結(jié)構(gòu)的高效數(shù)據(jù)處理和計算優(yōu)化

下面是 SKY ENGINE AI 平臺中解決的 3D 姿勢估計問題的完整解決方案。

使用 SKY ENGINE AI 平臺的運動分析案例

首先，必須配置渲染引擎，定義渲染數(shù)據(jù)源，并訓(xùn)練 AI 模型以進行人體檢測和 3D 姿勢估計。

資源加載和渲染引擎配置

從加載體育場幾何體的資源開始。這些資源在標(biāo)準(zhǔn) 3D 建模軟件中準(zhǔn)備，并以 Alembic 格式加載到 SKY ENGINE 中。

renderer_ctx.load_abc_scene('stadium')
renderer_ctx.setup()

接下來，顯示體育場的加載幾何體：

with example_assistant.get_visualizer() as visualizer:
visualizer(renderer_ctx.render_to_numpy())

下一步需要使用 Python API 加載幾何體的紋理：

stadium_base_textures = SubstanceTextureProvider(renderer_ctx, 'concrete')
stadium_base_params = PBRShader.create_parameter_provider(renderer_ctx, tex_scale=50)
renderer_ctx.set_material_definition('stadion_base_GEO',
??MaterialDefinition(stadium_base_textures, parameter_set=stadium_base_params))

如前所示， SKY ENGINE 提供了對程序紋理的完全支持，這帶來了各種數(shù)據(jù)的快速生成以及基于物理的渲染（ PBR 著色器）。

定義環(huán)境地圖如下：

renderer_ctx.define_env(Background(renderer_ctx,
EnvMapMiss(renderer_ctx),
HdrTextureProvider(renderer_ctx, 'light_sky')))

此時，場景中已渲染體育場。下一步是配置整個場景并用播放器填充它。您可以使用一種方便的實例化機制來實現(xiàn)這一點。

“天空引擎”（ SKY ENGINE ）渲染器提供了幾乎無限的可能性來洗牌、乘法、隨機化和組織資源。從某個玩家的單個 Alembic 動畫中，您將創(chuàng)建兩個團隊，每個團隊由 20 名玩家組成。

renderer_ctx.layout().duplicate_subtree(renderer_ctx, 'player_GEO_NUL', suffix='team2')
renderer_ctx.layout().get_node('player_GEO_NUL').n_instances = 20
renderer_ctx.layout().get_node('player_GEO_NUL_team2').n_instances = 20

默認情況下，所有材質(zhì)都是隨機繪制的。要創(chuàng)建兩個合適的球隊，您需要確保給定球隊中的每個球員都有相同顏色的球衣。保持所有其他輸入的隨機性，例如頭發(fā)、膚色、襪子顏色、襯衫編號等。

要實現(xiàn)這一點，您必須將玩家分成不同的隨機分組，并定義他們的繪圖策略?？刂埔r衫顏色的 Substance archive 輸入為 Colors _ select 。在隨機化組內(nèi)需要相同（同步），組間需要不同。默認情況下，所有其他輸入保持隨機化。

shirt_sync = SynchronizedInput(SynchronizationDescription(
in_strategy=Synchronization.DISTINCT_EQUAL_GROUPS))
player_material_strategy = DrawingStrategy(renderer_ctx, inputs_strategies={'Colors_select': shirt_sync})
renderer_ctx.instancers['player_GEO'].modify_material_definition(strategy=player_material_strategy)
renderer_ctx.instancers['player_GEO_team2'].modify_material_definition(randomization_group='team2',
strategy=player_material_strategy)

圖 5 顯示了每個玩家都處于相同的姿勢。默認情況下， SKY ENGINE 逐幀播放 Alembic 文件中的動畫，因此必須隨機化此參數(shù)。

player_geometry_strategy = DrawingStrategy(renderer_ctx, frame_numbers_strategy=UniformRandomInput())
renderer_ctx.instancers['player_GEO'].modify_geometry_definition(strategy=player_geometry_strategy)

橄欖球比賽中，球員分布不均勻；他們傾向于聚集在一起，靠得更近。為了使場景看起來更自然，可以更改繪制球員位置的方式。您可以使用隨機高斯分布，而不是均勻地繪制它們。它是雙重隨機的，因為首先and然后使用這些參數(shù)隨機繪制玩家的位置。

gauss_strategy = DrawingStrategy(renderer_ctx,
default_input_strategy=RandomGaussianRandomInput(sigma_relative_limits=(0.1, 0.2)))
renderer_ctx.layout().get_node('player_GEO_NUL').modify_locus_definition(strategy=gauss_strategy)

在這篇文章中，我們跳過了相機、燈光和后處理的額外配置，但我們鼓勵您從 GitHub repo 獲取詳細信息。移動到與場景語義和基本事實相關(guān)的配置。

關(guān)鍵點已出現(xiàn)在播放器的動畫中。默認情況下， SKY ENGINE 會計算有關(guān)關(guān)鍵點的所有信息（如果它在輸入資源中接收到這些信息）。您只需將它們可視化，以確保所有配置都正確。綠色關(guān)鍵點可見，紅色關(guān)鍵點隱藏。

example_assistant.visualized_outputs = {SceneOutput.BEAUTY, SceneOutput.SEMANTIC, SceneOutput.KEYPOINTS}

場景看起來正確，因此可以為 AI 培訓(xùn)創(chuàng)建渲染器數(shù)據(jù)源。

datasource = MultiPurposeRendererDataSource(renderer_context=renderer_ctx, images_number=20, cache_folder_name='rugby_presentation_new')

人工智能模型訓(xùn)練過程

在培訓(xùn)階段，您將使用在 DeepSky 庫中實現(xiàn)的模型和培訓(xùn)器，該庫是 SKY ENGINE AI 平臺的一部分。

main_datasource = SEWrapperForDistancePose3D(datasource, imgs_transform=transform)
train_data_loader = DataLoader(dataset,
batch_size=Constants.TRAIN_BATCH_SIZE,
num_workers=Constants.NUM_WORKERS,
drop_last=Constants.DROP_LAST,
shuffle=Constants.VALID_SHUFFLE,
collate_fn=collate_fn)
model = get_pose_3d_model(main_datasource.joint_num, backbone_pretrained=True)
trainer = DefaultTrainer(
data_loader=train_data_loader, model=model, epochs=Constants.EPOCHS, save_freq=1,
valid_data_loader=valid_data_loader, optimizer=optimizer, evaluator=evaluator, scheduler=scheduler, serializer=serializer)
trainer.train()

現(xiàn)在檢查人工智能模型在合成數(shù)據(jù)上的訓(xùn)練結(jié)果，以驗證所有配置是否正確。在每個歷元之后，保存一個檢查點并生成一些推理示例以查看訓(xùn)練進度。

show_jupyter_picture('gtc03_assets/trained/img2.png')

人工智能模型在真實圖像上的結(jié)果

在下一步中，將在真實視頻上驗證結(jié)果。首先，使用預(yù)訓(xùn)練模型進行玩家檢測，以找到邊界框。有關(guān)更多信息，請參閱 GTC 2019 上提供的播放器檢測教程，該教程可在天空引擎 AI GitHub repo 上獲得。

checkpoint = torch.load('gtc03_assets/trained/rugby_detection.pth.tar')
for k, v in sorted(checkpoint.items()):
??checkpoint[''.join(['_model.', k])] = checkpoint.pop(k)
detection_model.load_state_dict(checkpoint)
detection_model = detection_model.to(device)
real_dataset = ImageInferenceDatasource(dir='gtc03_assets/real_data', extension='png')
out = outputs.pop()
bboxes = out['boxes'].cpu().detach().numpy()
bboxes = bboxes[np.where(labels == 1)[0]]
labels = out['labels'].cpu().detach().numpy()
bbox_image = bboxes_viz(orig_img, bboxes)

with torch.no_grad():
??results = model((img,), ({'boxes': torch.from_numpy(bboxes).int()},))
results = results.pop()
output_coords, output_bboxes = results['pred_poses_coords'].cpu(), \
????????results['boxes'].cpu()

SKY ENGINE AI 能夠訓(xùn)練其關(guān)鍵點 AI 模型之一，以檢測玩家并正確估計骨骼關(guān)節(jié)的 3D 坐標(biāo)?？捎脭?shù)據(jù)的質(zhì)量極低是由于捕獲了分辨率較低、壓縮能力強的實況電視廣播。如果不使用具有完美地面真實性的合成數(shù)據(jù)方法，這種評估任務(wù)在使用真實畫面進行人工智能模型訓(xùn)練的傳統(tǒng)方法中幾乎是不可能的。
結(jié)論

三維姿態(tài)估計是最復(fù)雜的計算機視覺任務(wù)之一，通常需要高質(zhì)量的圖像、校準(zhǔn)的攝像機和完美的照明條件。另一方面，訓(xùn)練用于運動分析的姿勢估計算法需要昂貴的運動捕捉課程，并在球場上安裝復(fù)雜的設(shè)備。

我們剛剛介紹了如何使用簡單的 3D 資源和在 NVIDIA 硬件上工作的 SKY ENGINE AI 平臺解決這個問題。

SKY ENGINE AI 工具用于構(gòu)建團隊體育應(yīng)用程序，這可能會徹底改變這些游戲。球員、教練、俱樂部、決策者、球迷和廣播機構(gòu)可能會從這些運動的進一步民主化中受益。例如，您可以使用 SKY ENGINE AI 快速評估來自代表性不足地區(qū)或較低聯(lián)賽的球員的技能，而無需個別球探的武斷判斷。

這種方法可以很容易地復(fù)制到訓(xùn)練模型中，以檢測人類，估計他們的位置，并分析他們在任何條件下的運動，而不考慮環(huán)境：工廠、車間或空間站。

關(guān)于天空引擎 AI

SKY ENGINE AI 是一個模擬和深度學(xué)習(xí)平臺，可生成完全注釋的合成數(shù)據(jù)，并按比例訓(xùn)練 AI 計算機視覺算法。該平臺生成照片級真實感環(huán)境和對象的高度平衡的圖像數(shù)據(jù)，并提供高級域自適應(yīng)算法。 SKY ENGINE AI 平臺是一個工具，可供開發(fā)人員、數(shù)據(jù)科學(xué)家和 ML /軟件工程師在任何行業(yè)創(chuàng)建計算機視覺項目。

SKY ENGINE AI 平臺能夠從頭開始構(gòu)建優(yōu)化的定制 AI 模型，并在虛擬現(xiàn)實中對其進行培訓(xùn)。 SKY ENGINE AI 軟件使您能夠創(chuàng)建任何傳感器、無人機或機器人的數(shù)字孿生模型，并在實際部署之前在虛擬環(huán)境中對其進行測試和培訓(xùn)。

SKY ENGINE AI 數(shù)據(jù)生成通過為任何計算機視覺應(yīng)用程序提供完美平衡的合成數(shù)據(jù)集，使數(shù)據(jù)科學(xué)家的生活更加輕松。示例包括對象檢測和識別、 3D 定位和姿勢估計。其他復(fù)雜的案例包括使用雷達、激光雷達、衛(wèi)星、 X 射線等分析多傳感器數(shù)據(jù)。

關(guān)于作者

Jakub Pietrzak 是 Sky Engine AI 的首席技術(shù)官。他負責(zé) GPU 加速研究、數(shù)據(jù)科學(xué)和機器學(xué)習(xí)算法開發(fā)。他是一名計算機視覺魔術(shù)師，在機器學(xué)習(xí)、光線跟蹤和數(shù)字圖像處理方面有 15 年以上的經(jīng)驗。

審核編輯：郭婷