圖像分割通過將數(shù)字圖像的表示形式轉(zhuǎn)換為更有意義、更易于分析的內(nèi)容，將數(shù)字圖像分割成多個(gè)部分。在醫(yī)學(xué)成像領(lǐng)域，圖像分割可以幫助識(shí)別器官和異常，測(cè)量它們，分類它們，甚至發(fā)現(xiàn)診斷信息。它通過使用從 x 射線、磁共振成像（ MRI ）、計(jì)算機(jī)斷層掃描（ CT ）、正電子發(fā)射斷層掃描（ PET ）和其他格式收集的數(shù)據(jù)來實(shí)現(xiàn)這一點(diǎn)。

為了實(shí)現(xiàn)能夠?yàn)橛美峁┧杈群托阅艿淖钚履Ｐ停仨氃O(shè)置正確的環(huán)境，使用理想的超參數(shù)進(jìn)行訓(xùn)練，并對(duì)其進(jìn)行優(yōu)化以達(dá)到所需的精度。所有這些都可能很耗時(shí)。數(shù)據(jù)科學(xué)家和開發(fā)人員需要一套合適的工具來快速克服繁瑣的任務(wù)。這就是我們建立 NGC 目錄的原因。

NGC 目錄 是 GPU 優(yōu)化 AI 和 HPC 應(yīng)用程序和工具的集線器。 NGC 提供了對(duì)性能優(yōu)化容器的方便訪問，通過預(yù)訓(xùn)練模型縮短了模型開發(fā)時(shí)間，并提供了特定于行業(yè)的 SDK 來幫助構(gòu)建完整的 AI 解決方案和加快 AI 工作流。這些不同的資產(chǎn)可以用于各種用例，從計(jì)算機(jī)視覺和語音識(shí)別到語言理解。潛在的解決方案涵蓋汽車、醫(yī)療保健、制造和零售等行業(yè)。

圖 1 NGC 目錄， GPU 優(yōu)化人工智能軟件的集線器

基于 U-Net 的三維醫(yī)學(xué)圖像分割

在這篇文章中，我們將展示如何使用 醫(yī)學(xué)三維圖像分割筆記本 在 MRI 圖像中預(yù)測(cè)腦腫瘤。這個(gè)職位是適合任何人誰是新的人工智能和有一個(gè)特別的興趣在圖像分割，因?yàn)樗m用于醫(yī)學(xué)成像。 3D-U-Net 實(shí)現(xiàn)了三維體的無縫分割，具有較高的精度和性能。它可以用來解決許多不同的分割問題。

圖 2 U-Net 模型概述

圖 2 顯示了 3du-Net 由收縮（左）和擴(kuò)張（右）路徑組成。它重復(fù)應(yīng)用未添加的卷積，然后使用最大池進(jìn)行下采樣。

在深度學(xué)習(xí)中，卷積神經(jīng)網(wǎng)絡(luò)（ CNN ）是深度神經(jīng)網(wǎng)絡(luò)的一個(gè)子集，主要用于圖像識(shí)別和圖像處理。 CNN 使用深度學(xué)習(xí)來執(zhí)行生成性和描述性任務(wù)，通常使用機(jī)器視覺以及推薦系統(tǒng)和自然語言處理。

CNNs 中的 Padding 指的是 CNN 內(nèi)核處理圖像時(shí)添加到圖像中的像素?cái)?shù)。未添加的 CNNs 意味著沒有像素添加到圖像中。

合用是 CNN 的一種下采樣方法。最大池是一種常見的池方法，它總結(jié)了功能最活躍的存在。擴(kuò)展路徑中的每一步都包括特征映射的上采樣和與壓縮路徑中相應(yīng)裁剪的特征映射的連接。

Requirements

此資源包含一個(gè) Dockerfile ，它擴(kuò)展了 TensorFlow NGC 容器并封裝了一些依賴項(xiàng)?？梢允褂靡韵旅钕螺d資源：

wget --content-disposition https://api.ngc.nvidia.com/v2/resources/nvidia/unet3d_medical_for_tensorflow/versions/20.06.0/zip -O unet3d_medical_for_tensorflow_20.06.0.zip除了這些依賴項(xiàng)之外，還需要以下組件：

NVIDIA 碼頭工人

NGC 最新 TensorFlow 集裝箱

NVIDIA 安培結(jié)構(gòu)， NVIDIA 圖靈，或 NVIDIA 伏特 GPU

要使用具有張量核心的混合或 TF32 精度或使用 FP32 來訓(xùn)練模型，請(qǐng)使用腦腫瘤分割數(shù)據(jù)集上 3D U-Net 模型的默認(rèn)參數(shù)執(zhí)行以下步驟。

下載資源

通過單擊 資源頁 右上角的三個(gè)點(diǎn)手動(dòng)下載資源。

圖 3 NGC 目錄上 3D U-Net 資源的資源登錄頁

也可以使用以下 wget 命令：

wget --content-disposition https://api.ngc.nvidia.com/v2/resources/nvidia/unet3d_medical_for_tensorflow/versions/20.06.0/zip -O unet3d_medical_for_tensorflow_20.06.0.zip

構(gòu)建 U-Net TensorFlow NGC 容器

此命令使用 Dockerfile 創(chuàng)建一個(gè)名為 unet3d_tf 的 Docker 映像，自動(dòng)下載所有必需的組件。

docker build -t unet3d_tf 。

下載數(shù)據(jù)集

數(shù)據(jù)可在 腦腫瘤分割數(shù)據(jù)集 網(wǎng)站注冊(cè)獲得。應(yīng)下載數(shù)據(jù)并將其放置在容器中安裝 /data 的位置。

運(yùn)行容器

要在 NGC 容器中啟動(dòng)交互式會(huì)話以運(yùn)行預(yù)處理、訓(xùn)練和推斷，必須運(yùn)行以下命令。這將啟動(dòng)容器并將 。/data 目錄作為卷裝載到容器中的 /data 目錄，將 。/results 目錄裝載到容器中的 /results 目錄。

使用容器的優(yōu)點(diǎn)是它將所有必需的庫和依賴項(xiàng)打包到一個(gè)單獨(dú)的、隔離的環(huán)境中。這樣您就不必?fù)?dān)心復(fù)雜的安裝過程。

mkdir data
mkdir results
 
docker run --runtime=nvidia -it --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 --rm --ipc=host -v ${PWD}/data:/data -v ${PWD}/results:/results -p 8888:8888 unet3d_tf:latest /bin/bash 

啟動(dòng)容器內(nèi)的筆記本

使用此命令在容器內(nèi)啟動(dòng) Jupyter 筆記本：

jupyter notebook --ip 0.0.0.0 --port 8888 --allow-root

使用以下命令將數(shù)據(jù)集移動(dòng)到容器內(nèi)的/ data 目錄。下載筆記本：

wget --content-disposition https://api.ngc.nvidia.com/v2/resources/nvidia/med_3dunet/versions/1/zip -O med_3dunet_1.zip

然后，將下載的筆記本上傳到 JupyterLab 中，運(yùn)行筆記本的單元格對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，并對(duì)模型進(jìn)行訓(xùn)練、基準(zhǔn)測(cè)試和測(cè)試。

Jupyter 筆記本

通過運(yùn)行這個(gè) Jupyter 筆記本的細(xì)胞，你可以首先檢查下載的數(shù)據(jù)集并看到腦腫瘤圖像。然后，查看數(shù)據(jù)預(yù)處理命令，準(zhǔn)備數(shù)據(jù)進(jìn)行訓(xùn)練。下一步是訓(xùn)練模型，并使用訓(xùn)練過程中的檢查點(diǎn)作為預(yù)測(cè)步驟。最后，直觀地檢查預(yù)測(cè)函數(shù)的輸出。

檢查圖像

要檢查數(shù)據(jù)集，可以使用 nibabel ，這是一個(gè)提供對(duì)一些常見的醫(yī)學(xué)和神經(jīng)成像文件格式的讀/寫訪問的包。

通過運(yùn)行接下來的三個(gè)單元格，您可以使用 pip install 安裝 nibabel ，從數(shù)據(jù)集中選擇一個(gè)映像，并使用 matplotlib 從數(shù)據(jù)集中打印所選的第三個(gè)映像。您可以通過更改代碼中的圖像地址來檢查其他數(shù)據(jù)集圖像。

import nibabel as nib
import matplotlib.pyplot as plt
 
img_arr = nib.load('/data/MICCAI_BraTS_2019_Data_Training/HGG/BraTS19_2013_10_1/BraTS19_2013_10_1_flair.nii.gz').get_data()
 
def show_plane(ax, plane, cmap="gray", title=None):
  ax.imshow(plane, cmap=cmap)
  ax.axis("off")
 
  if title:
  ax.set_title(title)
  
(n_plane, n_row, n_col) = img_arr.shape
_, (a, b, c) = plt.subplots(ncols=3, figsize=(15, 5))
 
show_plane(a, img_arr[n_plane // 2], title=f'Plane = {n_plane // 2}')
show_plane(b, img_arr[:, n_row // 2, :], title=f'Row = {n_row // 2}')
show_plane(c, img_arr[:, :, n_col // 2], title=f'Column = {n_col // 2}') 

結(jié)果如圖 4 所示。

圖 4 .作為 Jupyter 筆記本的一部分包含在數(shù)據(jù)集中的圖像的示例輸出

數(shù)據(jù)預(yù)處理

dataset/preprocess_data.py 腳本將原始數(shù)據(jù)轉(zhuǎn)換為用于培訓(xùn)和評(píng)估的 TFRecord 格式。該數(shù)據(jù)集來自 2019 年布拉特挑戰(zhàn)賽 ，包含超過 3 TB 的多機(jī)構(gòu)、常規(guī)、臨床獲得、術(shù)前、多模式、膠質(zhì)母細(xì)胞瘤（ GBM / HGG ）和低級(jí)別膠質(zhì)瘤（ LGG ）的 MRI 掃描，并經(jīng)病理證實(shí)診斷。如果可用，還包括患者的總體生存率（ OS ）數(shù)據(jù)。這些數(shù)據(jù)是在訓(xùn)練、驗(yàn)證和測(cè)試數(shù)據(jù)集中構(gòu)建的。

圖像的格式是 nii.gz. NIfTI 是神經(jīng)成像的一種文件格式。可以通過運(yùn)行以下命令對(duì)下載的數(shù)據(jù)集進(jìn)行預(yù)處理：

python dataset/preprocess_data.py -i /data/MICCAI_BraTS_2019_Data_Training -o /data/preprocessed -v

處理后的圖像的最終格式是 tfrecord 。為了幫助您高效地讀取數(shù)據(jù)，請(qǐng)序列化數(shù)據(jù)并將其存儲(chǔ)在一組文件中（每個(gè)文件大約 100 到 200 MB ），每個(gè)文件都可以線性讀取。如果數(shù)據(jù)是通過網(wǎng)絡(luò)傳輸?shù)?，這一點(diǎn)尤其正確。它還可以用于緩存任何數(shù)據(jù)預(yù)處理。 TFRecord 格式是一種用于存儲(chǔ)二進(jìn)制記錄序列的簡(jiǎn)單格式，它大大加快了數(shù)據(jù)加載過程。

使用默認(rèn)參數(shù)進(jìn)行培訓(xùn)

啟動(dòng) Docker 容器后，可以使用默認(rèn)的超參數(shù)（例如，{ 1 到 8 } GPU s { TF-AMP / FP32 / TF32 }）開始單個(gè)折疊（折疊 0 ）的訓(xùn)練：

Bash examples/unet3d_train_single{_TF-AMP}.sh

例如，要以 32 位精度（ FP32 或 TF32 ）在一個(gè) GPU 上以批大小 2 運(yùn)行，請(qǐng)運(yùn)行以下命令：

bash examples/unet3d_train_single.sh 1 /data/preprocessed /results 2

要訓(xùn)練具有混合精度（ TF-AMP ）的單折疊，每個(gè) GPU 有八個(gè) GPU 個(gè)，每 GPU 批大小為 2 ，請(qǐng)運(yùn)行以下命令：

bash examples/unet3d_train_single_TF-AMP.sh 8 /data/preprocessed /results 2

培訓(xùn)績(jī)效基準(zhǔn)

可以通過運(yùn)行基準(zhǔn)腳本來評(píng)估培訓(xùn)績(jī)效：

bash examples/unet3d_{train,infer}_benchmark{_TF-AMP}.sh

此腳本使模型運(yùn)行并報(bào)告性能。例如，要在四個(gè) GPU 上使用批量為 2 的 TF-AMP 對(duì)培訓(xùn)進(jìn)行基準(zhǔn)測(cè)試，請(qǐng)運(yùn)行以下命令：

bash examples/unet3d_train_benchmark_TF-AMP.sh 4 /data/preprocessed /results 2

Predict

您可以使用測(cè)試數(shù)據(jù)集和 predict as exec 模式來測(cè)試模型。結(jié)果保存在 model_dir 目錄中， data_dir 是數(shù)據(jù)集的路徑：

python main.py --model_dir /results --exec_mode predict --data_dir /data/preprocessed_test

繪制預(yù)測(cè)結(jié)果

在下面的代碼示例中，您將從 results 文件夾打印所選結(jié)果之一：

import numpy as np
from mpl_toolkits import mplot3d
import matplotlib.pyplot as plt
data= np.load('/results/vol_0.npy')
def show_plane(ax, plane, cmap="gray", title=None):
  ax.imshow(plane, cmap=cmap)
  ax.axis("off")
  if title:
  ax.set_title(title) 
(n_plane, n_row, n_col) = data.shape
_, (a, b, c) = plt.subplots(ncols=3, figsize=(15, 5))
show_plane(a, data[n_plane // 2], title=f'Plane = {n_plane // 2}')
show_plane(b, data[:, n_row // 2, :], title=f'Row = {n_row // 2}')
show_plane(c, data[:, :, n_col // 2], title=f'Column = {n_col // 2}') 

圖 5 .模型預(yù)測(cè)的結(jié)果與圖 4 所示的實(shí)際圖像相對(duì)應(yīng)。

高級(jí)選項(xiàng)

對(duì)于那些希望探索此筆記本內(nèi)置高級(jí)功能的用戶，可以使用 -h 或 --help 查看 main 。 py 可用選項(xiàng)的完整列表。通過運(yùn)行下一個(gè)單元格，您可以看到如何更改此腳本的執(zhí)行模式和其他參數(shù)。使用此腳本，可以使用自定義的超參數(shù)執(zhí)行模型訓(xùn)練、預(yù)測(cè)、評(píng)估和推斷。

python main.py --help

main.py 參數(shù)可以更改以執(zhí)行不同的任務(wù)，包括訓(xùn)練、評(píng)估和預(yù)測(cè)。

也可以使用默認(rèn)超參數(shù)訓(xùn)練模型。通過運(yùn)行 python main.py --help 命令，可以看到可以更改的參數(shù)列表，包括訓(xùn)練超參數(shù)。例如，在訓(xùn)練模式下，可以使用以下命令將學(xué)習(xí)速率從默認(rèn)的 0 。 0002 更改為 0 。 001 ，并將訓(xùn)練步驟從 16000 更改為 1000 ：

python main.py --model_dir /results --exec_mode train --data_dir /data/preprocessed_test --learning_rate 0.001 --max_steps 1000

您可以運(yùn)行main.py中提供的其他執(zhí)行模式。例如，在本文中，我們通過運(yùn)行以下命令使用了python.py的預(yù)測(cè)執(zhí)行模式：

python main.py --model_dir /results --exec_mode predict --data_dir /data/preprocessed_test

總結(jié)和下一步

在這篇文章中，我們展示了如何使用一個(gè)簡(jiǎn)單的 NGC 目錄中的 Jupyter 筆記本 開始使用醫(yī)學(xué)成像模型。當(dāng)您從這個(gè) Jupyter 筆記本轉(zhuǎn)換到構(gòu)建您自己的醫(yī)學(xué)成像工作流時(shí)，考慮使用 NVIDIA Clara 列。 Clara 列車 包括人工智能輔助注釋 API 和注釋服務(wù)器，可以無縫地集成到任何醫(yī)療查看器中，使其具有 AI 能力。培訓(xùn)框架包括分散式學(xué)習(xí)技術(shù)，例如針對(duì) AI 工作流的聯(lián)合學(xué)習(xí)和轉(zhuǎn)移學(xué)習(xí)。

關(guān)于作者

Shokoufeh Monejzi Kouchak 是 NVIDIA 的技術(shù)營(yíng)銷工程師，專注于深度學(xué)習(xí)模型。肖庫菲從亞利桑那州國(guó)家大學(xué)獲得了計(jì)算機(jī)工程學(xué)博士學(xué)位，她把重點(diǎn)放在駕駛行為分析和駕駛員注意力檢測(cè)上，并用深度學(xué)習(xí)模型。

審核編輯：郭婷