NVIDIA Clara Holoscan 是醫(yī)療設備的人工智能計算平臺，它結合了用于低延遲傳感器和網(wǎng)絡連接的硬件系統(tǒng)、用于數(shù)據(jù)處理和人工智能的優(yōu)化庫，以及用于運行從嵌入式到邊緣到云的流媒體、成像和其他應用程序的核心微服務。

圖 1 NVIDIA Clara 全息掃描

NVIDIA Clara Holoscan 將智能儀器與數(shù)據(jù)中心無縫連接，支持軟件定義醫(yī)療設備的信號處理、 AI 推理和可視化工作流。用例涵蓋放射學、微創(chuàng)手術、機器人手術、患者監(jiān)控等領域。它是一個完全加速的框架，用于開發(fā)實時多模式應用程序，使用優(yōu)化的微服務容器、無代碼設計工具和示例應用程序。

NVIDIA Clara Holoscan 是一種可擴展的體系結構，在數(shù)據(jù)中心或云中從嵌入式設備和NVIDIA-Certified edge servers擴展到NVIDIA DGX systems。該平臺使您能夠根據(jù)需要在醫(yī)療設備中添加盡可能多或盡可能少的計算和輸入/輸出功能，并與延遲、成本、空間、電源和帶寬的需求相平衡。

放射治療

NVIDIA Clara 全息掃描的一個重要應用案例是放射治療，在放射治療中，需要進行圖像處理來分割被治療的器官和腫瘤。此外，單獨分割相鄰器官有助于識別腫瘤及其體積。它還使醫(yī)生能夠創(chuàng)建一個詳細和準確的 3D 地圖，可以繪制出輻射束通過其他器官的最佳軌跡，并且影響最小。

通過 3D 模型，放射治療系統(tǒng)甚至可以實時調整患者解剖結構的變化。手動進行多器官分割非常耗時，但使用人工智能可以大大加快分割速度。圖 2 顯示了使用 NVIDIA Clara Holoscan 的 3D 多器官分割應用程序的部署架構。

圖 2 NVIDIA Clara Holoscan 三維多器官分割部署架構

以下部分介紹如何基于UNETR構建和部署一個基于 transformer 的三維分割模型的三維多器官分割應用程序。

MONAI 部署 UNETR 應用程序

UNEt transformer （ UNETR ）模型體系結構的新穎之處在于基于 transformer 的編碼器可以學習輸入體積的序列表示，并有效地捕獲全局多尺度信息。 transformer 編碼器通過不同分辨率的跳過連接直接連接到解碼器，以計算最終的語義分段輸出。

在Multi-Atlas Labeling Beyond the Cranial Vault （BTCV） dataset上測試了 UNETR 模型的有效性，該模型由 30 名受試者組成，受試者進行腹部計算機斷層掃描（ CT ），其中 13 個器官在范德比爾特大學醫(yī)學中心臨床放射科醫(yī)生的監(jiān)督下由譯員注釋。將多器官分割問題描述為一個單通道輸入的 13 類分割任務。

我們使用 MONAI Deploy App SDK 在NVIDIA Clara AGX developer kit上構建和部署 UNETR 模型，該模型結合了高效的 Jetson AGX Xavier 嵌入式 Arm SoC 、強大的 NVIDIA RTX 6000 GPU 和 ConnectX-6 SmartNIC 的 100 GbE 連接。

開發(fā)者工具包提供了一個易于使用的平臺，用于開發(fā)軟件定義、支持人工智能的實時醫(yī)療設備。 MONAI Deploy App SDK 提供了一個框架和相關工具，用于設計、驗證和分析用于醫(yī)療保健應用程序的 AI 推理管道的性能。

以下重點介紹了構建和部署 UNETR 應用程序的步驟：

設置您的環(huán)境并安裝MONAI Deploy App SDK package。

創(chuàng)建UNETR model specific segmentation operator。

通過添加 MONAI App Deploy SDK DICOM 域特定運算符創(chuàng)建應用程序類，并將其與 UNETR 運算符連接。

Package the UNETR app

為了可視化 MONAI 部署應用程序的分割輸出，我們使用英偉達 Clara 渲染服務器應用程序容器，可以從 NGC 下載。

渲染服務由三個容器組成：渲染服務器、數(shù)據(jù)集服務和儀表板。

渲染服務器容器

渲染服務器容器處理數(shù)據(jù)集的實時流和渲染。

使用以下命令拉動渲染服務器容器：

docker pull nvcr.io/nvidia/clara/renderserver_ng:0.8.1-2108.1

使用以下命令運行渲染服務器容器：

nvidia-docker run -it --rm -d \--name renderserver \--network claranet \-p 2050:2050 \-v `pwd`/input:/app/datasets \nvcr.io/nvidia/clara-renderserver:linux-x86-0.8.1

數(shù)據(jù)集服務容器

數(shù)據(jù)集服務容器處理數(shù)據(jù)集。它目前只支持 MHD 、 RAW 、 JSON 和元文件。

使用以下命令拉入數(shù)據(jù)集服務容器：

docker pull nvcr.io/nvidia/clara/clara-datasetservice:0.8.1-2108.1

每個數(shù)據(jù)集所需的文件位于文件夾/datasets下，由 UNETR 應用程序生成。以下是生成的文件列表：

config.meta config_render.json img0066.nii.gz img0066.output.mhd img0066.output.raw

• config . meta– 定義數(shù)據(jù)集應使用的基本信息和配置。
• config _ render . json– 定義加載時數(shù)據(jù)集與渲染服務器一起使用的默認渲染設置（燈光、攝影機、傳遞函數(shù)等）。
• img0066 . gz– 從 DICOM 轉換的原始圖像。
• img0066 . output . mhd-MHD 格式的遮罩圖像。這個未經加工的文件包含實際像素。

使用以下命令啟動數(shù)據(jù)集服務容器：

export ARGS_SERVICE_RSDS_PORT=50055 # Port number of Dataset Service

export ARGS_SERVICE_RSNG_IP=xxx.xxx.xxx.xxx # IP address of Render Service

export ARGS_SERVICE_RSNG_PORT=2050 # Port number of Render Service

export ARGS_SERVICE_RSUI_IP=xxx.xxx.xxx.xxx # IP address of Dashboard

export ARGS_SERVICE_RSUI_PORT=8080 # Port number of Dashboard

docker run -it --rm -d \-v `pwd`:/app/datasets \-p ${ARGS_SERVICE_RSDS_PORT:-50055}:50055 \-e SERVICE_RSNG_IP=${ARGS_SERVICE_RSNG_IP:-renderserver} \-e SERVICE_RSNG_PORT=${ARGS_SERVICE_RSNG_PORT:-2050} \-e SERVICE_RSUI_IP=${ARGS_SERVICE_RSUI_IP:-dashboard} \-e SERVICE_RSUI_PORT=${ARGS_SERVICE_RSUI_PORT:-8080} \--name clara-datasetservice \nvcr.io/clara/clara-datasetservice:0.8.1
_RSNG_IP=xxx.xxx.xxx.xxx # IP address of Render Service

儀表板容器

儀表板容器是一個 web 應用程序和 API 服務器。這些組件是用 JavaScript 編寫的，使用 React 和 Node 。 js ，并支持用 Angular 編寫的遺留 WebUI 的向后兼容性。

使用以下命令拉動儀表板容器：

docker pull nvcr.io/nvidia/clara/clara-dashboard:0.8.1-2108.1

使用以下命令啟動儀表板容器：

 docker run -it --rm -d
-p ${ARGS_SERVICE_RSUI_PORT:-8080}:8080
-e SERVICE_RSDS_IP=${ARGS_SERVICE_RSDS_IP:-datasetservice}
-e SERVICE_RSDS_PORT=${ARGS_SERVICE_RSDS_PORT:-50055}
-e SERVICE_RSNG_IP=${ARGS_SERVICE_RSNG_IP:-renderserver}
-e SERVICE_RSNG_PORT=${ARGS_SERVICE_RSNG_PORT:-2050}
-e NODE_ENV=${ARGS_NODE_ENV:-standalone}
--name clara-dashboard
nvcr.io/clara/clara-dashboard:

要啟動實時交互流，請從 Render Service 應用程序菜單中的 dataset 列表中選擇一項

要上載渲染設置中的更改，請選擇數(shù)據(jù)集名稱旁邊的更新圖標。首次加載數(shù)據(jù)集時，該圖標處于非活動狀態(tài)，但在對渲染設置進行任何后續(xù)更改（例如，更改視圖位置、攝影機設置或傳遞函數(shù)設置）后，該圖標將啟用。更新時，數(shù)據(jù)集渲染設置將上載到數(shù)據(jù)集服務數(shù)據(jù)庫。

向 NVIDIA Clara 渲染服務器添加語音命令

您可以使用語音命令和文本查詢與英偉達 Clara 渲染服務器進行交互。通過集成 Riva 語音服務器和零快照對話管理器服務器來實現(xiàn)這一點，該服務器可以通過 HTTP 上的 REST API 調用為客戶端提供服務。有關更多信息，請參閱NVIDIA Riva Speech Skills。

安裝三個容器（儀表板、渲染服務器和數(shù)據(jù)集服務）后，必須在啟用自動語音識別（ ASR ）和文本到語音（ TTS ）服務的情況下訪問 Riva 服務器。 Zero shot Dialog Manager 服務器應該在邊緣服務器上運行（圖 2 ）。

您可以為實時流交互添加不同的語音命令，如“放大/縮小”和“向左/向右平移”或更復雜的語音命令，如“移除肋骨”

將 Zero-shot Dialog Manager 服務器與 NVIDIA Clara 儀表板集成

要將零炮對話管理器與 NVIDIA Clara 集成，請執(zhí)行以下步驟：

添加用戶界面字段以從用戶處獲取文本命令。

在儀表板中添加代碼，以使用用戶文本向 Zero shot Dialog Manager 服務器發(fā)送 HTTP GET 請求。 Zero shot GET 請求必須采用以下格式：http://《Zero Shot Server IP》：《PORT》/《Project Name》/process_query？query=《user entered text》

在儀表板中添加代碼以處理來自 Zero shot 服務器的響應。

確定特定意圖（例如：“放大/縮小”）后，儀表板必須實現(xiàn)請求儀表板后端執(zhí)行相應操作的方法。儀表板通過調用適當?shù)?gRPC API 到達渲染服務器和數(shù)據(jù)集服務。

Riva ASR 和 TTS 服務與英偉達 Clara 儀表板的集成

要通過 Riva 添加可用的 ASR 服務，請執(zhí)行以下步驟：

向儀表板用戶界面添加代碼以請求麥克風訪問。

參考 Riva ASR 示例，實現(xiàn)用戶音頻輸入到儀表板后端的流媒體功能。您可以使用Web Audio API和 Socket 。 IO 。

修改儀表板后端，以便當您從用戶界面收到請求時，對 Riva 服務器進行適當?shù)恼{用并返回響應。這主要涉及導入 Riva proto 文件。

儀表板用戶界面從儀表板后端接收到轉錄的響應后，將其轉發(fā)到 Zero-shot Dialog Manager 服務器，該服務器返回相應的響應。儀表板執(zhí)行適當?shù)牟襟E，并使用 Zero shot Dialog manager 響應調用 Riva TTS ，以便用戶界面獲得可作為響應播放的音頻。

類似地，將 Riva TTS 服務與英偉達 Clara 儀表板集成如下步驟：

在用戶界面中實現(xiàn)一種方式，以播放從 Riva TTS 接收到的音頻。

向儀表板用戶界面添加代碼，以將零炮響應文本發(fā)送到儀表板后端。

將所有 gRPC 客戶端邏輯添加到儀表板后端，以便它可以連接到 Riva TTS 服務器。成功后，將語音響應發(fā)送回儀表板用戶界面進行播放。

圖 5 依次顯示了 NVIDIA Clara 儀表板和 Riva 以及 Zero-shot 對話框管理器之間的 API 調用。

圖 5 NVIDIA Clara 儀表板 Riva 和零炮對話框管理器之間的交互

使用 NVIDIA 艦隊命令進行部署

NVIDIA 艦隊司令部為任何規(guī)模的企業(yè)帶來安全邊緣 AI 。通過云，您可以部署和管理 NGC 目錄或 NGC P Riva te 注冊表中的應用程序，通過無線方式更新系統(tǒng)軟件，并通過瀏覽器和互聯(lián)網(wǎng)連接遠程管理系統(tǒng)。有關更多信息，請參閱Developing Your Application for Fleet Command。

要使用英偉達命令部署 NVIDIA Clara HORSOCAN 應用程序，可以為應用程序創(chuàng)建一個頭盔圖。 Helm 是一個包管理器，用于在 Kubernetes 中部署容器化應用程序，這與 Debian / RPM 用于 Linux 或 Jar / War 用于基于 Java 的應用程序非常相似。

舵手世界中的一個包稱為圖表，特定目錄樹中的文件集合，用于描述一組相關模板。目錄名是沒有版本控制信息的圖表的名稱。當圖表打包為檔案，這些圖表目錄被打包到一個 TGZ 文件中，其文件名包含其版本，使用 SemVer2 版本控制格式。以下是 NVIDIA Clara 存檔名稱的示例格式：

clara-renderserver {semVer2}.tgz

可以使用以下命令創(chuàng)建新的舵圖：

helm create clara-renderserver

此命令創(chuàng)建 Clara -renderserver 圖表目錄以及圖表中使用的常用文件和目錄。具體來說，這是圖表目錄的樹形結構：

|-- Chart.yaml # A YAML file containing information about the chart
|-- templates # A directory of templates that, when combined with values ,will generate valid Kubernetes manifest files.
|   |-- _helpers.tpl 
|   |-- cache-volume-claim.yaml
|   |-- cache-volume.yaml
|   |-- deployment.yaml
|   |-- svc.yaml
|   |-- volume-claim.yaml
|   `-- volume.yaml
`-- values.yaml # The default configuration values for this chart
# A YAML file containing information about the chart

deployment . yaml 文件位于/ templates 目錄中，用于定義 Kubernetes 中部署對象的結構：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ include "clara-renderer.fullname" . }}
  labels:
{{ include "clara-renderer.labels" . | indent 4 }}
spec:
  replicas: {{ .Values.replicaCount }}
  selector:
    matchLabels:
      app.kubernetes.io/name: {{ include "clara-renderer.name" . }}
      app.kubernetes.io/instance: {{ .Release.Name }}
  template:
    metadata:
     [metadata info]
      spec:
    {{- with .Values.images.pullSecrets }}
      imagePullSecrets:
        {{- toYaml . | nindent 8 }}
    {{- end }}
      containers:
      - name: ui-{{ .Chart.Name }}
        image: "{{ .Values.images.namespace }}/{{ .Values.images.renderui }}:{{ .Values.images.tag }}"
        imagePullPolicy: {{ .Values.images.pullPolicy }}
        env:
        - name: SERVICE_RSDS_IP
          value: "0.0.0.0"
        - [more env variable assignment]
        ports:
          - name: "{{ .Values.ui.portName }}"
            containerPort: {{ .Values.ui.port }}
            hostPort: {{ .Values.ui.hostPort }}
            protocol: TCP
      - name: renderer-{{ .Chart.Name }}
        image: "{{ .Values.images.namespace }}/{{ .Values.images.renderserver }}:{{ .Values.images.tag }}"
        imagePullPolicy: {{ .Values.images.pullPolicy }}
        ports:
          - name: "{{ .Values.rsng.portName }}"
            containerPort: {{ .Values.rsng.port }}
            protocol: TCP
        env:
        - name: CUDA_CACHE_PATH
          value: "/cache/CudaCache"
        - name: OPTIX_CACHE_PATH
          value: "/cache/OptixCache"
        volumeMounts:
        [volume mount information]
      - name: dataset-service-{{ .Chart.Name }}
        image: "{{ .Values.images.namespace }}/{{ .Values.images.datasetservice }}:{{ .Values.images.tag }}"
        imagePullPolicy: {{ .Values.images.pullPolicy }}
        env:
        - name: DATASET_REPO_PATH
          value: "/datasets"
        -[dataset env variable assignment]

要驗證舵圖，請運行以下命令：

helm lint clara-renderserver

接下來，打包舵圖：

helm package clara-renderserver

要使用 NVIDIA Fleet 命令部署，請根據(jù)您創(chuàng)建的頭盔圖表創(chuàng)建應用程序：

圖 6 在 Fleet 命令中添加應用程序

下一步是為應用程序添加部署：

圖 7 在艦隊司令部中創(chuàng)建部署

創(chuàng)建部署時，應用程序將部署在 Fleet 命令中的配對邊緣站點上。要更改應用程序的配置，請使用 Helm upgrade 命令。

某些系統(tǒng)更新可能需要重新啟動。如果需要重新啟動， Fleet 命令堆棧會在系統(tǒng)運行后自動重新啟動應用程序。您的 NVIDIA Clara Holoscan 應用程序應該能夠通過系統(tǒng)更新或系統(tǒng)重新啟動進行正?；謴秃统志没?。

關于作者

Cristiana Dinea 是 NVIDIA 的應用工程師，她專注于基于 NVIDIA Clara Guardian 為智能醫(yī)院開發(fā)應用程序。

Yaniv Lazmy 是 NVIDIA 醫(yī)療團隊的技術產品經理，專注于醫(yī)療設備的加速計算和連接解決方案。在加入 NVIDIA 之前， Yaniv 是 NeuWave Medical 和 Johnson and Johnson 的嵌入式系統(tǒng)工程師。

Raghav Mani 是 NVIDIA 醫(yī)療 AI 的產品經理，專注于為醫(yī)療和生命科學領域的醫(yī)療成像和 NLP 研究人員以及智能醫(yī)院應用程序的開發(fā)人員構建工具。Ming Qin 是 NVIDIA 醫(yī)療團隊的獨立貢獻者，專注于開發(fā) AI 推理應用框架和平臺，將 AI 引入醫(yī)療成像工作流程。

審核編輯：郭婷