近年來，深度神經(jīng)網(wǎng)絡(luò)在將計算機視覺算法的準確性提升到一個新的水平方面取得了重大進展。OpenVINO 工具包就是這樣一個例子，它可以在提供高性能的同時優(yōu)化 DNN 模型。

英特爾發(fā)布了最新版本（2022.1）的OpenVINO工具包，為任何地方的開發(fā)人員提供了更簡單的部署。OpenVINO是“開放式視覺推理和神經(jīng)網(wǎng)絡(luò)優(yōu)化”的縮寫，是一個跨平臺的深度學習工具包，提供額外的深度學習模型，設(shè)備可移植性和更高的推理性能，更少的代碼更改。它專注于通過一次寫入，隨處部署的方法增強深度神經(jīng)網(wǎng)絡(luò)推理，從而優(yōu)化應(yīng)用程序的開發(fā)生命周期。

該工具包有兩個版本，一個是開源的開放VINO工具包，另一個是英特爾發(fā)行版的開放VINO工具包。OpenVINO工具包主要用于開發(fā)各種問題的快速解決方案，例如模擬人類視覺，語音識別，自然語言處理，推薦系統(tǒng)等。它為開發(fā)人員提供了一種更簡單的替代方案，可以在其AI界面上工作并采用和維護其代碼。OpenVINO建立在最新一代人工神經(jīng)網(wǎng)絡(luò)（ANN）的基礎(chǔ)上，例如卷積神經(jīng)網(wǎng)絡(luò)（CNN）以及循環(huán)和基于注意力的網(wǎng)絡(luò)。

在英特爾硬件中，OpenVINO 包含計算機視覺和非計算機視覺工作負載。通過其眾多功能，它可確保最佳性能并加快應(yīng)用程序開發(fā)。它提供來自其自己的開放模型庫的預(yù)訓(xùn)練模型，該動物園提供優(yōu)化的模型。OpenVINO 提供了模型優(yōu)化器 API，可以轉(zhuǎn)換您提供的模型并為推理做好準備。推理引擎允許用戶通過編譯優(yōu)化的網(wǎng)絡(luò)并管理特定設(shè)備上的推理操作來調(diào)整性能。由于該工具包與大多數(shù)框架兼容，因此干擾最小，性能最高。

OpenVINO 工具包的應(yīng)用程序，該工具包使用計算機視覺進行入侵檢測。英特爾的 OpenVINO 工具包分發(fā)版旨在促進和簡化高性能計算機視覺和深度學習推理應(yīng)用的開發(fā)、創(chuàng)建和部署，這些應(yīng)用適用于廣泛使用的英特爾平臺。OpenVINO 的應(yīng)用范圍從自動化和安全到農(nóng)業(yè)、醫(yī)療保健等等。

版本 2022.1 的功能

此版本為以前的版本 2021.3 提供了錯誤修復(fù)和功能更改。

已更新、更干凈的 API

這個新版本使維護開發(fā)人員的代碼變得更加容易。它可以與張量流約定集成，以最大限度地減少轉(zhuǎn)換。此版本減少了模型優(yōu)化器中的 API 參數(shù)，以最大程度地降低復(fù)雜性。另一方面，在開放式神經(jīng)網(wǎng)絡(luò)交換 （ONNX*） 模型上進行模型轉(zhuǎn)換的性能已得到顯著提高。

更廣泛的模型支持

用戶可以在更廣泛的深度學習模型中輕松部署應(yīng)用程序，包括自然語言處理 （NLP）、雙精度和計算機視覺。這些預(yù)訓(xùn)練的模型專注于 NLP 和額外的異常檢測類別，可用于工業(yè)檢查、降噪、問答、翻譯和文本到語音轉(zhuǎn)換。

便攜性和性能

此版本通過跨 CPU、GPU 等的自動設(shè)備發(fā)現(xiàn)、負載平衡和動態(tài)推理并行性，有望提升性能。

開放VINO工具包附加組件

計算機視覺注釋工具

數(shù)據(jù)集管理框架

深度學習主播

神經(jīng)網(wǎng)絡(luò)壓縮框架

開放維諾模型服務(wù)器

開放維諾安全附加組件

培訓(xùn)擴展

開放維諾的工作

OpenVINO工具包由各種開發(fā)和部署工具組成，其中包括一組完全配置的預(yù)訓(xùn)練模型和用于評估的硬件。以下步驟描述了開放VINO的工作原理：

先決條件：設(shè)置開放酒莊

在開始使用實際工作流之前，請確保選擇主機、目標平臺和模型。該工具支持操作系統(tǒng)，如Linux，Windows，macOS和拉斯比安。至于深度學習模型訓(xùn)練框架，它支持張量流，卡菲，MXNet，Kaldi以及開放神經(jīng)網(wǎng)絡(luò)交換（ONNX）模型格式。

步驟 1：訓(xùn)練模型

第一步是準備和訓(xùn)練深度學習模型。您可以從開放模型動物園中找到預(yù)先訓(xùn)練的模型，也可以構(gòu)建自己的模型。OpenVINO 為公共模型提供經(jīng)過驗證的支持，并在存儲庫中提供一系列代碼示例和演示?？梢允褂媚_本為用于訓(xùn)練模型的框架配置模型優(yōu)化器。

步驟 2：轉(zhuǎn)換和優(yōu)化模型

配置模型后，可以運行模型優(yōu)化器將模型轉(zhuǎn)換為中間表示 （IR），中間表示形式以一對文件（.xml和.bin）表示。除了文件對（.xml和.bin），模型優(yōu)化器還通過輸出診斷消息來幫助進一步優(yōu)化。

步驟 3：針對性能進行調(diào)整

在此步驟中，推理引擎用于編譯優(yōu)化的模型。推理引擎是一個高級（C、C++ 或 Python*）推理 API，作為每種硬件類型的動態(tài)加載插件實現(xiàn)。它為每個硬件提供最佳性能，而無需維護多個代碼路徑。

步驟 4：部署應(yīng)用程序

推理引擎用于部署應(yīng)用程序。使用部署管理器，可以通過將模型、IR 文件、應(yīng)用程序和關(guān)聯(lián)的依賴項組裝到目標設(shè)備的運行時包中來創(chuàng)建開發(fā)包。

總而言之，這個新版本的OpenVINO工具包提供了許多好處，不僅優(yōu)化了用戶部署應(yīng)用程序的體驗，還增強了性能參數(shù)。它使用戶能夠開發(fā)具有輕松部署、更多深度學習模型、更多設(shè)備可移植性以及更少代碼更改的更高推理性能的應(yīng)用程序。

審核編輯：郭婷