在《AI作畫，OpenVINO助你在英特爾GPU上隨心創(chuàng)作》中，我們介紹了OpenVINO Notebook運(yùn)行環(huán)境搭建，并利用OpenVINO優(yōu)化和加速Stable Diffusion模型的推理，在英特爾獨(dú)立顯卡上能夠根據(jù)我們輸入的指令（prompt），快速生成我們喜愛的AI畫作。

今天，我們對(duì)這一應(yīng)用場(chǎng)景再次升級(jí)，除了能夠作畫，利用OpenVINO對(duì)Stable Diffusion v2模型的支持及優(yōu)化，我們還能夠在在英特爾獨(dú)立顯卡上快速生成帶有無限縮放效果的視頻，使得AI作畫的效果更具動(dòng)感，其效果也更加震撼。話不多說，接下來還是讓我們來劃劃重點(diǎn)，看看具體是怎么實(shí)現(xiàn)的吧。

英特爾銳炫 顯卡基于Xe-HPG 微架構(gòu)，Xe HPG GPU 中的每個(gè) Xe 內(nèi)核都配置了一組 256 位矢量引擎，旨在加速傳統(tǒng)圖形和計(jì)算工作負(fù)載，以及新的 1024 位矩陣引擎或 Xe 矩陣擴(kuò)展，旨在加速人工智能工作負(fù)載。

本次無限縮放Stable Diffusion v2視頻生成的全部代碼請(qǐng)戳這里https://github.com/openvinotoolkit/openvino_notebooks/blob/main/notebooks/236-stable-diffusion-v2/236-stable-diffusion-v2-infinite-zoom.ipynb 。OpenVINO Notebooks運(yùn)行環(huán)境的安裝請(qǐng)您參考我們的上一篇《AI作畫竟如此簡(jiǎn)單！蝰蛇峽谷OpenVINO開發(fā)者實(shí)戰(zhàn)》。

此次我們應(yīng)用的深度學(xué)習(xí)模型是Stable Diffusion v2模型，相比它的上一代v1模型，它具有一系列新特性，包括配備了一個(gè)新的魯棒編碼器OpenCLIP，由LAION創(chuàng)建，并得到了Stability AI的幫助，與V1版本相比，此版本顯著增強(qiáng)了生成的照片。另外，v2模型在之前的模型基礎(chǔ)上增加了一個(gè)更新的修復(fù)模塊（inpainting）。這種文本引導(dǎo)的修復(fù)使切換圖像中的部分比以前更容易。也正是基于這一新特性，我們可以利用stabilityai/stable-diffusion-2-inpainting模型，生成帶有無限縮放效果的視頻。

在圖像編輯中，Inpainting是一個(gè)恢復(fù)圖片缺失部分的過程。最常用于重建舊的退化圖像，從照片中去除裂紋、劃痕、灰塵斑點(diǎn)或紅眼。但憑借AI和Stable Diffusion模型的力量，Inpainting可以實(shí)現(xiàn)更多的功能。例如，它可以用來在現(xiàn)有圖片的任何部分渲染全新的東西，而不僅僅是恢復(fù)圖像中缺失的部分。只要發(fā)揮你的想象力，你可以做出更多炫酷效果的作品來。

下面的工作流程圖解釋了用于Inpainting的Stable Diffusion inpainting流水線是如何工作的：

在此次的代碼示例中，我們將完成以下幾個(gè)步驟：

將PyTorch 模型轉(zhuǎn)換為ONNX格式。

利用Model Optimizer 工具，將ONNX 模型轉(zhuǎn)換為OpenVINO IR 格式。

運(yùn)行Stable Diffusion v2 inpainting 流水線，生成無限縮放效果視頻。

現(xiàn)在，讓我們來重點(diǎn)來看看如何配置推理流水線的代碼。

這里主要分以下三個(gè)步驟：

在推理的硬件設(shè)備上加載模型Load models on device

配置分詞器和調(diào)度器Configure tokenizer and scheduler

創(chuàng)建OvStableDiffusionInpaintingPipeline 類的示例

我們?cè)谂鋫溆⑻貭栦J炫獨(dú)立顯卡A770m的蝰蛇峽谷上加載模型并運(yùn)行推理，因此推理設(shè)備我們選擇“GPU”。默認(rèn)情況下，它使用“ AUTO”，并會(huì)自動(dòng)切換至檢測(cè)到的 GPU。代碼如下：

1.fromopenvino.runtimeimportCore

2.

3.core=Core()

4.

5.tokenizer=CLIPTokenizer.from_pretrained('openai/clip-vit-large-patch14')

6.

7.text_enc_inpaint=core.compile_model(TEXT_ENCODER_OV_PATH_INPAINT,"GPU")

8.unet_model_inpaint=core.compile_model(UNET_OV_PATH_INPAINT," GPU ")

9.vae_decoder_inpaint=core.compile_model(VAE_DECODER_OV_PATH_INPAINT,"GPU")

10.vae_encoder_inpaint=core.compile_model(VAE_ENCODER_OV_PATH_INPAINT,"GPU")

11.

12.ov_pipe_inpaint=OVStableDiffusionInpaintingPipeline(

13.tokenizer=tokenizer,

14.text_encoder=text_enc_inpaint,

15.unet=unet_model_inpaint,

16.vae_encoder=vae_encoder_inpaint,

17.vae_decoder=vae_decoder_inpaint,

18.scheduler=scheduler_inpaint,

19.)

接下來，我們輸入文本提示，運(yùn)行視頻生成的代碼吧。

1.importipywidgetsaswidgets

2.

3.zoom_prompt=widgets.Textarea(value="valleyintheAlpsatsunset,epicvista,beautifullandscape,4k,8k",description='positiveprompt',layout=widgets.Layout(width="auto"))

4.zoom_negative_prompt=widgets.Textarea(value="lurry,badart,blurred,text,watermark",description='negativeprompt',layout=widgets.Layout(width="auto"))

5.zoom_num_steps=widgets.IntSlider(min=1,max=50,value=20,description='steps:')

6.zoom_num_frames=widgets.IntSlider(min=1,max=50,value=3,description='frames:')

7.mask_width=widgets.IntSlider(min=32,max=256,value=128,description='edgesize:')

8.zoom_seed=widgets.IntSlider(min=0,max=10000000,description='seed:',value=9999)

9.zoom_in=widgets.Checkbox(

10.value=False,

11.description='zoomin',

12.disabled=False

13.)

14.

15.widgets.VBox([zoom_prompt,zoom_negative_prompt,zoom_seed,zoom_num_steps,zoom_num_frames,mask_width,zoom_in])

在這一步中，我把步驟設(shè)置為 20。理想情況下，我將使用 50，以提供最好看的結(jié)果。另外，這里還可以自行設(shè)置生成的圖畫數(shù)量，所有生成的圖畫將組合起來構(gòu)成最后的無限縮放效果視頻。當(dāng)然，我們同樣還生成了 GIF 文件，以便大家多種形式可視化展示生成結(jié)果。

最終結(jié)果。

結(jié) 論

當(dāng)下，如果您想了解“Stable Diffusion”的工作原理，以及英特爾硬件的加速方式，OpenVINO Notebooks 無疑是首選。如果您有任何疑問或想要展示您的一些最佳成果，請(qǐng)?jiān)谶@里或通過我們的 GitHub 討論板發(fā)表評(píng)論! 祝您編碼快樂。

審核編輯 ：李倩