這是一系列關(guān)于 NVIDIA 研究人員如何改進(jìn)和加速擴(kuò)散模型采樣的方法的一部分，擴(kuò)散模型是一種新穎而強(qiáng)大的生成模型。 Part 2 介紹了克服擴(kuò)散模型中緩慢采樣挑戰(zhàn)的三種新技術(shù)。

生成模型是一類機(jī)器學(xué)習(xí)方法，它可以學(xué)習(xí)所訓(xùn)練數(shù)據(jù)的表示形式，并對(duì)數(shù)據(jù)本身進(jìn)行建模。它們通?；谏顚?a href="http://www.makelele.cn/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò)。相比之下，判別模型通常預(yù)測(cè)給定數(shù)據(jù)的單獨(dú)數(shù)量。

生成模型允許您合成與真實(shí)數(shù)據(jù)不同但看起來(lái)同樣真實(shí)的新數(shù)據(jù)。設(shè)計(jì)師可以在汽車圖像上訓(xùn)練生成性模型，然后讓生成性人工智能計(jì)算出具有不同外觀的新穎汽車，從而加速藝術(shù)原型制作過(guò)程。

深度生成學(xué)習(xí)已成為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要研究領(lǐng)域，并有許多相關(guān)應(yīng)用。生成模型廣泛用于圖像合成和各種圖像處理任務(wù)，如編輯、修復(fù)、著色、去模糊和超分辨率。

生成性模型有可能簡(jiǎn)化攝影師和數(shù)字藝術(shù)家的工作流程，并實(shí)現(xiàn)新水平的創(chuàng)造力。類似地，它們可能允許內(nèi)容創(chuàng)建者高效地為游戲、動(dòng)畫電影或 metaverse 生成虛擬 3D 內(nèi)容。

基于深度學(xué)習(xí)的語(yǔ)音和語(yǔ)言合成已經(jīng)進(jìn)入消費(fèi)品領(lǐng)域。醫(yī)學(xué)和醫(yī)療保健等領(lǐng)域也可能受益于生成性模型，例如生成對(duì)抗疾病的分子候選藥物的方法。

當(dāng)神經(jīng)網(wǎng)絡(luò)被用于不同的生成性學(xué)習(xí)任務(wù)時(shí)，尤其是對(duì)于不同的生成性學(xué)習(xí)任務(wù)，神經(jīng)網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)也可以被用于合成。

生成性學(xué)習(xí)三位一體

為了在實(shí)際應(yīng)用中得到廣泛采用，生成模型在理想情況下應(yīng)滿足以下關(guān)鍵要求：

High-quality sampling ：許多應(yīng)用程序，尤其是那些直接與用戶交互的應(yīng)用程序，需要高生成質(zhì)量。例如，在語(yǔ)音生成中，語(yǔ)音質(zhì)量差是很難理解的。類似地，在圖像建模中，期望的輸出在視覺(jué)上與自然圖像無(wú)法區(qū)分。

模式覆蓋和樣本多樣性 ：如果訓(xùn)練數(shù)據(jù)包含復(fù)雜或大量的多樣性，一個(gè)好的生成模型應(yīng)該在不犧牲生成質(zhì)量的情況下成功捕獲這種多樣性。

快速且計(jì)算成本低廉的采樣 ：許多交互式應(yīng)用程序需要快速生成，例如實(shí)時(shí)圖像編輯。

雖然目前大多數(shù)深層生成性學(xué)習(xí)方法都注重高質(zhì)量的生成，但第二和第三個(gè)要求也非常重要。

忠實(shí)地表示數(shù)據(jù)的多樣性對(duì)于避免數(shù)據(jù)分布中遺漏少數(shù)模式至關(guān)重要。這有助于減少學(xué)習(xí)模型中不希望出現(xiàn)的偏差。

另一方面，在許多應(yīng)用程序中，數(shù)據(jù)分布的長(zhǎng)尾巴特別有趣。例如，在交通建模中，人們感興趣的正是罕見的場(chǎng)景，即與危險(xiǎn)駕駛或事故相對(duì)應(yīng)的場(chǎng)景。

降低計(jì)算復(fù)雜度和采樣時(shí)間不僅可以實(shí)現(xiàn)交互式實(shí)時(shí)應(yīng)用。它還通過(guò)降低發(fā)電所需的總功率使用量，減少了運(yùn)行昂貴的深層神經(jīng)網(wǎng)絡(luò)（發(fā)電模型的基礎(chǔ)）所造成的環(huán)境足跡。

在本文中，我們將這三個(gè)需求帶來(lái)的挑戰(zhàn)定義為 生成性學(xué)習(xí)三位一體 ，因?yàn)楝F(xiàn)有方法通常會(huì)做出權(quán)衡，無(wú)法同時(shí)滿足所有需求。

圖 1 生成性學(xué)習(xí)三位一體

基于擴(kuò)散模型的生成性學(xué)習(xí)

最近，擴(kuò)散模型已經(jīng)成為一種強(qiáng)大的生成性學(xué)習(xí)方法。這些模型，也被稱為去噪擴(kuò)散模型或基于分?jǐn)?shù)的生成模型，表現(xiàn)出驚人的高樣本質(zhì)量，通常優(yōu)于生成性對(duì)抗網(wǎng)絡(luò)。它們還具有強(qiáng)大的模式覆蓋和樣本多樣性。

擴(kuò)散模型已經(jīng)應(yīng)用于各種生成任務(wù)，如圖像、語(yǔ)音、三維形狀和圖形合成。

擴(kuò)散模型包括兩個(gè)過(guò)程：正向擴(kuò)散和參數(shù)化反向擴(kuò)散。

前向擴(kuò)散過(guò)程通過(guò)逐漸擾動(dòng)輸入數(shù)據(jù)將數(shù)據(jù)映射為噪聲。這是通過(guò)一個(gè)簡(jiǎn)單的隨機(jī)過(guò)程正式實(shí)現(xiàn)的，該過(guò)程從數(shù)據(jù)樣本開始，使用簡(jiǎn)單的高斯擴(kuò)散核迭代生成噪聲較大的樣本。也就是說(shuō)，在這個(gè)過(guò)程的每一步，高斯噪聲都會(huì)逐漸添加到數(shù)據(jù)中。

第二個(gè)過(guò)程是一個(gè)參數(shù)化的反向過(guò)程，取消正向擴(kuò)散并執(zhí)行迭代去噪。這個(gè)過(guò)程代表數(shù)據(jù)合成，并經(jīng)過(guò)訓(xùn)練，通過(guò)將隨機(jī)噪聲轉(zhuǎn)換為真實(shí)數(shù)據(jù)來(lái)生成數(shù)據(jù)。它也被正式定義為一個(gè)隨機(jī)過(guò)程，使用可訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行迭代去噪。

正向和反向過(guò)程通常使用數(shù)千個(gè)步驟來(lái)逐步注入噪聲，并在生成過(guò)程中進(jìn)行去噪。

圖 2 擴(kuò)散模型處理數(shù)據(jù)和噪聲之間的移動(dòng)

圖 2 顯示，在擴(kuò)散模型中，固定前向過(guò)程以逐步方式逐漸擾動(dòng)數(shù)據(jù)，使其接近完全隨機(jī)噪聲。學(xué)習(xí)一個(gè)參數(shù)化的反向過(guò)程來(lái)執(zhí)行迭代去噪，并從噪聲中生成數(shù)據(jù)，如圖像。

在形式上，通過(guò)x0表示一個(gè)數(shù)據(jù)點(diǎn)，例如圖像，通過(guò)xt表示時(shí)間步長(zhǎng)t的擴(kuò)散版本，正向過(guò)程由以下公式定義：

雖然離散時(shí)間擴(kuò)散模型和連續(xù)時(shí)間擴(kuò)散模型看起來(lái)可能不同，但它們有一個(gè)幾乎相同的生成過(guò)程。事實(shí)上，很容易證明離散時(shí)間擴(kuò)散模型是連續(xù)時(shí)間模型的特殊離散化。

在實(shí)踐中使用連續(xù)時(shí)間擴(kuò)散模型基本上要容易得多：

它們更通用，可以通過(guò)簡(jiǎn)單的時(shí)間離散化轉(zhuǎn)換為離散時(shí)間模型。

它們是用 SDE 描述的， SDE 在各個(gè)科學(xué)領(lǐng)域都得到了很好的研究。

生成性 SDE 可以使用現(xiàn)成的數(shù)值 SDE 解算器進(jìn)行求解。

它們可以轉(zhuǎn)換為相關(guān)的常微分方程（ ODE ），這些方程也得到了很好的研究，并且易于使用。

如前所述，擴(kuò)散模型通過(guò)遵循反向擴(kuò)散過(guò)程生成樣本，該過(guò)程將簡(jiǎn)單的基本分布（通常為高斯分布）映射到復(fù)雜的數(shù)據(jù)分布。在生成 SDE 表示的連續(xù)時(shí)間擴(kuò)散模型中，由于神經(jīng)網(wǎng)絡(luò)逼近分?jǐn)?shù)函數(shù)

，這種映射通常很復(fù)雜。

用數(shù)值積分技術(shù)解決這個(gè)問(wèn)題需要調(diào)用 1000 次深層神經(jīng)網(wǎng)絡(luò)來(lái)生成樣本。正因?yàn)槿绱?，擴(kuò)散模型在生成樣本時(shí)通常很慢，需要幾分鐘甚至幾小時(shí)的計(jì)算時(shí)間。這與生成性對(duì)抗網(wǎng)絡(luò)（ GANs ）等競(jìng)爭(zhēng)性技術(shù)形成了鮮明對(duì)比，后者只需對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行一次調(diào)用即可生成樣本。

總結(jié)

盡管擴(kuò)散模型實(shí)現(xiàn)了較高的樣本質(zhì)量和多樣性，但不幸的是，它們?cè)诓蓸铀俣确矫娲嬖诓蛔?。這限制了擴(kuò)散模型在實(shí)際應(yīng)用中的廣泛采用，并導(dǎo)致了從這些模型加速采樣的研究領(lǐng)域的活躍。在 Part 2 中，我們回顧了 NVIDIA 為克服擴(kuò)散模型的主要局限性而開發(fā)的三種技術(shù)。

關(guān)于作者

Arash Vahdat 是 NVIDIA research 的首席研究科學(xué)家，專攻計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)。在加入 NVIDIA 之前，他是 D-Wave 系統(tǒng)公司的研究科學(xué)家，從事深度生成學(xué)習(xí)和弱監(jiān)督學(xué)習(xí)。在 D-Wave 之前，阿拉什是西蒙·弗雷澤大學(xué)（ Simon Fraser University ， SFU ）的一名研究人員，他領(lǐng)導(dǎo)了深度視頻分析的研究，并教授大數(shù)據(jù)機(jī)器學(xué)習(xí)的研究生課程。阿拉什在格雷格·莫里（ Greg Mori ）的指導(dǎo)下獲得了 SFU 的博士和理學(xué)碩士學(xué)位，致力于視覺(jué)分析的潛變量框架。他目前的研究領(lǐng)域包括深層生成學(xué)習(xí)、表征學(xué)習(xí)、高效神經(jīng)網(wǎng)絡(luò)和概率深層學(xué)習(xí)。

Karsten Kreis 是 NVIDIA 多倫多人工智能實(shí)驗(yàn)室的高級(jí)研究科學(xué)家。在加入 NVIDIA 之前，他在 D-Wave Systems 從事深度生成建模工作，并與他人共同創(chuàng)立了變分人工智能，這是一家利用生成模型進(jìn)行藥物發(fā)現(xiàn)的初創(chuàng)公司?？ㄋ闺隈R克斯·普朗克光科學(xué)研究所獲得量子信息理論理學(xué)碩士學(xué)位，并在馬克斯·普朗克聚合物研究所獲得計(jì)算和統(tǒng)計(jì)物理博士學(xué)位。目前，卡斯滕的研究重點(diǎn)是開發(fā)新的生成性學(xué)習(xí)方法，以及將深層生成模型應(yīng)用于計(jì)算機(jī)視覺(jué)、圖形和數(shù)字藝術(shù)等領(lǐng)域的問(wèn)題。

審核編輯：郭婷