最新版本的 NVIDIA Modulus 是一個人工智能框架，它允許用戶為數(shù)字孿生、氣候模型和基于物理的建模與仿真創(chuàng)建可定制的培訓(xùn)管道，現(xiàn)在可以下載。

此次發(fā)布的物理 ML 框架 NVIDIA Modulus v22.09 包括關(guān)鍵的增強功能，以增加神經(jīng)運算符體系結(jié)構(gòu)的合成靈活性，改進訓(xùn)練收斂性和性能，最重要的是，顯著改進了用戶體驗和文檔。

您可以從 NGC 、 NGC 下載 GitLab 容器的最新版本，或訪問 Modulus 上的 Modulus repo 。

神經(jīng)網(wǎng)絡(luò)架構(gòu)

此更新擴展了傅里葉神經(jīng)運算符（ FNO ）、物理信息神經(jīng)運算符（ PINO ）和 DeepONet 網(wǎng)絡(luò)架構(gòu)實現(xiàn)，以支持使用 Modulus 中的其他內(nèi)置網(wǎng)絡(luò)進行定制。更具體地說，通過此更新，您可以：

通過改進的 FNO 、 PINO 和 DeepONet 體系結(jié)構(gòu)，跨問題實現(xiàn)更好的初始化、定制和泛化。

通過將 Modulus 內(nèi)的任何點式網(wǎng)絡(luò)（如 Sirens 、 Fourier Feature networks ）和 FNO / PINO 解碼器部分的 Modified Fourier Feature network 與頻譜編碼器相結(jié)合，探索新的網(wǎng)絡(luò)配置。

使用 DeepONet 的分支網(wǎng)絡(luò)和主干網(wǎng)絡(luò)中的任何網(wǎng)絡(luò)來嘗試多種架構(gòu)。這包括主干網(wǎng)中的物理信息神經(jīng)網(wǎng)絡(luò)（ PINN ）。 FNO 也可以用于 DeepONet 的分支網(wǎng)絡(luò)。

用一個新的 DeepONet 示例演示 DeepONet 的改進，以模擬穿過多孔介質(zhì)的 Darcy 流。

模型并行性是作為模型并行 AFNO 的 beta 特性引入的。這使得可以沿著通道維度跨多個 GPU 并行化模型。這種分解以高度并行的方式分布 FFT 和 IFFT 。矩陣乘法是分區(qū)的，因此每個 GPU 持有每個 MLP 層權(quán)重的不同部分，并為向前和向后傳遞執(zhí)行適當(dāng)?shù)木奂⒎稚?、縮減和其他通信例程。

此外，現(xiàn)在支持 self-scalable tanh （Stan） 激活功能。眾所周知， Stan 具有更好的收斂特性，并提高了 PINN 訓(xùn)練模型的精度。

最后，通過 TorchScript 對 Sigmoid Linear Unit （SiLU） 內(nèi)核融合的支持現(xiàn)在增加了對 PyTorch 符號梯度公式的上游更改。這對于需要計算高階導(dǎo)數(shù)以進行物理知識培訓(xùn)的問題特別有用，在這種情況下可提供高達(dá) 1.4 倍的加速。

建模增強和培訓(xùn)功能

每個 NVIDIA Modulus 版本都改進了建模方面，以更好地將偏微分方程（ PDE ）映射到神經(jīng)網(wǎng)絡(luò)模型，并改進訓(xùn)練收斂性。

新的 recommended practices in Modulus 可用于幫助縮放和非尺寸化 PDE ，以幫助您正確縮放系統(tǒng)的單元，包括：

用數(shù)值和單位定義物理量

實例化非尺寸化對象以縮放數(shù)量

通過代數(shù)操作跟蹤無量綱化量

使用用戶指定的單位將非量綱化數(shù)量縮小到任何目標(biāo)數(shù)量，以便于后期處理

現(xiàn)在，您還可以使用 Selective Equations Term Suppression （SETS） 在系統(tǒng)內(nèi)有效處理不同的規(guī)模。這使您能夠創(chuàng)建同一 PDE 的不同實例，并凍結(jié) PDE 中的某些術(shù)語。這樣，較小規(guī)模的損失將最小化，從而改進 PINN 中剛性 PDE 的收斂性。

此外，在 Hydra 配置 YAML 文件中配置的新 Modulus APIs 使最終用戶能夠根據(jù)收斂標(biāo)準(zhǔn)（如總損失或單個損失項或他們可以指定的其他指標(biāo)）終止培訓(xùn)。

新的 causal weighting scheme 解決了違反瞬態(tài)問題物理因果關(guān)系的連續(xù)時間 PINN 的偏差。通過重新計算殘差和初始條件的損失，可以獲得動力系統(tǒng) PINNS 的更好收斂性和更好的精度。

Modulus 培訓(xùn)性能、可擴展性和可用性

每一個 NVIDIA Modulus 版本都側(cè)重于提高培訓(xùn)性能和可擴展性。通過這一最新版本， FuncTorch 被集成到 Modulus 中，以便在 PINN 培訓(xùn)中更快地計算梯度。 Regular PyTorch Autograd 使用反向模式自動微分，必須在for循環(huán)中逐行計算雅可比項和黑森項。 FuncTorch 消除了不必要的權(quán)重梯度計算，并可以使用反向和正向模式自動微分的組合更有效地計算雅可比矩陣和海森矩陣，從而提高訓(xùn)練性能。

Modulus v22.09 文檔改進提供了關(guān)于框架工作流關(guān)鍵概念的更多上下文和細(xì)節(jié)，以幫助新用戶。

對 Modulus Overview 進行了增強，為物理驅(qū)動、純數(shù)據(jù)驅(qū)動以及物理和數(shù)據(jù)驅(qū)動建模方法提供了更多示例指導(dǎo)工作流。 Modulus 用戶現(xiàn)在可以按照改進的介紹性示例逐步構(gòu)建符合每個工作流關(guān)鍵概念的工作流。

關(guān)于作者

Bhoomi Gadhia 是 NVIDIA 的高級產(chǎn)品營銷經(jīng)理，專注于 NVIDIA Modular ，一個用于開發(fā)物理信息機器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的人工智能框架。她在計算機輔助工程應(yīng)用領(lǐng)域擁有超過 10 年的經(jīng)驗，在 Hexagon MSC Software 和 Ansys 擔(dān)任技術(shù)和產(chǎn)品營銷職務(wù)。布米居住在加利福尼亞州，擁有機械工程碩士學(xué)位。

Ram Cherukuri 是 CUDA 平臺和 DLA 軟件的高級產(chǎn)品經(jīng)理。在 NVIDIA 之前， Ram 是 MathWorks 的產(chǎn)品經(jīng)理，負(fù)責(zé)嵌入式軟件開發(fā)的代碼生成和驗證產(chǎn)品，與汽車和航空 def 客戶合作。

審核編輯：郭婷