大數(shù)據(jù)、新算法和快速計算是使現(xiàn)代 AI 革命成為可能的三個主要因素。然而，數(shù)據(jù)給企業(yè)帶來了許多挑戰(zhàn)：數(shù)據(jù)標記困難、數(shù)據(jù)治理效率低下、數(shù)據(jù)可用性有限、數(shù)據(jù)隱私等。

綜合生成的數(shù)據(jù)是解決這些挑戰(zhàn)的潛在解決方案，因為它通過從模型中采樣來生成數(shù)據(jù)點。連續(xù)采樣可以生成無限多的數(shù)據(jù)點，包括標簽。這允許跨團隊或外部共享數(shù)據(jù)。

生成合成數(shù)據(jù)還可以在不影響質量或真實性的情況下提供一定程度的數(shù)據(jù)隱私。成功的合成數(shù)據(jù)生成涉及在保持隱私的同時捕獲分布，并有條件地生成新數(shù)據(jù)，然后這些數(shù)據(jù)可用于建立更穩(wěn)健的模型或用于時間序列預測。

在這篇文章中，我們以 NVIDIA NeMo 為例，解釋如何用 transformer 模型人工生成合成數(shù)據(jù)。我們解釋了如何在 machine learning 算法中使用合成生成的數(shù)據(jù)作為真實數(shù)據(jù)的有效替代品，以保護用戶隱私，同時做出準確的預測。

變壓器：更好的合成數(shù)據(jù)發(fā)生器

Deep learning 生成模型自然適合對復雜的現(xiàn)實世界數(shù)據(jù)建模。兩種流行的生成模型在過去取得了一些成功：可變自動編碼器（ VAE ）和生成對抗網(wǎng)絡（ GAN ）。

然而，合成數(shù)據(jù)生成的 VAE 和 GAN 模型存在已知問題：

GAN 模型中的 模式崩潰問題 會導致生成的數(shù)據(jù)錯過訓練數(shù)據(jù)分布中的某些模式。

由于非自回歸損失， VAE 模型難以生成尖銳的數(shù)據(jù)點。

Transformer Models 最近在自然語言處理（ NLP ）領域取得了巨大的成功。 transformer 模型的自我注意編碼和解碼架構已被證明在建模數(shù)據(jù)分布方面是準確的，并且可擴展到更大的數(shù)據(jù)集。例如， NVIDIA Megatron-Turing NLG 模型使用 530B 參數(shù)獲得了優(yōu)異的結果。

GPT

OpenAI’s GPT3 使用 transformer 模型的解碼器部分，具有 175B 參數(shù)。 GPT3 已廣泛應用于多個行業(yè)和領域，從生產力和教育到創(chuàng)意和游戲。

GPT 模型被證明是一種優(yōu)越的生成模型。如你所知，任何聯(lián)合概率分布都可以根據(jù) 概率鏈規(guī)則 分解成一系列條件概率分布的乘積。 GPT 自回歸損失直接模擬圖 1 所示的數(shù)據(jù)聯(lián)合概率分布。

圖 1 GPT 模型訓練

在圖 1 中， GPT 模型訓練使用自回歸損失。它與概率鏈規(guī)則有一對一的映射。 GPT 直接建模數(shù)據(jù)的聯(lián)合概率分布。

由于表格數(shù)據(jù)由不同類型的數(shù)據(jù)（如行或列）組成， GPT 可以理解跨多個表格行和列的聯(lián)合數(shù)據(jù)分布，并生成合成數(shù)據(jù)，就好像它是 NLP 文本數(shù)據(jù)一樣。我們的 experiments 表明， GPT 模型確實可以生成更高質量的表格合成數(shù)據(jù)。

更高質量的表格數(shù)據(jù)標記器

盡管 GPT 具有優(yōu)越性，但使用 GPT 對表格數(shù)據(jù)建模仍存在許多挑戰(zhàn)： GPT 模型的數(shù)據(jù)輸入是令牌 ID 序列。對于 NLP 數(shù)據(jù)集，可以使用 byte-pair encoding （ BPE ）標記器將文本數(shù)據(jù)轉換為標記 ID 序列。

對于表格數(shù)據(jù)集，使用通用 GPT BPE 標記器 是很自然的；然而，這種方法存在一些問題。

首先，當 GPT BPE 標記器將表格數(shù)據(jù)拆分為標記時，同一列不同行的標記數(shù)通常不是固定的，因為標記數(shù)是由單個子項的出現(xiàn)頻率決定的。這意味著，如果使用普通 NLP 標記器，表中的列信息將丟失。

NLP 標記器的另一個問題是，列中的長字符串將由大量標記組成。考慮到 GPT 對令牌序列建模的能力有限，這是一種浪費。例如，商戶名稱 三井工程造船公司 需要 7 個令牌來使用 BPE 令牌化器對其進行編碼（［448969019424122216656168941766］）。

正如 TabFormer paper 中所討論的，一個可行的解決方案是為考慮表的結構信息的表格數(shù)據(jù)構建一個專門的標記器。 TabFormer 標記化器為每列使用一個標記，如果該列的標記數(shù)較小，則可能導致精度損失，如果標記數(shù)過大，則可能導致泛化能力較弱。

我們通過使用多個標記對列進行編碼來改進它。

圖 2 將浮點數(shù)轉換為令牌 ID 序列

圖 2 顯示了將浮點數(shù)轉換為令牌 ID 序列的步驟。首先，我們可逆地將浮點數(shù)轉換為正整數(shù)。然后，它被轉換成一個具有位置基 B 的數(shù)字，其中 B 是一個超參數(shù)?；?B 號越大，表示該數(shù)字所需的令牌就越少。

然而，更大的基數(shù) B 犧牲了新數(shù)字的通用性。在最后一步中，數(shù)字被映射到唯一的令牌 ID 。要將令牌 ID 轉換為浮點數(shù)，請按相反順序運行以下步驟。然后，浮點數(shù)解碼精度由令牌的數(shù)量和位置基的選擇決定 B 。

基于 NeMo 框架的伸縮模型訓練

NeMo 是用于培訓 對話人工智能 模型的框架。在 NeMo 存儲庫內的 released code 中，我們的表格數(shù)據(jù)標記器支持整數(shù)和分類數(shù)據(jù)，處理 NaN 值，并支持不同的標量轉換以最小化數(shù)字之間的差異。有關更多信息，請參閱我們的 源代碼實現(xiàn) 。

您可以使用特殊的表格數(shù)據(jù)標記器來訓練任何大小的表格合成數(shù)據(jù)生成 GPT 模型。由于內存限制，大型模型可能難以訓練。 NeMo megatron 是一個用于在 NeMo 中訓練大型語言模型的工具包，并提供 張量模型并行和管道模型并行 和 張量模型并行和管道模型并行 。

這使得 transformer 模型的訓練具有數(shù)十億個參數(shù)。除了模型并行性之外，您還可以在培訓期間應用數(shù)據(jù)并行性，以充分利用集群中的所有 GPU 。根據(jù) OpenAI 的 自然語言的尺度律 和 深度學習模型的過度參數(shù)化理論 ，考慮到訓練數(shù)據(jù)的大小，建議訓練大型模型以獲得合理的驗證損失。

將 GPT 模型應用于實際應用

在我們最近的 GTC 談話 ，我們表明，經過訓練的大型 GPT 模型可以生成高質量的合成數(shù)據(jù)。如果我們繼續(xù)對經過訓練的表格 GPT 模型進行采樣，它可以產生無限多個數(shù)據(jù)點，這些數(shù)據(jù)點都像原始數(shù)據(jù)一樣遵循聯(lián)合分布。生成的合成數(shù)據(jù)提供了與原始數(shù)據(jù)相同的分析見解，但沒有透露個人的私人信息。這使得安全的數(shù)據(jù)共享成為可能。

此外，如果您根據(jù)過去的數(shù)據(jù)對生成模型進行調整，以生成未來的合成數(shù)據(jù)，那么該模型實際上是在預測未來。這對金融服務行業(yè)中處理金融時間序列數(shù)據(jù)的客戶很有吸引力。 與 Cohen & Steers 合作 ，我們實施了一個表格 GPT 模型，以預測經濟和市場指標，包括通貨膨脹、波動性和股票市場，并獲得高質量的結果。

彭博社在 2022 年 GTC 上介紹了他們如何應用我們提出的合成數(shù)據(jù)方法來分析信用卡交易數(shù)據(jù)的模式，同時保護用戶數(shù)據(jù)隱私。

運用你的知識

在本文中，我們介紹了使用 NeMo 生成合成表格數(shù)據(jù)的想法，并展示了如何將其用于解決實際問題。

關于作者

Yi Dong 是 NVIDIA 的深度學習解決方案架構師，負責提供金融服務業(yè)人工智能解決方案。易建聯(lián)獲得了博士學位。來自約翰·霍普金斯大學醫(yī)學院，研究計算神經科學。易在計算機軟件工程、機器學習和金融領域擁有 10 年的工作經驗。易建聯(lián)喜歡閱讀深度學習的最新進展，并將其應用于解決財務問題。

Emanuel Scoullos 是 NVIDIA 金融服務和技術團隊的數(shù)據(jù)科學家，他專注于 FSI 內的 GPU 應用。此前，他在反洗錢領域的一家初創(chuàng)公司擔任數(shù)據(jù)科學家，應用數(shù)據(jù)科學、分析和工程技術構建機器學習管道。他獲得了博士學位。普林斯頓大學化學工程碩士和羅格斯大學化學工程學士學位。

審核編輯：郭婷