微調(diào)時初始學(xué)習(xí)率為2e?5，并采用余弦學(xué)習(xí)率下降，權(quán)重衰減為0.1，訓(xùn)練批次大小為64，最大長度為4096。為了提高模型訓(xùn)練效率，將多組數(shù)據(jù)進(jìn)行拼接，盡量填滿4096，每條數(shù)據(jù)直接用停止符隔開，計算loss時僅計算每條樣本target內(nèi)容的loss。

RM

對于人類偏好數(shù)據(jù)的收集，重點(diǎn)關(guān)注模型回復(fù)的有用性和安全性，通過選擇對比兩個模型結(jié)果獲取；不過除了選擇一個更好的結(jié)果之外，還需要對選擇的答案標(biāo)記偏好程度，例如：明顯更好，更好，稍微更好、可以忽略地更好或者不確定。在安全性上，對兩個結(jié)果會標(biāo)記都符合安全性、只有一個復(fù)合安全性、都不符合安全性，以此收集安全性數(shù)據(jù)。

在模型迭代過程中，獎勵模型所需的偏好數(shù)據(jù)，需要迭代收集，具體如下。

獎勵模型是對提示生成的回復(fù)生成一個標(biāo)量分值，評價模型生成質(zhì)量，但發(fā)現(xiàn)有用性和安全性很難在同一個獎勵模型表現(xiàn)都很好，因此，獨(dú)立訓(xùn)練了兩個獎勵模型，一個針對有用性（helpfulness）進(jìn)行了優(yōu)化，另一個針對安全性（safety）進(jìn)行了優(yōu)化。

獎勵模型的初始化來自于pretrained chat model檢查點(diǎn)，將下一個Token預(yù)測分類器替換成標(biāo)量獎勵值回歸器。訓(xùn)練時，采用帶有邊際約束的二元排序損失，如下：

邊際約束開源提高獎勵模型的準(zhǔn)確性。并且為了獎勵模型可以用有更好的泛化，防止出現(xiàn)獎勵黑客現(xiàn)象（例如Llama2-Chat利用了獎勵模型的弱點(diǎn)，在表現(xiàn)不佳的情況下夸大獎勵分?jǐn)?shù)），在獎勵模型訓(xùn)練過程中，還加入了部分開源人類偏好數(shù)據(jù)。

訓(xùn)練參數(shù)設(shè)置：70B模型的最大學(xué)習(xí)率為5e?6，其余模型的最大學(xué)習(xí)率為1e?5，采用余弦學(xué)習(xí)率下降，最低到最大學(xué)習(xí)率的10%，并采用總步數(shù)的3%進(jìn)行預(yù)熱（最少5步），訓(xùn)練批次大小為1024。

不同獎勵模型在不同數(shù)據(jù)上的效果如下表所示。

發(fā)現(xiàn)獎勵模型對明顯更好的數(shù)據(jù)效果更突出，對可以忽略地更好或者不確定的數(shù)據(jù)表現(xiàn)較差。

并且研究了獎勵模型在數(shù)據(jù)和模型大小方面的縮放趨勢，在數(shù)據(jù)逐步增大的同時，效果也在逐步提高。

Iterative Fine-Tuning

隨著收到更多批次的人類偏好數(shù)據(jù)，能夠訓(xùn)練更好的獎勵模型并收集更多提示。因此，訓(xùn)練了五個連續(xù)版本的RLHF模型（RLHF-v1到RLHF-v5）。

主要訓(xùn)練策略包括：

最近策略優(yōu)化（PPO）:標(biāo)準(zhǔn)強(qiáng)化學(xué)習(xí)算法

拒絕采樣微調(diào)：模型輸出時采樣K個結(jié)果，選擇獎勵值最高的一個，在強(qiáng)化學(xué)習(xí)階段進(jìn)行梯度更新。

在RLHF-v4之前，只使用拒絕采樣微調(diào)，之后將兩者順序結(jié)合起來。但主要只有70B模型進(jìn)行了拒絕采樣微調(diào)，而其他小模型的微調(diào)數(shù)據(jù)來自于大模型拒絕采樣數(shù)據(jù)，相當(dāng)于用大模型蒸餾小模型。

在模型進(jìn)行強(qiáng)化學(xué)習(xí)的獎勵值由有用性獎勵值和安全性獎勵值組合產(chǎn)生，具體計算如下：

訓(xùn)練參數(shù)設(shè)置：對于所有模型，采樣AdamW優(yōu)化器，其中β1、β2和eps分別為0.9、0.95和1e?5，權(quán)重衰減為0.1，梯度裁剪為1.0，學(xué)習(xí)率為恒定為1e?6。PPO訓(xùn)練時大批次為512，小批次為64，PPO裁剪閾值為0.2。對于7B和13B模型，設(shè)置KL懲罰系數(shù)為0.01，對于34B和70B模型，設(shè)置KL懲罰系數(shù)為0.005。所有模型進(jìn)行200到400次迭代訓(xùn)練。

多輪對話一致性

最初的RLHF模型在幾輪對話后忘記最初的指令，下圖(左)所示。為了解決這些限制，提出Ghost Attention方法（Gatt，其實(shí)是一個訓(xùn)練trick）來增強(qiáng)模型對指令的遵從。

假設(shè)多輪對話數(shù)據(jù)為 [u1,a1,...,un,an]，定義一條指令（inst），使得整個對話過程中都遵守該指令，然后將該指令綜合連接到對話的所有用戶消息，構(gòu)造為 [inst+u1,a1,...,inst+un,an]。為了避免語句不匹配的問題，在訓(xùn)練過程中，保留第一輪的提示，并將中間輪數(shù)的損失置為0。

總結(jié)

Llama2模型7b，13b，34b，70b都有，完全夠用，最期待的34b會暫緩放出。

國內(nèi)開源底座模型還是在6b、7b、13b等層次，33-34b才是剛需呀。

隨著開源可商用的模型越來越多，大模型社區(qū)會越來越繁華，是中小廠的福音。開源都是真英雄。

我愿從此跟隨MetaAI走Open開源AI路線。

編輯：黃飛

?