D一階段： 訓練監督策略模型

GPT 3. 5本身很難理解人類不同類型指令中蘊含的不同意圖， 也很難判斷生成內容是否是G質量的 結果。為了讓GPT 3. 5初步具備理解指令的意圖， 先會在數據集中隨機抽取問題， 由人類標注人 員， 給出G質量答案， 然后用這些人工標注好的數據來微調 GPT-3. 5模型 (獲得SFT模型, Supervised Fine-Tuning) 。

此時的SFT模型在遵循指令/對話方面已經優于 GPT-3， 但不一定符合人類偏好。

第二階段： 訓練獎勵模型 ( Reward Mode， RM)

這個階段的主要是通過人工標注訓練數據 (約33K個數據) ， 來訓練回報模型。在數據集中隨機抽 取問題， 使用D一階段生成的模型， 對于每個問題， 生成多個不同的回答。人類標注者對這些結果 綜合考慮給出排名順序。這一過程類似于教練或老師輔導。 接下來， 使用這個排序結果數據來訓練獎勵模型。對多個排序結果， 兩兩組合， 形成多個訓練數據 對。 RM模型接受一個輸入， 給出評價回答質量的分數。這樣， 對于一對訓練數據， 調節參數使得 G質量回答的打分比低質量的打分要G。

第三階段： 采用PPO ( P roximal Policy O ptimization， 近端策略優化) 強化學習來優化策略。

PPO的核心思路在于將Policy G radient中On- policy的訓練過程轉化為Off- policy， 即將在線學習轉化為離線學習， 這個轉化過程被稱之為Importance Sampling。這一階段利用第二階段訓練好 的獎勵模型， 靠獎勵打分來更新預訓練模型參數。在數據集中隨機抽取問題， 使用PPO模型生成回 答， 并用上一階段訓練好的RM模型給出質量分數。把回報分數依次傳遞， 由此產生策略梯度， 通 過強化學習的方式以更新PPO模型參數。

如果我們不斷重復第二和第三階段， 通過迭代， 會訓練出更G質量的ChatGPT模型。