RLHF 是 ChatGPT/InstrcutGPT 實現與人類意圖對齊，即按照人類指 令盡可能生成無負面影響結果的重要技術[16]。該算法在強化學習框架下實 現，大體可分為以下兩個階段：

獎勵模型訓練，該階段旨在獲取擬合人類偏好的獎勵模型。獎勵模型以提示 和回復作為輸入，計算標量獎勵值作為輸出。獎勵模型的訓練過程通過擬合 人類對于不同回復的傾向性實現。具體而言，先基于在人類撰寫數據上精 調的模型，針對同一提示采樣多條不同回復。然后，將回復兩兩組合構成一 條獎勵模型訓練樣本，由人類給出傾向性標簽。終，獎勵模型通過每條樣 本中兩個回復的獎勵值之差計算傾向性概率擬合人類標簽，進而完成獎勵模型的訓練。

生成策略優化，給定習得的獎勵模型，ChatGPT/InstructGPT 的參數將被 視為一種策略，在強化學習的框架下進行訓練。先，當前策略根據輸入的 查詢采樣回復。然后，獎勵模型針對回復的質量計算獎勵，反饋回當前策略 用以更新。值得注意的是，為防止上述過程的過度優化，損失函數同時引入 了詞J別的 KL 懲罰項。此外，為了避免在公開 NLP 數據集上的性能退化， 策略更新過程兼顧了預訓練損失。