預訓練之后，GPT-4 采用了與 InstructGPT 同樣的方法進行 RLHF。OpenAI 先從人類 標注員處收集演示數據（給定一個輸入，演示模型應該如何響應），并對模型的輸出數據進 行排名（給定一個輸入和幾個輸出，將輸出從好到差進行排序）。然后執行以下步驟： 1）利用收集到的人工標注演示數據，使用監督學習（SFT）來模擬演示中的行為以微調 GPT-4；2）使用收集到的排名數據來訓練獎勵模型（RM），該模型預測標注員對給定輸出 的平均偏好；3）使用獎勵模型和強化學習（特別是 PPO 算法），優化 GPT-4 SFT 模型。

基于規則的獎勵模型以更細的粒度進一步引導模型。RLHF 微調后的模型仍然會不時出現 人類不想看到的行為。因此，OpenAI 在 RLHF 基礎上增加基于規則的獎勵模型（RBRMs）。 RBRM 是一組 zero-shot 的 GPT-4 分類器（classifier）。分類器在 RLHF 微調期間針對正確 行為（例如拒J生成有害內容或不拒J無害請求），向 GPT-4 策略模型提供額外的獎勵信號。 RBRM 有三個輸入：提示（可選）、策略模型的輸出和人類編寫的用于如何評估輸出的規則。 在安全相關的訓練提示集上，獎勵 GPT-4 拒J有害內容請求，例如非法建議；同樣獎勵 GPT-4 沒有拒J對安全和可回答問題的請求。