相較于其它大規(guī)模語(yǔ)言模型： 相較于其它的大規(guī)模語(yǔ)言模型，ChatGPT 使用了更多的多輪對(duì)話數(shù)據(jù)進(jìn)行指令微調(diào)，這使其擁有了建模對(duì)話歷史的能 力，能持續(xù)和用戶交互。

同時(shí)因?yàn)楝F(xiàn)實(shí)世界語(yǔ)言數(shù)據(jù)的偏見性，大規(guī)模語(yǔ)言模型基于這些數(shù)據(jù)預(yù) 訓(xùn)練可能會(huì)生成有害的回復(fù)。ChatGPT 在指令微調(diào)階段通過基于人類反饋 的強(qiáng)化學(xué)習(xí)調(diào)整模型的輸出偏好，使其能輸出更符合人類預(yù)期的結(jié)果（即能 進(jìn)行翔實(shí)的回應(yīng)、公平的回應(yīng)、拒J不當(dāng)問題、拒J知識(shí)范圍外的問題），一 定程度上緩解了安全性和偏見問題，使其更加耐用；同時(shí)其能利用真實(shí)的用 戶反饋不斷進(jìn)行 AI 正循環(huán)，持續(xù)增強(qiáng)自身和人類的這種對(duì)齊能力，輸出更 安全的回復(fù)。