InstructGPT/ChatGPT的效果非常亮眼，引入了人工標(biāo)注之后，讓模型的“價(jià)值觀”和的正確程 度和人類行為模式的“真實(shí)性”上都大幅的提升。

模型優(yōu)點(diǎn)

一 真實(shí)性&無害性

1 InstructGPT/ChatGPT引入了不同的labeler進(jìn)行提示編寫和生成結(jié)果排序，并且還是在GPT-3之上進(jìn)行的微調(diào)，這使得我們?cè)谟?xùn)練獎(jiǎng)勵(lì)模型時(shí)對(duì)更加真實(shí)無害的數(shù)據(jù)會(huì)有更G的獎(jiǎng)勵(lì)。

2 無害性

GPT-3就具有很強(qiáng)的Coding能力，基于GPT-3制作的API也積累了大量的Coding代碼。而且也有部分OpenAI的內(nèi)部員工參與了數(shù)據(jù)采集工作。 通過Coding相關(guān)的大量數(shù)據(jù)以及人工標(biāo)注，訓(xùn)練出來的InstructGPT/ChatGPT具有非常強(qiáng)的Coding能力也就不意外了。

3 切題性

無論回答是否正確真實(shí)，但是基本都能做到切題，這說明ChatGPT在理解人類語言上已經(jīng)非常成功。

二 存在問題

1 過分解讀

因?yàn)閘abeler在進(jìn)行生成內(nèi)容的比較時(shí)，傾向于給給長(zhǎng)的輸出內(nèi)容更G的獎(jiǎng)勵(lì)。

2 容易被誘導(dǎo)

對(duì)有害的指示可能會(huì)輸出有害的答復(fù)：例如InstructGPT/ChatGPT也會(huì)對(duì)用戶提出的“AI毀滅人類計(jì)劃書”給出行動(dòng)方案。

3 荒謬性

很有可能受限于糾正數(shù)據(jù)的有限，或是有監(jiān)督任務(wù)的誤導(dǎo)，導(dǎo)致它生成內(nèi)容的不真實(shí)。