GPT-4 仍存在“幻覺”和推理錯誤。幻覺指的是產生與某些來源有關的無意義或不真實的 內容。但是，與 GPT-3.5 模型相比，GPT-4 顯著減少了幻覺，并在內部的對抗性事實性評 估中，在所有項的準確率均分比新的 GPT-3.5 G出 19pct。

與 ChatGPT 類似，GPT-4 寫 的訓練數據均是 2021 年 9 月之前的，因此缺乏對該日期之后的知識的掌握，會犯一些簡單 的推理錯誤，接受用戶的明顯錯誤陳述，或在在生成的代碼中存在安全漏洞。

RLHF顯著提G了 GPT-4在 TruthfulQA公共基準測試上的表現，但程度仍欠佳。TruthfulQA 基準測試了模型從對抗選擇的一組不正確的語句中分離事實的能力。GPT-4 基本模型在 TruthfulQA基準上的表現略好于GPT-3.5。經過RLHF訓練后，GPT-4相比于同樣經過RHLF 的 GPT-3.5-turbo 在準確率上超 10pct。但是，即使經過 RLHF 訓練，GPT-4 在 TruthfulQA 上的準確率也只有 60%，未達到更G水平。