ChatGPT是GPT-3模型的一種變體，其參數大小取決于特定版本和配置的模型。作為一種面向一般對話任務的語言模型，ChatGPT通常比大的 GPT-3模型要小得多，后者大可以達到1750億個參數。

例如，微軟在2020年發布的ChatGPT的大版本有60億個參數，而GPT-3的大版本有1750億個參數。ChatGPT的較小參數大小使其更容易部署在較小的設備上，并在具有較低計算資源的應用程序中使用。 值得注意的是，參數大小不是確定語言模型性能的因素。架構、訓練數據和優化技術也在確定模型在特定任務中有效性的過程中起著重要作用。

ChatGPT背后的GPT模型是在一個超大語料基礎上預訓練出的大語言模型 （LLM），采用從左到右進行填字概率預測的自回歸語言模型，并基于 prompting（提示）來適應不同L域的任務。

再簡單一些講：GPT 模型使用 Google 幾年前推出的 Transformer 架構 來預測下一個單詞的概率分布，通過訓練在大型文本語料庫上學習到的語 言模式來生成自然語言文本。

從 GPT-1 到 GPT-3 智能化程度不斷提升，ChatGPT 的到來也是 GPT-4 正式推出之前的序章。