從前沿的研究和應用方向來看，AI（人工智能）主要有 NLP（自然語言處理）、CV （計算機視覺）兩大L域，分別聚焦于對自然語言和圖像進行分析、處理。其中， ChatGPT 及其背后的 GPT 系列模型帶來的影響主要集中于 NLP L域。因此，我們通過 復盤過去 10 年 NLP L域的技術發展，來解答一個關鍵的問題：從技術角度看，ChatGPT 究竟是不是革命性的突破？

從技術角度復盤過去 10 年的 AI 發展歷程，有四個重要的時間節點：

1）2017 年 Transformer 統一 NLP 研究范式。谷歌在著名論文《Attention Is All You Need》中推出 Transformer 架構，通過引入“自注意力”機制，J大拓展了 AI 模型在不同任務中的可遷移性。該論文發布 5 年內被引用超過 3.8 萬次，統一了 NLP 的研究范式，后續也被廣泛跨L域應用于 CV 場景。

2）2018 年谷歌、OpenAI 路線之爭：完形填空 vs 文本生成。2018 年，谷歌、 OpenAI 基于 Transformer 框架，分別推出了 AI 模型 BERT 和 GPT-1。通俗來講，二者 技術路線主要的區別在于：預訓練任務中，谷歌 BERT 主要使用“完形填空”的方 式，即隨機遮蓋一些文字，讓 AI 模型通過上下文理解進行補全；而 GPT 則主要使用 “文本生成”的方式，即通過完全遮蓋訓練語料中的“下文”，訓練模型基于“上文”， 逐字逐句地生成文本。從應用結果來看，谷歌 BERT 在文本分類、關鍵詞提取等“自 然語言理解”類任務中的表現好于初代 GPT。而后續隨著模型參數量的指數J提升， GPT 模型在翻譯、寫作、問答等“自然語言生成”類任務中的優勢開始逐步顯現。

3）2020 年 GPT3 優勢初顯，千億參數量催生“涌現”效應。2020 年，OpenAI 推 出新的 AI 大模型 GPT-3，其參數量G達 1750 億，相較上一代 GPT-2 的 15 億G出一 百余倍。2020 年后，AI 大模型的“涌現”效應得到業內的廣泛關注，即當參數量G 于特定量J后（一般認為千億J別是門檻），再基于模型結構、訓練方法的調整，AI 大模型的特定性能會出現指數J的提升，如能夠準確回答未經過訓練的問題。此后， 谷歌、Meta 等相繼推出千億參數大模型，而 GPT-3 的技術路徑優勢日益凸顯。

4）2022-2023 年：ChatGPT 橫空出世，技術路徑再統一。2022 年 11 月，OpenAI 基于新 AI 大模型 GPT-3.5，使用來自人類反饋的強化學習（RLHF）進行精調，發布 了聊天機器人 ChatGPT。經過廣大 B 端、C 端用戶的大規模測試，ChatGPT 在文本生 成場景中的通用性遠超過谷歌 BARD 等同類應用。2023 年 3 月，OpenAI 發布 GPT-4， 使得 ChatGPT 的問答深度、廣度，以及多模態識別能力進一步增強。至此，OpenAI 的 GPT 系列已全面于谷歌、Meta 等競爭對手，其技術路徑的先進性得到充分驗證。