ChatGPT 的研發主要分為預訓練（Pre-train）和精調（Fine-tune）兩個環節。 其中：1）預訓練：使用無標注、大規模的數據集，對模型進行預訓練。2）精調：讓 模型與專業的標注人員、AI 訓練師進行交互，推動模型逐步學習人類通用的表達方 式和價值觀，從而終生成符合人類期望的回答。如果將 AI 大模型類比于學生，那么模型的預訓練就是通過廣泛的通識性閱讀，使學生具備初步 的文字理解能力；模型的精調就是“教學”的過程，其中使用出色教材的效果往往勝 過大量普通書籍。

從 ChatGPT 的主要技術環節，分析其核心壁壘所在：

1）算力資源：據 TrendForce 數據，以英偉達 A100 口徑計算，ChatGPT 需要 2 萬 塊 GPU 來處理訓練數據，隨著 ChatGPT 的商用化，需要的 GPU 數量可能超過 3 萬塊。 目前國內 GPU 集群的存量資源有限，疊加美實體清單影響G端芯片采購受阻，導致對 于國內大模型廠商而言，模型的推理、部署、應用等環節的算力資源緊缺。但從長期 來看，國內 AI 大模型算力緊缺的問題有望得到緩解。從市場角度，算力資源本質上 是自由流通的商品，相較于模型技術、工程能力等硬性壁壘更易突破；從技術層面看， 大模型的研發、應用環節所需算力未來均有優化的空間。4 月 13 日微軟推出大模型 訓練工具 DeepSpeed-Chat，其中包括開源的 RLHF 框架，能基于單個 GPU 訓練超過 130 億參數的模型，訓練速度提升 15 倍以上，垂類企業應用大模型的算力門檻有望大幅降低。

2）參數量：一般認為 1000 億的參數量J是語言類大模型產生“涌現”現象的門 檻,GPT3 的訓練參數量達 1750 億，GPT4 參數量未公布。對于國內大模型廠商，尤其 是擁有豐富自有數據資源的互聯網大廠而言，1000 億的參數量J并非難以達到。目 前百度、華為、阿里等頭部企業均已推出或發布千億參數以上的 AI 大模型，但在性 能上仍和 ChatGPT 有較大差距。

3）數據集的質量：GPT3 的預訓練數據集來自于 common crawl（網頁爬蟲聚合類 數據平臺）、維基百科等標準化程度較G的公開數據庫。目前國內 AI 大模型的預訓練 數據集也以公開網頁爬取的數據為主，再結合公司自有的行業數據進行訓練。問題在 于，相較于英文，目前互聯網上中文內容的規模和質量均存在較大差距。因此，國內 AI 大模型的預訓練數據集中也以英文數據為主，使得在中文為主的用戶使用環境中 產生較多的適配性問題。

目前來看解決的方法包括：一是建立標準化、G質量的中文 語料庫；二是加強 AI 大模型的翻譯能力，使其生成的結果更符合中文用戶的使用習 慣。

4）工程能力：包括預訓練、精調等訓練環節的執行能力和方法等，需要研發團 隊通過長時間的經驗積累、不斷試錯，再對模型結果進行調優，這也是 OpenAI 的 ChatGPT 目前于國內、乃至谷歌 BERT 等其他海外頭部大模型的核心壁壘之一。 例如在精調過程中，OpenAI 使用J少量的G質量標注數據，顯著提升了 GPT-3.5 的 應答能力。此外，中文和英文數據集在規模、質量等方面存在差距，這也需要額外的 工程能力去彌補，使得國產 AI 大模型更適用于中文的使用環境。