人工智能發展的突破得益于G質量數據的發展。例如，大型語言模型的新進展依賴于更 G質量、更豐富的訓練數據集：與 GPT-2 相比，GPT-3 對模型架構只進行了微小的修改， 但花費精力收集更大的G質量數據集進行訓練。ChatGPT 與 GPT-3 的模型架構類似，并使 用 RLHF（來自人工反饋過程的強化學習）來生成用于微調的G質量標記數據。

基于此，人工智能L域的權威學者吳承恩發起了“以數據為中心的 AI”運動，即在模型相 對固定的前提下，通過提升數據的質量和數量來提升整個模型的訓練效果。提升數據集質 量的方法主要有：添加數據標記、清洗和轉換數據、數據縮減、增加數據多樣性、持續監 測和維護數據等。因此，我們認為未來數據成本在大模型開發中的成本占比或將提升，主 要包括數據采集，清洗，標注等成本。

我們認為 AI 大模型需要G質量、大規模、多樣性的數據集。

1）G質量：G質量數據集能夠提G模型精度與可解釋性，并且減少收斂到優解的時間， 即減少訓練時長。

2）大規模：OpenAI 在《Scaling Laws for Neural Language Models》中提出 LLM 模型所 遵循的“伸縮法則”（scaling law），即d立增加訓練數據量、模型參數規模或者延長模型訓 練時間，預訓練模型的效果會越來越好。

3）豐富性：數據豐富性能夠提G模型泛化能力，過于單一的數據會非常容易讓模型過于擬 合訓練數據。