大模型微調成本和維護成本過G。目前大模型廠商在用戶需求較大時，微調成本和模 型維護成本會相當G，若僅提供推理服務，成本可以大幅降低但是模型精度會受到較大犧 牲，從而降低大模型的競爭力。并且 AI 項目實施通常會把模型部署到終端，對算力的要求 非常G，因此國內外大廠及研究院所均致力于對預訓練模型進行“瘦身”。

模型蒸餾與遷移學習成為 AI L域研究新方向，可大幅優化終端模型計算的時效性并 節約算力成本。“知識蒸餾”概念可類比于學校中的教學行為，可有效地壓縮預訓練模型的 大小。知識蒸餾包含已訓練的 Teacher Model 和待訓練的 Student Model，通過知識蒸餾和 遷移學習，學生網絡可以擁有與教師網絡相似和相近的計算性能。

知識蒸餾可以在基于G度復雜的大模型訓練基礎上，提升細分任務小模型的計算精 度，同時也可以有效降低模型延遲，并且壓縮網絡參數。基于知識蒸餾思想改進 BERT 預 訓練模型，實現模型的簡化和速度的提升。Distilled BERT 模型直接將 BERT 的部分參數作 為初始化，模型參數只有 BERT 的約 40%，但速度快提升 60%，同時保留了 97%的語言理 解能力。我們認為在人工智能通往商業化應用的道路上，早期專注于增加數據量、計算能 力或者訓練過程的優化方式可能不再適用，未來各大廠商需要計算與預測性能之間做出權 衡，探索如何利用更少的數據與計算資源，幫助模型實現性能提升