詳細信息 |
ChatGPT有大規模語言模型自身的局限 |
編輯: 來源:哈爾濱工業大學自然語言處理研究所 時間:2023/3/31 |
身為大規模語言模型,ChatGPT 難免有 著 LLM 的通用局限,具體表現在以下幾個方面: 1. 可信性無法保證:ChatGPT 的回復可能是在一本正經地胡說八道,語句通暢貌似合理,但其實完全大相徑庭,目前模型還不能提供合理的 證據進行可信性的驗證; 2. 時效性差:ChatGPT 無法實時地融入新知識,其知識范圍局限于基礎 大規模語言模型使用的預訓練數據時間之前,可回答的知識范圍有明顯的邊界; 3. 成本G昂:ChatGPT 基礎大模型訓練成本G、部署困難、每次調用花 費不菲、還可能有延遲問題,對工程能力有很G的要求; 4. 在特定的專業L域上表現欠佳:大規模語言模型的訓練數據是通用數 據,沒有L域專業數據,比如針對特定L域的專業術語翻譯做的并不 好; 5. 語言模型每次的生成結果是 beam search 或者采樣的產物,每次都會有細微的不同。同樣地,ChatGPT 對輸入敏感,對于某個指令可能回 答不正確,但稍微替換幾個詞表達同樣的意思重新提問,又可以回答 正確,目前還不夠穩定。
|
【聲明:轉載此文出于傳遞更多信息之目的,并不意味著贊同其觀點或證實其描述,文章內容僅供參考,如有侵權,請聯系刪除。】 |
推薦信息 |
ChatGPT相較于微調小模型的優點
通過大量指令激發的泛化能力在零樣本和少樣本場景下具有顯著優勢,在未 見過的任務上也可以有所表現,在微調小模型的范式下實現的泛化能力
ChatGPT相較于其它大規模語言模型的優點
ChatGPT 使用了更多的多輪對話數據進行指令微調,這使其擁有了建模對話歷史的能 力,能持續和用戶交互,基于人類反饋 的強化學習調整模型的輸出偏好
ChatGPT相較于普通聊天機器人的優點
ChatGPT類似于市場上其他聊天機器人(微軟小冰,百度度秘等),可與人類自然交互 簡單直接;ChatGPT 的回答更準確, 答案更流暢,能進行更細致的推理,能完成更多的任務
ChatGPT 的未來技術發展方向
無法產生本應產生的正確回復; 對于輸入措辭比較敏感;生成的回復通常過于冗長;其模型過于龐大使用成本過高;減少人類反饋信息的 RLAIF
ChatGPT 插件發布帶來的十大關注點
定義大模型的toC平臺商業模式;開放 API 標準;未來應用內又可反向嵌入 ChatGPT;知識更新問題被解決;很大程度解決準確性問題
ChatGPT的未來改進方向
ChatGPT雖然對話能力強,但是在數理計算對話中容易出現一本正經胡說八道的情況,ChatGPT很強大,但其模型大小和使用成本也讓很多人望而卻步
ChatGPT的局限有哪些
ChatGPT無法處理復雜冗長或者特別專業的語言結構;ChatGPT需要非常大量的算力;ChatGPT還沒法在線的把新知識納入其中;ChatGPT仍然是黑盒模型
ChatGPT的訓練過程分為三個階段
訓練獎勵模型通過人工標注訓練數據 (約33K個數據) 來訓練回報模型;采用PPO強化學習來優化策略將在線學習轉化為離線學習靠獎勵打分來更新預訓練模型參數 |
智能運輸機器人 |
AGV無人運輸機器人-料箱版 |
AGV無人運輸機器人-標準版 |
AGV無人運輸機器人-料箱版(鈑金材質) |
AGV無人運輸機器人-貨架版(鈑金材質) |
AGV無人運輸機器人-貨架版(亮面不銹鋼材質) |
AGV無人運輸機器人-開放版 |
行業動態 |
咨詢熱線:4006-935-088 / 4006-937-088
客服熱線:
4008-128-728
版權所有 @ 創澤智能機器人集團股份有限公司 魯ICP備18039973號-2 運營中心 / 北京·清華科技園九號樓 生產中心 / 山東省日照市開發區太原路71號 |