用戶體驗(yàn)

ChatGPT功能：回答后續(xù)問題、 承認(rèn)錯(cuò)誤、質(zhì)疑不正確的要求 以及拒J不適當(dāng)?shù)恼?qǐng)求。

理解用戶輸入信息意圖，回答 內(nèi)容完整有邏輯、有條理，重 點(diǎn)清晰；

真正做到多輪溝通，對(duì)上下文 有理解和記憶，對(duì)話能力更強(qiáng)。

算法的突破

LLM（large language model）：當(dāng)模型規(guī)模超過某個(gè)閾值之后， 對(duì)于通用任務(wù)的效果會(huì)顯著提升；

無(wú)監(jiān)督學(xué)習(xí)（Unsupervised pre-training）：又稱可預(yù)測(cè)學(xué)習(xí)， 該學(xué)習(xí)方式使得ChatGPT在無(wú)人工標(biāo)注數(shù)據(jù)的條件訓(xùn)練，數(shù)據(jù)更 多、數(shù)據(jù)成本更低，模型泛化能力更強(qiáng)；

CoT(Chain of Thought)思維鏈：該算法使得模型生成推理路徑， 并在敏感話題方面避免了無(wú)法回答的問題；

RLHF(Reinforcement Learning From Human Feedback)人類反 饋強(qiáng)化學(xué)習(xí)：ChatGPT能夠憑借強(qiáng)化學(xué)習(xí)的方式不斷優(yōu)化人類反 饋的語(yǔ)言模型。

算力、數(shù)據(jù)、人才、資金的投入

算力、資金的投入：GPT3.5訓(xùn)練階段總算力消耗約 3640PF-days，約使用10000個(gè)GPU+285000個(gè)CPU， OpenAI耗費(fèi)10億美元租用Azure；截止202301，每個(gè) 月,ChatGPT預(yù)計(jì)花費(fèi)公司1200萬(wàn)美元；

數(shù)據(jù)：ChatGPT1訓(xùn)練數(shù)據(jù)來(lái)自公開的電子書； ChatGPT2訓(xùn)練數(shù)據(jù)來(lái)自Reddit； ChatGPT2訓(xùn)練數(shù)據(jù) 來(lái)自82.2%預(yù)處理的CommonCrawl語(yǔ)料庫(kù)、13.5%的 線上圖書（GPT1數(shù)據(jù)集及Bibliotik,）、3.8% Reddit 。

OpenAI創(chuàng)始人、技術(shù)團(tuán)隊(duì)：OpenAI創(chuàng)始人均為科技 人才，現(xiàn)有375名正式員工，OpenAI一年人員支出 G達(dá)8931萬(wàn)美元，人均約為23.8萬(wàn)美元/年/人。