| 詳細(xì)信息 |
ChatGPT 的未來技術(shù)發(fā)展方向 |
| 編輯： 來源：哈爾濱工業(yè)大學(xué)自然語言處理研究所 時(shí)間：2023/3/30 |
雖然 ChatGPT 目前已經(jīng)取得了非常喜人的成果，但是未來仍然有諸多 可以研究的方向。 1.訓(xùn)練過程中 一些謹(jǐn)慎的訓(xùn)練策略導(dǎo)致模型無法產(chǎn)生本應(yīng)產(chǎn)生的正確回復(fù)；監(jiān)督學(xué) 習(xí)訓(xùn)練過程中錯(cuò)誤的引導(dǎo)導(dǎo)致模型更傾向于生成標(biāo)注人員所知道的內(nèi) 容而不是模型真實(shí)知道的。 2. ChatGPT 對(duì)于輸入措辭比較敏感 3. ChatGPT 生成的回復(fù)通常過于冗長(zhǎng)，并且存在過度使用某些短語的問 題 4. 無法避免對(duì)有害請(qǐng)求作出回復(fù)或?qū)栴}表現(xiàn)出偏見。 5. ChatGPT 雖然很強(qiáng)大，但是其模型過于龐大使用成本過G，何對(duì)模型進(jìn)行瘦身也是一個(gè)未來的發(fā)展方向 6.減少人類反饋信息的 RLAIF 也是近被提出的一個(gè)全新的觀點(diǎn)。
|
| 【聲明：轉(zhuǎn)載此文出于傳遞更多信息之目的，并不意味著贊同其觀點(diǎn)或證實(shí)其描述，文章內(nèi)容僅供參考，如有侵權(quán)，請(qǐng)聯(lián)系刪除。】 |
| 推薦信息 |
|
ChatGPT 插件發(fā)布帶來的十大關(guān)注點(diǎn)
定義大模型的toC平臺(tái)商業(yè)模式;開放 API 標(biāo)準(zhǔn);未來應(yīng)用內(nèi)又可反向嵌入 ChatGPT;知識(shí)更新問題被解決;很大程度解決準(zhǔn)確性問題
ChatGPT的未來改進(jìn)方向
ChatGPT雖然對(duì)話能力強(qiáng),但是在數(shù)理計(jì)算對(duì)話中容易出現(xiàn)一本正經(jīng)胡說八道的情況,ChatGPT很強(qiáng)大,但其模型大小和使用成本也讓很多人望而卻步
ChatGPT的局限有哪些
ChatGPT無法處理復(fù)雜冗長(zhǎng)或者特別專業(yè)的語言結(jié)構(gòu);ChatGPT需要非常大量的算力;ChatGPT還沒法在線的把新知識(shí)納入其中;ChatGPT仍然是黑盒模型
ChatGPT的訓(xùn)練過程分為三個(gè)階段
訓(xùn)練獎(jiǎng)勵(lì)模型通過人工標(biāo)注訓(xùn)練數(shù)據(jù) (約33K個(gè)數(shù)據(jù)) 來訓(xùn)練回報(bào)模型;采用PPO強(qiáng)化學(xué)習(xí)來優(yōu)化策略將在線學(xué)習(xí)轉(zhuǎn)化為離線學(xué)習(xí)靠獎(jiǎng)勵(lì)打分來更新預(yù)訓(xùn)練模型參數(shù)
讀文檔解惑：DocsGPT，https://docsgpt.arc53.com/
DocsGPT 提出基于產(chǎn)品的某個(gè)版本寫個(gè) xx 示例的要求，讓文檔變成一個(gè)更貼近用戶的好文檔，讓 GPT 幫你解答用戶的困惑
看論文：chatgpt-arxiv-extension讀論文的智能小助手
ArxivGPT能幫你讀論文,在一些地方給出注解,這個(gè)項(xiàng)目是基于上面的chatgpt-google-extension二次開發(fā)而來,以生成論文的讀后感,提高讀論文的效率
強(qiáng)化搜索：chatgpt-google-extension基于 ChatGPT 強(qiáng)化了 Google
chatgpt-google-extension項(xiàng)目基于 ChatGPT 強(qiáng)化了 Google 搜索能力，它的使用也很簡(jiǎn)單，裝個(gè) Chrome 或者 Firefox 插件就能玩了
劃詞翻譯：openai-translator能翻譯潤(rùn)色文字
openai-translator的翻譯更貼近人類的語言使用習(xí)慣,有了 ChatGPT 的加成不僅能翻譯,還能幫你潤(rùn)色文字,有瀏覽器插件版,還有桌面版本 |
| 智能運(yùn)輸機(jī)器人 |
| AGV無人運(yùn)輸機(jī)器人-料箱版 |
| AGV無人運(yùn)輸機(jī)器人-標(biāo)準(zhǔn)版 |
| AGV無人運(yùn)輸機(jī)器人-料箱版（鈑金材質(zhì)） |
| AGV無人運(yùn)輸機(jī)器人-貨架版（鈑金材質(zhì)） |
| AGV無人運(yùn)輸機(jī)器人-貨架版（亮面不銹鋼材質(zhì)） |
| AGV無人運(yùn)輸機(jī)器人-開放版 |
| 行業(yè)動(dòng)態(tài) |
