欧美激情中文字幕一区二区-欧美激情在线精品video-欧美激情影院-欧美激情一区二区三区在线-欧美激情一区二区三区视频高清-欧美激情一区二区三区视频

 
    詳細(xì)信息
 

國內(nèi)優(yōu)質(zhì)中文數(shù)據(jù)集的重要來源 垂直內(nèi)容平臺(tái)

編輯:      來源:華泰證券      時(shí)間:2023/5/19
 

未來專業(yè)及垂直內(nèi)容平臺(tái)有望成為國內(nèi)出色中文數(shù)據(jù)集的重要來源:

1)專業(yè)內(nèi)容平臺(tái):知乎作為問答知識(shí)平臺(tái),擁有超過 4300 萬創(chuàng)作者產(chǎn)生的超過 3.5 億條出色中文問答內(nèi)容,涉 及政治,經(jīng)濟(jì),文化,歷史,科技等幾乎全部門類。其問答的數(shù)據(jù)形式天然適合作為大語 言類模型訓(xùn)練使用。微信公眾號(hào)作為內(nèi)容分享平臺(tái),背靠國民J應(yīng)用微信生態(tài)鏈,2022 年 公眾號(hào)產(chǎn)出超 3.9 億篇文章,其中既有專業(yè)L域內(nèi)容分析,也有時(shí)事熱點(diǎn)分析,這些內(nèi)容對(duì) 語言模型的訓(xùn)練迭代有重要作用。

2)垂類內(nèi)容平臺(tái):參考彭博基于金融垂類數(shù)據(jù)發(fā)布 BloombergGPT 案例,國內(nèi)在金融,醫(yī)療,生物等行業(yè)公司的數(shù)據(jù)可以作為細(xì)分L域大模 型準(zhǔn)確訓(xùn)練的基礎(chǔ)。




 
【聲明:轉(zhuǎn)載此文出于傳遞更多信息之目的,并不意味著贊同其觀點(diǎn)或證實(shí)其描述,文章內(nèi)容僅供參考,如有侵權(quán),請聯(lián)系刪除。】
 
推薦信息
國內(nèi)科技互聯(lián)網(wǎng)廠商訓(xùn)練大模型基于的數(shù)據(jù)基礎(chǔ)
百度文心大模型訓(xùn)練特有數(shù)據(jù)主要包括萬億級(jí)的網(wǎng)頁數(shù)據(jù);阿里通義大模型的訓(xùn)練數(shù)據(jù)主要來自阿里達(dá)摩院;騰訊混元大模型特有的訓(xùn)練數(shù)據(jù)主要來自微信公眾號(hào)
國內(nèi)缺乏高質(zhì)量數(shù)據(jù)集的主要原因
高質(zhì)量數(shù)據(jù)集需要巨大資金投入,當(dāng)前國內(nèi)數(shù)據(jù)挖掘和數(shù)據(jù)治理的力度不足;國內(nèi)相關(guān)公司成立較晚,數(shù)據(jù)積累相對(duì)國外公司更少
中國AI大模型數(shù)據(jù)集從哪里來
從數(shù)據(jù)來源看,國內(nèi)各行業(yè)數(shù)據(jù)差異化發(fā)展,2021年政府,傳媒,專業(yè)服務(wù),零售等行業(yè)數(shù)據(jù)量占比較高,接近90%的數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)
語音標(biāo)注質(zhì)量評(píng)估算法優(yōu)缺點(diǎn)
WER算法可以分?jǐn)?shù)字,英文,中文等情況分別來看;當(dāng)數(shù)據(jù)量大時(shí),性能會(huì)特別差;SER算法對(duì)句子的整體性評(píng)估要優(yōu),句錯(cuò)誤率較高
文本標(biāo)注質(zhì)量評(píng)估算法優(yōu)缺點(diǎn)
ROUGE算法參考標(biāo)注越多待評(píng)估數(shù)據(jù)的相關(guān)性就越高;METEOR算法評(píng)估時(shí)考慮了同義詞匹配,提高了評(píng)估的準(zhǔn)確率;SPICE算法對(duì)圖像標(biāo)注進(jìn)行評(píng)估
圖像標(biāo)注質(zhì)量評(píng)估算法優(yōu)缺點(diǎn)
MV算法簡單易用,常用作其他眾包質(zhì)量控制算法的基準(zhǔn)算法;EM算法可以收斂到局部最大化;RY算法將分類器與 Ground-truth 結(jié)合起來進(jìn)行學(xué)習(xí)
數(shù)據(jù)清洗缺失數(shù)據(jù)的處理方法
數(shù)據(jù)清洗作為數(shù)據(jù)預(yù)處理中至關(guān)重要的環(huán)節(jié),清洗后數(shù)據(jù)的質(zhì)量很大程度上決定了 AI算法的有效性,數(shù)據(jù)可能存在缺失值,噪聲數(shù)據(jù),重復(fù)數(shù)據(jù)等質(zhì)量問題
數(shù)據(jù)采集三種常見方式
實(shí)時(shí)的在線分析系統(tǒng)和分布式并發(fā)的離線分析系統(tǒng);通過網(wǎng)絡(luò)爬蟲或網(wǎng)站公開API方式獲取大數(shù)據(jù)信息;采集的對(duì)象包括視頻,圖片,音頻和文本等多種類型
智能運(yùn)輸機(jī)器人
AGV無人運(yùn)輸機(jī)器人-料箱版
AGV無人運(yùn)輸機(jī)器人-標(biāo)準(zhǔn)版
AGV無人運(yùn)輸機(jī)器人-料箱版(鈑金材質(zhì))
AGV無人運(yùn)輸機(jī)器人-貨架版(鈑金材質(zhì))
AGV無人運(yùn)輸機(jī)器人-貨架版(亮面不銹鋼材質(zhì))
AGV無人運(yùn)輸機(jī)器人-開放版
行業(yè)動(dòng)態(tài)
» AMR企業(yè)未來發(fā)展的建議:加強(qiáng)產(chǎn)學(xué)研合作 拓展應(yīng)用領(lǐng)域與場景 突破關(guān)鍵技術(shù)
» 智能無人運(yùn)輸車AMR選型建議:安全性 穩(wěn)定性 兼容性 成本和可維護(hù)性
» 物流企業(yè)自動(dòng)化搬運(yùn)項(xiàng)目:117臺(tái)XPL搬運(yùn)機(jī)器人用于快運(yùn)件轉(zhuǎn)運(yùn)+物料暫存
» 工具制造業(yè)5G智慧工廠:10+臺(tái)潛伏AGV+托盤式叉車用于線邊倉轉(zhuǎn)運(yùn)
» 輪胎行業(yè)項(xiàng)目:2臺(tái)室內(nèi)平衡重式無人叉車LXP15-B用于半成品、成品自動(dòng)化出入庫
» 汽車零部件園區(qū)無人化物流項(xiàng)目:室外無人駕駛重載AGV用于車間到車間之間的物流運(yùn)輸
» 汽車行業(yè)智能搬運(yùn)項(xiàng)目:30臺(tái)XPL搬運(yùn)機(jī)器人用于產(chǎn)線送料和成品轉(zhuǎn)運(yùn)
» 汽車新能源產(chǎn)線智慧物流項(xiàng)目-31臺(tái)潛伏AGV應(yīng)用環(huán)汽車總裝車間轉(zhuǎn)運(yùn)
» 汽車行業(yè)多品類AGV整合項(xiàng)目:叉車AGV、潛伏牽引AGV、舉升AGV、承載式雙車聯(lián)動(dòng)AGV、功能型A
» 乘用車動(dòng)力總成車間零部件集配項(xiàng)目-9臺(tái)承載輥道式AMR,用于動(dòng)力總成線邊供給
 
咨詢熱線:4006-935-088 / 4006-937-088     客服熱線: 4008-128-728
版權(quán)所有 @ 創(chuàng)澤智能機(jī)器人集團(tuán)股份有限公司    魯ICP備18039973號(hào)-2    運(yùn)營中心 / 北京·清華科技園九號(hào)樓    生產(chǎn)中心 / 山東省日照市開發(fā)區(qū)太原路71號(hào)
主站蜘蛛池模板: 南充市| 辽源市| 承德市| 思茅市| 上饶县| 密云县| 阿勒泰市| 新巴尔虎右旗| 太和县| 尚志市| 保定市| 龙里县| 崇州市| 靖宇县| 文登市| 木兰县| 襄城县| 临安市| 瓦房店市| 革吉县| 长兴县| 宁都县| 呼和浩特市| 交城县| 汤原县| 吕梁市| 上杭县| 莲花县| 西和县| 长阳| 阿荣旗| 凤阳县| 红安县| 章丘市| 黎川县| 高阳县| 旬阳县| 鄂伦春自治旗| 霍城县| 凤阳县| 武威市|