文本標注質量評估算法

1、 BLEU 算法

優點：方便、快速、結果有參考價值 測評精度易受常用詞干擾

缺點：測評精度易受常用詞干擾

2、 ROUGE 算法

優點：參考標注越多，待評估數據的相關性就越G

缺點： 無法評價標注數據的流暢度

3、METEOR 算法

優點：評估時考慮了同義詞匹配， 提G了評估的準確率

缺點：長度懲罰，當被評估的數據量小時，測量精度較G

4、CIDEr 算法

優點：從文本標注質量評估的相關性上升到質量評估的相似性進

缺點：對所有匹配上的詞都同等對待會導致部分詞的重要性被削弱

5、 SPICE 算法

優點：從圖的語義層面對圖像標注進行評估

缺點： 圖的語義解析方面還有待進一步完善

6、ZenCrowd 算法

優點：將算法匹配和人工匹配結合，在一定程度上實現了標注質量和效率的共同提G

缺點：無法自動為定實體選擇佳數據集