军事知识服务平台
基于本体标准的汉语词法分析评测方法研究
Evaluation scheme for Chinese lexical analysis toolkits from the perspective of theoretical linguistics
摘要 现代汉语的自动词法分析存在多种参考标准,不同的词法分析工具基于不同的语言学理论和应用场景,采用不同的操作规范.在语言教学与研究领域,学界普遍期待词法分析工具能够更符合语言学本体标准.然而,传统词法分析评测方法专注于对算法性能的评测,在对语言学本体标准的契合度评估方面存在局限性.本文提出一种新的词法分析评价方法:通过精选现代汉语基本词汇和能充分反映汉语本体标准的例句,建立专门的评测语料库,将核心词汇在评测语料库中的分词和词性标注准确率作为评估指标,对词法分析工具的性能进行评估.这种本体标准的汉语分析评测方法,为语言教学与研究领域选择和优化词法分析工具提供了新的参考.基于本体标准的评测结果显示,现有词法分析工具的性能指标普遍低于传统评测方法的评估结果,在方言词、口语词、文言词及低频词的切分与标注方面仍有较大的优化空间.
Abstract:
For lexical analysis of modem Chinese,no consensus has been reached on the standards of segmentation and part-of-speech tagging.This has led to the adoption of different practices when processing Chinese.Since traditional evaluation methods of lexical analysis toolkits have come across many limitations,this paper proposes a novel evaluation scheme.A specialized corpus of basic words and sentences is build up according to the theories of Chinese grammar.The performance of lexical analysis toolkits is then systematically assessed on their accuracy of segmentation and part-of-speech tagging in this specialized corpus as evaluation metrics.The results indicate that,recent lexical analysis toolkits cannot fully align with linguistic facts;Optimization potential still remains in the processing of dialects,colloquial expressions,Classical Chinese,and low-frequency words.
Author: ZHANG Yongwei LIU Ting WANG Yuying
作者单位: 北京 中国社会科学院大学文学院 中国社会科学院语言学重点实验室 北京 中国科学院大学计算技术研究所
刊 名 中国语文 ISTICPKU
年,卷(期): 2025, (3)
机标分类号: TP391.1 H146 H087
在线出版日期: 2025年6月10日
基金项目: 22BYY086:国家社会科学基金,