中文分词之最大概率法
最大概率法分词是在最大匹配分词算法上的改进。在某些语句切分时，按最大长度切分词语可能并不是最优切分。而不按最优长度切分词语，则同一语句会出现多种切分结果。计算每种切分结果的概率，选取概率最高的切分作为最优分词切分。
Posts tagged with 人工智能
中文分词之最大匹配算法
正向最大匹配分词和逆向最大匹配分词
词表
词表为所有可能出现的词语组成的集合。当然，实践中不可能准备包含全所有已知和未知词语词表。
建立词表
- 从人工标注语料中得到词表。
由多人讨论并且得到共识的分词标注语料建立词表。这是效果最好，但也是成本最高的方案。 - 从未标注语料中建立词表。
可以认为经常重复出现连续字符串属于词语。统计大量未标注语料中的连续字串重复出现频率，将多次重复出现的连续字串作为词语，以此建立词典。 - 使用输入法，辞典，翻译（例如中英词语互译）词表.
这是比较容易实现的方法，且这些数据大多能免费下载，有些输入法词表还带词频。
中文分词效果评估
将算法分词结果与人工标注的分词结果对比，以此评估分词效果优劣。人工标注分词文本通常被看作公认的“黄金”标准。主要使用处理速度、精确率、召回率和F值四个指标衡量分词算法的性能。