之前的分词算法都需要附带词表，最大概率法需要计算词频，对于词表中不存在的新词，算法效果并不是很好。HMM是基于字统计的分词算法。无需词表，无需统计词频。对新词识别友好。

HMM用于分词的原理。

基于字标注词语切分

共同创造美好的新世纪
共同 创造 美好 的 新世纪

用字母B表示词语开始，M表示词语中间，E表示词语结束，S表示独立成词。那么上面的切分以字为单位重新标注

$$ \begin{array}{cccccccccccccc} B & E & \quad & B & E & \quad & B & E & \quad & S & \quad & B & M & E \\ 共 & 同 & \quad & 创 & 造 & \quad & 美 & 好 & \quad & 的 & \quad & 新 & 世 & 纪 \end{array} $$

- 阅读剩余部分 -