【英文分词】英文分词处理中遇到的问题

之前一直和中文的自然语言处理打交道，最近因为工作关系需要进行英文相关的自然语言处理，本以为相对较难中文的NLP都搞的定，英文的还不是手到擒来:-) 事实证明不同语系的NLP之间存在着较大的差异。

中文虽然和拉丁语系的语音相比更为繁琐，由拼音组成字音，再有字组成词语，词语组成句子文章等等等。但英语等拉丁语系语种以字母组成单词，而单词直接组成句子文章。虽然看上去好像省略了中文中字到词的一部，但并不是简单的跨越，中间也有很多中文中没有的问题。

我接到的第一个英文任务是分词操作，场景是英文OCR之后的分词，由于OCR识别结果中的空格识别效果不好，常常出现“AreyouOK”这种形式，期望能够将这种文本切分为“Are you OK”的形式。

拿到任务的第一感觉是“so easy”，事实也是如此，如果是简单的正确的英文文本分词，难度确实不大。这是一个轻松达到90分的任务，但想继续往上提高则顿时难度飙升。

前面也提到了，这是OCR的识别结果，所以误识别是不可避免的，“Wnereareyou”。当遇到这种形式时，未登录词的问题会格外显著。中文NLP中分词是非常重要和最基本的技能，但中文常用字数在万级别一下，词语数目庞大，但可以通过字来拆解。但英文不一样，虽然字符数只有26个，算上大小写也不到100，但长度不定，最长的单词也可以上百位，未登录词更是不计其数（地名、人名、机构名、网站）。这就是我遇到的第一个也是最大的麻烦“未登录词”。