利用Gate进行中文信息抽取时 不能识别Token.string=="中文"的问题

由于项目开发的需要 近几个月来一直在研究基于Gate的中文信息抽取,偶然发现在Jape中书写的Token.string=="中文" 、Token.kind==number等语句无法被系统识别的问题,后经不断尝试,发现只要在程序中加入Gate自有的ANNIE English Tokeniser 组件,上述问题就解决了。查看了此组件对应的两个文件后发现,其代码较复杂,大致原理应该还是编码的统一。

你可能感兴趣的:(利用Gate进行中文信息抽取时 不能识别Token.string=="中文"的问题)