阶段一:语料

1 .爬虫技术。
2 .专门的语料库
3 .跨领域语料:是两种语言的对应关系,一一印射这个么?

字特征

字特征对文本的表达能力较差,很难完整的表达语义信息,所以中文分析中使用词语来进行特征分析。

词特征

1 .高频词,低频次对文本的表达能力均小于中频词,所以对这些词要进行特殊的处理
2 .停用词,助词,虚词等捅进词频时直接去掉这类词
3 .词语频率:特征项在文本中出现的频率
4 .词语倒排文档频率:表示该文本在文档中分布情况对齐总要性的影响。
5 .

你可能感兴趣的:(阶段一:语料)