泰迪杯 C 思路

希望大家能获得好成绩。

第一题

首先分词，分词本质上是一个序列标注问题，建议使用条件随机场。条件随机场可以用网络上开源的 SigHan05 的 MSR 分词语料库来训练。分词过后，当然还要删除停用词。删除停用词可以用双向匹配，即基于规则的词典匹配法。停用词字典的话，开源的有很多，这都不是问题。

另外要注意的问题是，英文怎么解决？我觉得只能手动翻译了，当然也可以不管，或者删除。

如何提取关键热词呢？有三个方法：

1. 词频统计：缺点在于反复出现的词不一定是热词
2. TF-IDF：占用空间太大
3. TextRank：类似于 google 排行算法的 PageRank，把词看成节点，应该就能懂了。

第二题

评价模型的训练，感觉其实是一个监督学习中的回归问题。但这个机器学习，数据集有些少，就 50 个。

如何解决呢？首先采用分词，再用词袋模型将非结构化的文本，转换为结构化的向量。然后，将对同一个地点的评价，的结构化向量拼接成一个矩阵，然后就可以用计算机视觉的方法解决了。比如用 CNN。

第三题

所谓无效，就是指那些复制粘贴的东西嘛。所以，我觉得可以用聚类，将那些属于一类的视为重复（无效）就行了。

当然，这里还是用分词，再用词袋模型，将非结构化的文本，转换为结构化的向量。

第四题

同一地点下，合并所有评论，提取出关键词，然后再用相似度分析算法，将那些相似度比较大的词，随机提取一个即可。最后就能分析出特色了。

相似度怎么解决呢？词向量呗。