TfidfVectorizer调参

TfidfVectorizer可以把原始文本转化为tf-idf的特征矩阵，从而为后续的文本相似度计算

 

token_pattern：这个参数使用正则表达式来分词，其默认参数为r"(?u)\b\w\w+\b"，其中的两个\w决定了其匹配长度至少为2的单词，默认值只匹配长度≥2的单词，一般来说，长度为1的单词在英文中一般是无足轻重的，但在中文里，就可能有一些很重要的单字词，所以设置匹配规则为：token_pattern=r"(?u)\b\w+\b"

max_df/min_df: [0.0, 1.0]内浮点数或正整数, 默认值=1.0

设置为浮点数时，过滤出现在超过max_df/低于min_df比例的句子中的词语；正整数时,则是超过max_df句句子。一般过滤出现在超过60%的句子中的词语，max_df=0.6

stop_words: list类型

直接过滤指定的停用词。比如stop_words=["是", "的"]

vocabulary: dict类型

只使用特定的词汇，这一参数的使用有时能帮助我们专注于一些词语，比如我对本诗中表达感情的一些特定词语（甚至标点符号）感兴趣，就可以设定这一参数。比如vocabulary={"我":0, "呀":1,"!":2}