TfidfVectorizer

TF-IDF / Term Frequency - Inverse Document Frequency

作用：是自然语言处理NLP中常用的文本特征提取工具，用于将文本数据转换为数据向量。
核心思想：是通过统计词频和逆文档频率来量化词语在文本中的重要性。

• $TF-ID{F}_{(t,d)}=T{F}_{(t,d)}\ast ID{F}_{(t)}$

• 意义：
  – 高频词（TF高）但罕见（IDF高）的词语会获得高权重（e.g.专业术语）；
  – 高频但常见的词语（如“的”、“是”）会被抑制。

• 子公式1/2
  – $T{F}_{(t,d)}=\frac{词t在文档d中出现次数}{文档d的总词语}$

• 子公式2/2
  – $ID{F}_{(t)}=\frac{总文档数}{包含词t的文档数+1}+1$