物联网信息处理技术IPT（数据挖掘）第三章

目录

3.1信息检索概念

3.2 Modeling建模

记录点：信息检索的布尔模型

记录点：术语加权

记录点：文本向量范数的计算

记录点：由向量模型计算等级

记录点：理解倒排索引

---

第三章：信息检索（目录不完整，懒得写了，这章考点不多）

3.1信息检索概念

查询和浏览是交换的过程，有的人自己也不知道自己要查的是什么，就会浏览个大概

爬虫，建立数据库，索引

3.2 Modeling建模

记录点：信息检索的布尔模型

考试的时候考得比较复杂，需要懂逻辑运算知识

记录点：术语加权

向量范数

文档长度由向量的范数给出

记录点：文本向量范数的计算

例如

d1这句话有10个词，字节大小为34（代码运行如下图），计算每个单词的词向量，并将它们相加以获得整个文本的向量表示，然后使用Euclidean范数的计算方法来计算这个文本向量的范数约5.068

记录点：由向量模型计算等级

文档排序--相似度模型--VSM

使用TF-IDF（Term Frequency-Inverse Document Frequency）权重来计算查询“待办事项”与文档之间的等级

(1*3+0.415*0.830)/5.068

        等级 = (TF("待办事项") * IDF("待办事项")) / 文本的向量范数

        TF("待办事项")：表示查询中词项“待办事项”的词频（Term Frequency），在这里是1，因为查询中只包含一次该词项。

        IDF("待办事项")：表示查询中词项“待办事项”的逆文档频率（Inverse Document Frequency），它用于衡量词项的重要性。IDF通常通过以下公式计算：IDF("待办事项") = log(总文档数 / 包含词项“待办事项”的文档数)

 这道题的解法是

记录点：理解倒排索引