第四章

网络信息过滤的特性

处理非结构化或半结构化数据

以文本数据作为主要的处理对象

需要处理大量的数据

实现对远程数据源的信息访问与检索

对个体或群体的信息偏好描述进行信息过滤  

1用户需求表示模型

提供网络信息过滤服务的一个关键问题是如何获得用户信息需求的清晰表述。

信息过滤技术的过滤器需要用户指定一个固定文章集中文章直接表达用户的信息需求。

2.文档的表示

1.向量空间模型

思想：文章的语义通过所使用的词语来表达 方法:每一篇文档用一个向量来表达，查询用一个向量来表达，通过向量的方式来计算相似度。

2.概率模型

概率模型通过计算文档与查询相关的概率来作为文档和查询的相似度。这就使相关性排序问题降为概率论应用问题。   起源思想：基于一个词项分别在相关文档和不相关文档中出现的频率来估计该词项的权重。

3.布尔逻辑模型

布尔模型是建立在经典的集合论和布尔代数的基础上，根据每个词在一篇文档中是否出现，对应权值 为0或1，文档检索也是由布尔逻辑运算来决定的。

4.用户反馈的实现

4.2.3网络内容的分析

①按分析要素分类，有词频分析、网页分析、网站分析和网络结构单元分析。 ②按媒体形式分类，可以分为文本分析、图像分析、声音分析和视频分析等多种形式。 ③按网络信息活动主体分类，可以分为网络信息分析、传播者分析和网络使用者分析。

4.3web挖掘

利用数据挖掘、文本挖掘、机器学习等技术从Web页面数据、日志数据、超链接关系中发现感兴趣的、潜在的、有用的规则、模式、领域知识等。

一，Web挖掘的主要数据源

Web挖掘的数据来源是宽泛的：凡是在Web站点中对用户有价值的数据都可以成为它挖掘的数据源。

1.服务器日志数据

对Web服务器的访问，服务器方将会产生3种类型的日志文件： Server logs， Error logs， Çookie logs

2.在线市场数据

在线市场数据是指和市场活动相关的信息。例如一个电子商务站点，存储相关的电子商务信息。 从内容上说，不同目的商务网站有不同的商务信息。但是，这类数据通常是用传统的关系数据库结构来存储数据。 在线市场数据是业务数据，是进行业务相关分析的主体。用户的挖掘目标只有结合在线市场数据分析才能达到目的。

3.web页面

Web页面是网站信息的主体，但是它们的主要信息不可能像关系型数据库那样规整，因此Web页面的内容组织形式的分析是研究Web挖掘的具体方法的基础。 目前的Web页面大多满足HTML标准，现有的Web挖掘方法大多是针对Web页面开展的。 1998年WWW社团提出了XML语言标准。

4web页面超链接关系

二，web挖掘的分类

1.web内容挖掘，从文档内容或其描述中抽取知识的过程。

2.web结构挖掘

主要是通过对Web站点的超链接结构进行分析、变形和归纳，将Web页面进行分类，以利于信息的搜索。 在Web结构挖掘领域最著名的算法是PageRank算法和 HITS算法。

3.web使用挖掘

挖掘对象：Web日志文件，对用户的每次访问，记录访问时间、用户网络地址、目的信息网络地址及传输信息量等