972信息检索

信息检索笔记(10)-Lucene文档评分机制

Lucene文档评分机制 再论文档评分中提到可以不对所有文档的评分结果排序而直接选出Top K篇文档 计算出文档的得分以后，最后一步就是选出得分最高的K 篇文档呈现给用户。尽管可以先对上述所有得分进行排序然后再挑选出前K 个结果，但是一个更好的方法是通过某种堆结构只返回头K 篇文档。假定余弦相似度（或某种相似度计算方法）得分非零的文档数目是J，那么建立这样的堆结构需要2J 次比较，对于排名前
·2015-11-02 13:42

信息检索笔记(9)-再论文档评分

考虑从文档集的所有文档中找出K 个离查询最近的文档的过程：对每个文档评分(如计算余弦相似度)，按照评分高低排序，选出前K个结果。显然对大文档集，评分、排序都是非常耗时的操作，那么如何加速评分及排序呢？   思路1：能否加快每个余弦相似度的计算？ 思路2：能否不对所有文档的评分结果排序而直接选出Top K篇文档？ 思路3：能否不需要计算所有Ｎ篇文档的得分？  
·2015-11-02 13:41

信息检索导论学习笔记（8）-向量空间模型

向量空间模型 在有了tf-idf权重计算之后，一个自然的数学建模的想法是：tf-idf权重矩阵   向量空间模型 把文档看成是一个向量（vector），其中的每个分量都对应词典中的一个词项，分量值为采用tf-idf计算出的权重值。当某词项在文档中没有出现时，其对应的分量值为0。 于是，我们有一个|V|维实值空间，空间的每一维都对应词项（V为词项数目）。 对于W
·2015-11-02 13:40

信息检索导论学习笔记（6）-索引压缩

索引压缩 为什么要压缩? 增加内存存储内容， 增加高速缓存（caching）技术的利用率(加快速度) 加快从磁盘到内存的数据传输速度 (同样加快速度)。(读压缩数据到内存+在内存中解压)比直接读入未压缩数据要快很多。（前提: 解压速度要很快） 减少磁盘空间 (节省开销) 词典压缩： 词典压缩的主要动机: 使之能够尽量放入内存中 倒排记录表压缩：倒排记录表压缩的主要动机:
·2015-11-02 13:39

信息检索导论学习笔记（7）-文档评分、词项权重计算

文档评分、词项权重计算 迄今为止，我们介绍了支持布尔查询的索引处理办法，给定一个布尔查询，一篇文档要么满足查询的要求要么不满足（布尔查询是一种非黑即白的处理方式）。因此对布尔查询常常会导致过少(=0)或者过多(>1000)的结果。因此要对搜索结果进行排序，那么如何设计排序算法呢？   集合重合度 对查询进行数学建模，采用jaccard系数计算两个集合重合度的，根据ja
·2015-11-02 13:39

信息检索导论学习笔记（5）

参数化索引及域索引 迄今为止，我们都将文档看成一系列词项的序列。实际上，大多数文档都具有额外的结构信息。数字文档通常会把与之相关的元数据（metadata）以机读的方式一起编码。所谓元数据，指的是和文档有关的一些特定形式的数据，比如文档的作者、标题以及出版日期等等。   问题：考虑查询“ 寻找由 William Shakespeare于 1601年撰写、其中包含短语 alas
·2015-11-02 13:38

用 Lucene 加速 Web 搜索应用程序的开发

简介：  Lucene 是基于 Java 的全文信息检索包，它目前是 Apache Jakarta 家族下面的一个开源项目。
·2015-11-02 12:50

实战 Lucene，第 1 部分: 初识 Lucene

Lucene 简介 Lucene 是一个基于 Java 的全文信息检索工具包，它不是一个完整的搜索应用程序，而是为你的应用程序提供索引和搜索功能。
·2015-11-02 12:49

Lucene.Net初识

What’s Lucene Lucene是一个信息检索的函数库(Library),利用它你可以为你的应用加上索引和搜索的功能.
·2015-11-02 12:09

《信息检索导论》第六章总结

  一、Ranked Retrieval   在前面我们讨论的都是布尔查询，因此得出的结果要么匹配，要么不匹配，当匹配的结果很多时，就会发现我们需要对文档进行排序；   二、参数化索引和域索引   文档除了文本外还有元数据，比如创建时间、文档标题等，因此我们也可以对他进行限制；比如限制查询文档结果必须是2010年发表的； 参数化索引(parame
·2015-11-02 11:54

《信息检索导论》第七章总结

  一、打分排序的特性   其实对于打分排序来说，我们最终只需要确定文档的相对顺序即可，因此我们可以简化打分的算法，只需要保持相对顺序不变即可；   二、快速排序及打分方法   我们前面的打分排序方法都需要计算查询及每篇文档的余弦相似度，然后需要取出打分最高的前K篇文档，这样做的复杂度是很高的；其实如果有一个算法能够近似求出前K篇文档但是复杂度少很
·2015-11-02 11:53

《信息检索导论》第十九章总结

  一、Web搜索介绍 前面我们都是对传统文档集进行检索，而Web搜索和传统的搜索完全不同，因为Web的文档集数量是不能估计的，并且形式多样； 一般Web都是通过B/S架构进行实现的，客户端是浏览器，服务器端是web服务器，通过HTTP进行传输数据； 浏览器发出请求并接收服务器的应答，浏览器会自动屏蔽那些不能理解的部分； Web的文档集是海量的，但是如果这些信息不能被搜索到的话，
·2015-11-02 11:53

《信息检索导论》第二十章总结

  一、Web采集介绍   Web采集是从Web中采集大量网页的过程，并且要避免采集重复或无用的页面，采集完的网页需要构建索引，以扩大搜索引擎的索引规模； web采集通常是由多台机器并行采集；   web采集的必须功能   （1）Web采集器需要识别采集器陷阱（spider traps），比如当采集器访问到某个web服务器的网页时，此网页会生成无
·2015-11-02 11:52

《信息检索导论》第二章总结

建立倒排记录表之前 一、文件的编码 一般一个文件都是以字节的方式存储的，如果想要让其可读，就必须要通过正确的编码方式转换成字符；就像Java IO一样，如果没有通过正确的编码方式打开一个文件，会出现乱码。因此在一系列处理步骤之前，知道文档的编码是重要的。一般在文档的meta data部分都会保存编码方式。 二、索引粒度 索引粒度的选取也是很重要的。因为如果把索
·2015-11-02 11:51

《信息检索导论》第三章总结

一、Hash Table和Search Tree 实现dictionary的方法主要有哈希表和搜索树（二叉树、B树、AVL树）； 实现哈希表的dictionary的优点： （1）查询效率O（1）； 缺点： （1）哈希冲突。 （2）不支持模糊查询。 （3）哈希函数需要不断变化以适应需求。 实现搜索树的dictionary的优点： （1）支持模糊查询。 缺点： （1）查
·2015-11-02 11:50

《信息检索导论》第五章总结

一、索引压缩概述 使用压缩的目的： (1)因为我们想要把尽量多的数据放入内存，因此压缩能够达到这个目的； (2)从磁盘到内存的传输时间会缩短； 压缩分类： (1)无损压缩：压缩后的数据能还原全部信息； (2)有损压缩：压缩后会丢失一些信息； 如果有损压缩后丢失的信息用户并不关心，则有损压缩也是可以接受的； 二、Heaps定律 通过整个文档集词条数来估计词项数
·2015-11-02 11:49

Express-C 9.7.2 新增特性(转：http://www.ibm.com/developerworks/cn/data/library/techarticles/dm-1006db2expressc972

简介 DB2 Express-C 是 DB2 免费的社区版本。您可以将它作为生产系统的一部分使用，将其嵌入和部署到应用程序中，或者只是为了简单的开发目的而使用它，并且所有这些都是免费的！ 尽管 DB2 Express – C 只能使用两个核心和 2G 内存，但是您可以在任何大小的服务器上安装它，而且在数据库的大小上是没有任何限制的。与其他厂商提供的社区版本相比，这已经是相当慷慨了。 自
·2015-11-02 11:08

lucene.net 应用资料

源代码下载 What’s Lucene Lucene是一个信息检索的函数库(Library),利用它你可以为你的应用加上索引和搜索的功能. Lucene的使用者不需要深入
·2015-11-02 10:00

用C#实现网络爬虫（一）

网络爬虫在信息检索与处理中有很大的作用，是收集网络信息的重要工具。 接下来就介绍一下爬虫的简单实现。
·2015-11-01 14:48

搜索引擎技术简析

因特网的迅猛发展、WEB信息的增加，用户要在信息海洋里查找信息，就像大海捞针一样，搜索引擎技术恰好解决了这一难题，它可以为用户提供信息检索服务。
·2015-11-01 14:33

中文全文信息检索系统中索引项技术及分词系统的实现

中文全文信息检索系统中索引项技术及分词系统的实现 文章来源: 昆明理工大学计算机系 文章作者：黄青松 发布时间：2005-06-02 摘要：本文对中文全文检索系统中常用的索引项技术
·2015-11-01 13:50

TF-IDF排序详解

item/fa3d2e8257b7fdb86d8119be.html   TF/IDF（term frequency/inverse document frequency) 的概念被公认为信息检索中最重要的发明
·2015-11-01 12:02

OKapi BM25 算法介绍

BM25（Best Match25）是在信息检索系统中根据提出的query对document进行评分的算法。
·2015-11-01 12:03

词典及容错处理

MySQL中基于内存表还可以用hash索引, 同样信息检索技术中也可以用这种方式, 但是基于hash函数的有个缺点是它不能进行前缀模糊查
·2015-11-01 12:22

ADSL上传比下载速度慢，一般不到50KB/s。Why?

Why   ADSL是一种非对称的DSL技术，所谓非对称是指用户线的上行速率与下行速率不同，上行速率低，下行速率高，特别适合传输多媒体信息业务，如视频点播（VOD）、多媒体信息检索和其他交互式业务
·2015-11-01 12:42

探索推荐引擎内部的秘密，第 1 部分: 推荐引擎初探

传统的搜索技术是一个相对简单的帮助人们找到信息的工具，也广泛的被人们所使用，但搜索引擎并不能完全满足用户对信息发现的需求，原因一是用户很难用恰当的关键词描述自己的需求，二是基于关键词的信息检索在很多情况下是不够的
·2015-11-01 11:15

TF-IDF与余弦相似性的应用（一）：自动提取关键词

这个问题涉及到数据挖掘、文本处理、信息检索等很多计算机前沿领域，但是出乎意料的是，有一个非常简单的经典算
·2015-11-01 08:36

Lucene.Net 简介

本文将围绕该个实例介绍了lucene.net的索引的建立以及如何针对索引进行搜索.最后还将给出源代码供大家学习.源代码下载What’s LuceneLucene是一个信息检索的函数库(Library),
·2015-10-31 18:32

win2003服务器安全设置

http://edu.itbulo.com/200704/113231.htm) win2003服务器安全设置(http://hi.baidu.com/ylf575/blog/item/281497dd972b2a355982
·2015-10-31 18:45

机器学习与人

我经常在 TopLanguage 讨论组上推荐一些书籍，也经常问里面的牛人们搜罗一些有关的资料，人工智能、机器学习、自然语言处理、知识发现（特别地，数据挖掘）、信息检索 这些无疑是 CS 领域最好玩的分支了
·2015-10-31 17:05

【转贴】『共享02.21』利用Google进行专题信息检索的方法和技巧

Google成为目前最受欢迎的搜索引擎 ，本文全面详细总结了利用 Google进行专题信息检索的方法和技巧。 关键词 个
·2015-10-31 16:39

数学之美 系列一 -- 统计语言模型

前言也许大家不相信，数学是解决信息检索和自然语言处理的最好工具。它能非常清晰地描述这些领域的实际问题并且给出漂亮的解决办法。每当人们应用数学工具解决一个语言问题时，总会感叹数学之美。
·2015-10-31 14:57

数据挖掘领域的主要会议

一流的：数据库三大顶级会议SIGMOD，VLDB，ICDE，数据挖掘KDD，实际相关的还有机器学习ICML,还有信息检索的SIGIR；数据库的理论会议PODS，但它是理论的会议所以和咱们就不大相关了 二流的
·2015-10-31 13:01

学习笔记——信息系统项目管理师

以数据环境分类（世界信息系统大师詹姆斯·马丁）：数据文件、应用数据库、主题数据库和信息检索系统；（第
·2015-10-31 12:33

用 Lucene 加速 Web 搜索应用程序的开发

Lucene 是基于 Java 的全文信息检索包，它目前是 Apache Jakarta 家族下面的一个开源项目。
·2015-10-31 11:25

用C#实现网络爬虫

网络爬虫在信息检索与处理中有很大的作用，是收集网络信息的重要工具。 接下来就介绍一下爬虫的简单实现。
·2015-10-31 11:21

向量空间模型(VSM)

在信息检索中常用的词条权值计算方法为 TF-IDF 函数，其中N为所有文档的数目，ni为含有词条ti的文档数目。TF-IDF公式有很多
·2015-10-31 11:47

iPhone应用开发必知必会的三大基础知识

http://hi.baidu.com/helingyuan/blog/item/b1624514511bb30c972b433e.html iPhone应用开发第一季：初识iPhone应用开发的三大基础
·2015-10-31 11:47

WEB网站大数据量的性能解决方案

随着中国大型IT企业信息化速度的加快，大部分应用的数据量和访问量都急剧增加 ，大型企业网站正面临性能和高数据访问量的压力，而且对存储、安全以及信息检索等 等方面都提出了更高的要求…… 本文中，我想通过几个国外大型
·2015-10-31 11:09

log4net 资源索引贴

信息检索： log4net - 博客园找找看   官方网站： Apache log4net - Apache log4net: Home   资源下载： incubating-log4net
·2015-10-31 10:03

对于切分歧义以及识别未登录词的随想--公布硕士论文最新进展四（2007.4.13)

我作的论文主要是信息检索用汉语分词算法研究以及实现汉语分词系统。
·2015-10-31 10:14

公布硕士论文最新进展一（2007.3.6）

    我作的论文主要是信息检索用汉语分词算法研究以及实现汉语分词系统。
·2015-10-31 10:13

公布硕士论文最新进展二（2007.3.19）

我作的论文主要是信息检索用汉语分词算法研究以及实现汉语分词系统。
·2015-10-31 10:13

公布硕士论文最新进展三（2007.3.26)

我作的论文主要是信息检索用汉语分词算法研究以及实现汉语分词系统。
·2015-10-31 10:13

lucene 全文检索简介

一，信息检索的过程简介 全文检索和数据库应用最大的不同在于：让最相关的头100条结果满足98%以上用户的需求 1，构建文本库 在开发功能前，一个信息检索系统需要做些准备工作，首先，必须要构建一个文本数据库
·2015-10-31 10:58

SharePoint 2010上的企业级搜索

　　这是一个信息爆炸的时代，企业和个人可获取、需处理的信息量呈爆发式增长，人们对快速、方便、准确的获取到自己需要的信息的要求也越来越高，信息检索在我们的工作和生活中变得越来越不可或缺。
·2015-10-31 10:57

《信息检索导论》第一章总结

一、信息检索概念 信息检索是从大量非结构化的文档集中找到用户需要的信息； 当然信息检索远不止这些，比如从包中拿出信用卡并查看卡号，在计算机中查找文件等； 非结构化：数据没有清晰的语义结构
·2015-10-31 10:04

《信息检索导论》第四章总结

一、索引构建影响因素 索引构建是指一篇文档转换成倒排索引的整个过程； (1)需要考虑的因素有内存大小、CPU时钟频率等；比如如果内存特别大，则能够把全部的文档都放入内存，并很快就能构建成倒排索引； (2)我们需要把尽可能多的内容放在内存； (3)需要考虑寻道时间，因此必须要把连续读取的数据放在连续的块中； 将文档集变成term-->docID后，词项-文档ID对的数目
·2015-10-31 10:04

100阶乘末尾有多少个零？

在一堂无聊的信息检索课程上 旁边的同学提出了一道java面试题——100的阶乖末尾有多少个零？
·2015-10-31 10:05

信息检索中的两个概念－Precision精确率和Recall召回率

Precision: 精确率、查准率 －－－ 检索到的相关文档 比 所有被检索到的文档    A / (A + B) Recall: 召回率、查全率     －－－ 检索到的相关文档 比 库中所有的相关文档    A / (A + C) 　　　　    相关   不相关 检索到    
·2015-10-31 09:51
上一页 55 56 57 58 59 60 61 62 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他