ky_文本检索

Bert系列：论文阅读Rethink Training of BERT Rerankers in Multi-Stage Retrieval Pipeline

摘要预训练的深度语言模型(LM)在文本检索中表现出色。基于丰富的上下文匹配信息，深度LM微调重新排序器从候选集合中找出更为关联的内容。同时，深度lm也可以用来提高搜索索引，构建更好的召回。

凝眸伏笔·2024-09-04 01:37

向量数据库入坑：传统文本检索方式的降维打击，使用 Faiss 实现向量语义检索

的相似度检索技术Faiss》中，我们有聊到如何快速入门向量检索技术，借助MetaAI（FacebookResearch）出品的faiss实现“最基础的文本内容相似度检索工具”，初步接触到了“语义检索”这种对于传统文本检索方式具备

soulteary·2024-08-29 03:56

大模型实践笔记（2）——Clip改进：通过文本检索视频帧

目录超参数设置配置LLM-clip的backbone文本编码抽取视频帧并编码视频帧匹配保存结果帧工程流全是干货超参数设置#超参数设置PARAMS={"clip_model":"openai/clip-vit-base-patch32",#推理模型名称"video_folder":"./video_test",#视频文件夹路径"text_description":"Aphotoofapersonwe

不会写代码！！·2024-02-10 07:46

Scintilla教程（2）：文本检索与修改

整体介绍Scintilla主要用于对文本的编辑，因此该部分的功能是Scintilla的核心所在。Scintilla以字节为基础单元处理整个文本。对于不同的编码格式，每个字符所占的字节个数并不相同。比如常用的UTF-8编码，一个中文等于三个字节，中文标点占三个字节。一个英文字符等于一个字节，英文标点占一个字节。而对于Unicode编码，一个英文等于两个字节，一个中文（含繁体）等于两个字节。在实际开发

breakthrough_01·2024-02-01 08:28

面了中邮消金算法岗、开水团数据挖掘岗，做个系统性总结

中邮消费金融AI算法工程师面试官是nlp方向的，主要是问nlp相关首先自我介绍说一个在上段实习中的项目这里说了一个搭建智能客服对话助手我说了一下思路面试官很快get到了又问了一些细节（比如我用了DPR文本检索模型面试官顺带问了对比学习的方法和流程

Python数据挖掘·2024-01-29 20:41

文本检索性能提升 40 倍，Apache Doris 倒排索引深度解读

在OLAP领域，ApacheDoris已成为高性能、高并发以及高时效性的代名词。在面向海量数据的复杂查询需求时，除硬件配置、集群规模、网络带宽等因素外，提升性能的核心在于如何最大程度地降低SQL执行时的CPU、内存和IO开销，而这其中数据库索引扮演着至关重要的角色。合理的索引结构设计可以跳过大量不必要的底层数据读取、快速检索定位到所需数据，并进一步提升后续计算的执行效率、降低查询SQL的运行时间和

SelectDB技术团队·2024-01-27 17:35

Elasticsearch中的数值类型索引

ES主要是用于解决文本检索的场景，ES会默认将所有的输入内容当作字符串来理解，对于字段类型是keyword或者text的数据比较友好。但是如果输入的类型是数字，ES还会把数字当作字符串吗？

大叶子不小·2024-01-25 17:33

51-12 多模态论文串讲—BLIP 论文精读

然而，基于编码器的模型不太容易直接转换到文本生成任务（如图像字幕），而编码器-解码器模型尚未成功用于图像文本检索任务。

深圳季连AIgraphX·2024-01-24 18:19

搜索引擎系统原理剖析

文本检索。采用了经典的信息检索模型，主要查询用户关键词语网页内容相似度，收录容

宫若石·2024-01-23 07:19

正则表达式

英文RegularExpression,是计算机科学的一个重要概念，她使用一种数学算法来解决计算机程序中的文本检索，匹配等问题，正则表达式语言是一种专门用于字符串处理的语言。

Aliya_Zhu·2024-01-22 20:29

探索图像检索：从理论到实战的应用

目录一、引言二、图像检索技术概述图像检索的基本概念图像检索与文本检索的区别特征提取技术相似度计算索引技术三、图像检索技术代码示例图像特征提取示例相似度计算索引技术四、图像搜索流程架构数据采集与预处理特征提取相似度计算与排名结果呈现与优化五

TechLead KrisChang·2024-01-20 19:21

使用 Elasticsearch 和 LlamaIndex 进行高级文本检索：句子窗口检索

2023年是检索增强生成(RAG)的一年，人们探索了许多用例，并使用该技术开发了数百种产品。从Q/A聊天机器人到基于上下文的代理，RAG的使用一直是LLM申请快速增长的主要因素。支持不断发展的社区以及Langchain和LlamaIndex等强大框架的可用性，使开发人员可以更轻松地构建复杂的应用程序。在本文中，我想讨论一种先进的RAG技术，它有助于向客户提供了一些高质量的输出，并被证明是一种高效且

Elastic 中国社区官方博客·2024-01-17 15:40

有哪些比较实用的专利查询网站，求推荐？

专利检索可以简单分为专利文本检索和专利审查过程查看（查询）两类，如果说是专利查询，那么就一般就指的是查询一下某个专利申请的文本、法律状态和审查文档等等信息。这较通常意义上的专利检索，更简单了些。

尚标知识产权·2024-01-15 09:20

[Skill]从零掌握正则表达式

前言无论你是出于什么原因需要掌握正则表达式（诸如爬虫、文本检索、后端服务开发或Linux脚本），如果之前从没接触过正则表达式（比如我）很容易在如山般的公式中迷失，以至于你在项目写的正则表达式很可能会因为组织混乱而被后来的开发者吐槽

TOMOCAT·2024-01-11 07:11

17、InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks

比较各种通用视觉语言任务的结果，包括图像分类、视频分类、图像文本检索、图像字幕和多模态对话。In

C--G·2024-01-03 18:15

C++ static_cast、dynamic_cast、const_cast和reinterpret_cast

再者，C风格的强制类型转换统一使用()，而()在代码中随处可见，所以也不利于使用文本检索工具（例如Windows下的Ctrl+F、Lin

wwwlyj123321·2023-12-30 01:14

Exposing and Mitigating Spurious Correlations for Cross-Modal Retrieval暴露和减轻跨模态检索的虚假相关性

然而，图像文本检索模型通常学习记住训练数据中的虚假相关性，例如频繁的对象共现，而不是查看图像中预测的实际根本原因。对于图像文本检索，这体现在提及查询图像中不存在的对象的检索句子中。

Mars_prime·2023-12-19 08:33

科研学习|论文解读——Task complexity and difficulty in music information retrieval

摘要：关于音乐信息检索（MIR）中任务复杂度和任务难度的研究很少，而文本检索领域的许多研究发现任务复杂度和任务难度对用户效率有显着影响。

博士僧小星·2023-11-30 17:09

【腾讯云云上实验室-向量数据库】用向量数据库——实现高效文本检索功能

文章目录前言TencentCloudVectorDB简介TencentCloudVectorDB使用实战申请腾讯云向量数据库腾讯云向量数据库使用步骤腾讯云向量数据库实现文本检索结论和建议前言想必各位开发者一定使用过关系型数据库

熬夜磕代码丶·2023-11-26 05:39

搜索系统中，智能问答系统落地应用（非结构化数据，图谱，信息抽取，文本检索）

搜索系统的运行，简单来说，将用户的搜索词经过处理后，从数据库中找出答案，现在只聊智能问答的搜索系统，系统前期需要做数据存入，用户搜索时候再做数据读取，因此分为两个部分来讲。1.数据存入数据需要存入图数据库，1.1，构建图谱需要根据非结构化数据情况，和项目需求定义需要抽取的实体类别和实体之间的关系，例如根据用户问法，想要查询出什么答案，根据答案内容定义实体类别和关系。1.2,模型抽取，构建完实体后，

dream_home8407·2023-11-25 23:37

Faiss向量检索工具使用

向量检索可以用于文本检索、文本匹配、图文检索等，主要是依靠深度学习模型的表示向量能够获得相比普通字符更大的表示空间，进而获得更精准的检索效果。上图为使用向量

马尔科夫斯基·2023-11-21 09:43

NLP汉语自然语言处理原理与实践 5 词性、语块和命名实体识别

该技术基本成熟，已经被成功地用于文本检索、文本分类、信息抽取等应用之中，并对这些应用产生了实质性的帮助。任务的顺序应该为，首先

CopperDong·2023-11-18 23:18

Dense Text Retrieval based on Pretrained Language Models: A Survey 上

摘要文本检索是信息搜索领域一个由来已久的研究课题，其中一个系统需要将相关的信息资源以自然语言的形式返回给用户的查询。从经典的检索方法到基于学习的排序函数，其背后的检索模型随着技术的不断革新而不断演进。

不喜欢科研的fw·2023-11-12 19:46

python自然语言处理实战微盘_Python自然语言处理实战：核心技术与算法

在自然语言处理方面，担任导购机器人项目的架构师，主导开发机器人的语义理解、短文本相似度匹配、上下文理解，以及通过自然语言检索产品库，在项目中构建了NoSQL+文本检索等大

weixin_39624774·2023-11-07 05:40

【多模态】BLIP——统一视觉语言理解和生成的引导语言图像预训练模型

目录0.背景❓❓1.问题-大多数模型缺乏灵活性，Web数据嘈杂2.BLIP解决方案2.1网络结构2.2噪声数据处理(CapFilt)2.3CapFilt消融实验3.下游任务3.1图像文本检索（Ima

zy_destiny·2023-11-04 03:15

项目三：基于内容的图像检索

缺点：人工注释需要相当大的人力开销由于人类的主观性会导致文本的注释不准确为克服基于文本检索框架的缺点，在20世纪80年代引入了基于内容的图像检索。

南国_·2023-11-03 19:55

一文助你了解ElasticSearch的底层经典数据结构——倒排索引

倒排索引（InvertedIndex）是信息检索技术中最常用的数据结构之一，主要用于加速文本检索的过程。在经典的Nosql数据库ElasticSearch中也是采用了这种经典的数据结构。

Encounter_Coder·2023-11-03 17:36

【BLIP/BLIP2/InstructBLIP】一篇文章快速了解BLIP系列（附代码讲解说明）

1.4.2方法2.BLIP22.1Q-Former的设计2.2实现功能2.2.1图像文本检索(Image-TextRetrieval)2.2.2图像字幕(ImageCaptioning)2.2.3视觉问答

莫余·2023-10-02 08:42

美搜搜索与百度对比

搜索用的核心技术原理是文本检索的TF-IDF（有兴趣的可以翻翻《数学之美》），按文内出现关键词次数加权、按库中出现关键词次数降权。这样的技术，解决的是“相关性”的问题，就是能确保搜索结果无误。

醉卧美人西·2023-09-22 02:53

视频文本检索（ICCV 23）：Unified Coarse-to-Fine Alignment for Video-Text Retrieval

UNCChapelHill论文链接：http://arxiv.org/abs/2309.10091v1项目链接：https://github.com/Ziyang412/UCoFiA内容简介：1）方向：视频文本检索

学术菜鸟小晨·2023-09-21 20:49

复盘：什么是搜索引擎

一种根据特定的计算机程序对信息进行组织和处理后将用户检索相关的信息展示给用户搜索引擎的发展历史第一代：分类目录时代人工分类第二代：文本检索时代提取关键词（网页文本）第三代：链接分析时代第四代：用户中心时代想看什么给你什么搜索引擎分类全文搜索引擎

不可回收辣鸡·2023-09-09 21:15

solr长文本检索

在我们使用solr的时候，我们会遇到关键词检索跟长文本检索等需求，在工作中很多时候接触的是关键词所以没怎么去关注长文本的检索，最近在项目中遇到了长文本的检索，所以在此写下自己的总结，希望对遇到相应问题的朋友一个参考

nickbi·2023-09-07 17:12

python 文本检索及替换

importsys#外部指令工具箱print(sys.argv)#输入外部指令old_str=sys.argv[1]new_str=sys.argv[2]filename=sys.argv[3]#打开文件，将问件加载到内存f=open(filename,"r+")#r+读写操作date=f.read()#将读取到的文件数据寄存给date#计算替换次数和替换old_str_count=date.co

编程小白进阶札记·2023-09-05 13:36

从简单的例子来看倒排索引

倒排索引（InvertedIndex）是一种常用的文本检索技术，用于快速定位包含某个词汇的文档集合。它的原理是将文档中的每个单词记录在一个索引表中，并且将每个单词所对应的文档编号和位置都记录下来。

Walter Sun·2023-07-31 22:14

使用logstash实现mysql到ES的数据迁移

使用logstash实现mysql到ES的数据迁移前言es在作为数据检索的能力是业界公认的，当我么的服务数据体量增大后，使用mysql存储大文本、或者文本检索就不够用了，那就上es，那么就涉及到旧数据迁移的问题

希望从一个菜鸟成为一个大佬·2023-07-30 20:02

_西风凋碧树·2023-07-26 09:22

关于正则表达式的简单介绍以及使用

一、介绍正则表达式通常被用来检索匹配某种模式（规律）的文本日常文本检索，如果单纯检索某个数字，字母，或者单词匹配出来的结果较多，而面对目标文件内容较大的时，我们也不可能肉眼对检索出来的一行行里去找到自己想要的文本

ReaF_star·2023-07-23 11:45

为什么MySQL不适合大数据文本检索

我们为什么不用MySQL作为大数据文本搜索，而是要选用搜索引擎，跟他们底层采用的结构有关系，接下来我们一起来探索首先要知道MySQL架构天生就不适合海量数据查询，它只适合海量数据存储，但无法应对海量数据下各种复杂条件的查询。有人就说加索引不是可以避免全表扫描，提升查询速度吗，为啥说它不适合海量数据查询呢？其实是有两个原因：首先就是加索引确实可以提升查询速度，但是在MySQL中加多个索引最终在执行S

凝神遐想·2023-07-14 13:42

Vue搭建智能文本检索视频界面

前言随着人工智能技术的发展，智能文本检索已经成为了一种非常流行的技术。在视频领域中，智能文本检索技术可以帮助用户快速找到自己需要的视频片段，提高用户的观看体验。

Sunnyztg·2023-06-24 06:10

【论文笔记】BLIP: Bootstrapping Language-Image Pre-training forUnified Vision-Language Understanding and

基于编码器的模型不太容易直接转移到文本生成任务（例如，图像字幕），而编码器-解码器模型尚未成功用于图像文本检索任务。

weixin_50862344·2023-06-24 00:34

跨模态检索2023年最新顶会论文汇总

EfficientToken-GuidedImage-TextRetrievalwithConsistentMultimodalContrastiveTraininghttps://arxiv.org/abs/2306.08789利用一致的多模态对比训练进行高效的标记引导的图像-文本检索

若年封尘·2023-06-23 00:42

探索视频文本特征加速检索解决方案——倒排索引

这种数据结构可以快速地找到包含特定单词的文档，因此在搜索引擎和文本检索中得到了广泛应用。在视频

Sunnyztg·2023-06-22 06:13

搜索引擎、SEO

二、搜索引擎发展历史：第1代：分类目录时代；第2代：文本检索时代；第2代：文本检索时代；第2代：文本检索时代。三、搜索引擎分类：1、全文搜索引擎；2、目录搜索引擎；3、元搜索引擎。

不会飞的鹤儿·2023-06-19 21:30

Towhee 每周模型

·2023-06-19 17:54

经典多模态模型

图文检索(ImageTextRetrieval)里面包含图像到文本检索，文本到图像检索。给定一个数据库，搜索到groundtruth的图像文本对。因为是检索，所以衡量指标是召回率（recall)。

Scabbards_·2023-06-16 07:26

跨模态检索论文阅读：Dissecting Deep Metric Learning Losses for Image-Text Retrieval(GOAL)

DissectingDeepMetricLearningLossesforImage-TextRetrieval剖析图像文本检索中的深度度量学习损失2022.10视觉语义嵌入（VSE）是图像-文本检索中的一种流行的应用方法

若年封尘·2023-06-15 03:41

从 Elasticsearch 到 Apache Doris，10 倍性价比的新一代日志存储分析平台

日志数据的处理与分析是最典型的大数据分析场景之一，过去业内以Elasticsearch和GrafanaLoki为代表的两类架构难以同时兼顾高吞吐实时写入、低成本海量存储、实时文本检索的需求。

000X000·2023-06-08 22:35

C++四种类型转换运算符

再者，C风格的强制类型转换统一使用()，而()在代码中随处可见，所以也不利于使用文本检索工具（例如Windows下的Ctrl+F、Linux下的grep命令、Mac下的Command+F）定位关键代码。

c语言-小新·2023-04-21 17:30

基于SimCSE和Faiss的文本向量检索实践

目录文本的向量表示1、SimCSE2、支持无监督训3、训练注意事项向量检索1、精准查找flat2、HNSWx3、IVFx4、PQx5、LSH对博客标题进行向量检索数据向量化构建索引文本检索测试检索传统的文本检索一般是建立倒排索引

行走的人偶·2023-04-21 09:09

JS正则表达式基础认知

一、什么是正则正则表达式，又叫规则表达式，英文名RegularExpression，本质是操作字符串二、正则用来干什么1、模式匹配表单验证2、文本检索搜索3、替换过滤三、为什么要用正则简单，方便，性能高四

你不知道我的事·2023-04-19 04:18

推荐频道