攻城狮阿楠
攻城狮阿楠

Elasticsearch中使用ik分词器 JAVA api

一、Elasticsearch分词

在elasticsearch自带的分词器中，对中文分词是支持的，只是所有的分词都是按照单字进行分词的，例如所带的标准的分词器standard分词器，可以按照如下的方式查询是如何进行分词的

[java]  view plain  copy
  1. http://localhost:9200/iktest/_analyze?pretty&analyzer=standard&text=中华人民共和国  

上述例子使用的是standard进行分词，分词的结果如下：

[plain]  view plain  copy
  1. {  
  2.   "tokens" : [ {  
  3.     "token" : "中",  
  4.     "start_offset" : 0,  
  5.     "end_offset" : 1,  
  6.     "type" : "",  
  7.     "position" : 0  
  8.   }, {  
  9.     "token" : "华",  
  10.     "start_offset" : 1,  
  11.     "end_offset" : 2,  
  12.     "type" : "",  
  13.     "position" : 1  
  14.   }, {  
  15.     "token" : "人",  
  16.     "start_offset" : 2,  
  17.     "end_offset" : 3,  
  18.     "type" : "",  
  19.     "position" : 2  
  20.   }, {  
  21.     "token" : "民",  
  22.     "start_offset" : 3,  
  23.     "end_offset" : 4,  
  24.     "type" : "",  
  25.     "position" : 3  
  26.   }, {  
  27.     "token" : "共",  
  28.     "start_offset" : 4,  
  29.     "end_offset" : 5,  
  30.     "type" : "",  
  31.     "position" : 4  
  32.   }, {  
  33.     "token" : "和",  
  34.     "start_offset" : 5,  
  35.     "end_offset" : 6,  
  36.     "type" : "",  
  37.     "position" : 5  
  38.   }, {  
  39.     "token" : "国",  
  40.     "start_offset" : 6,  
  41.     "end_offset" : 7,  
  42.     "type" : "",  
  43.     "position" : 6  
  44.   } ]  
  45. }  
从结果可以看出，对于自带的分词器是对每一个字进行切分分词的，但是如果按照这样来的话，搜索结果中可能好多就是按照单字进行搜索这种的，影响搜索结果，我们希望更智能的分词方法，对于es比较友好的一个分词器就是ik分词器，直接下载就可以进行使用

二、ik分词器的安装

ik分词器是一款在使用es的时候常用的分词器，只要在github上进行下载即可，下载地址如下

[java]  view plain  copy
  1. https://github.com/medcl/elasticsearch-analysis-ik/releases  
要下载自己所使用es所对应的版本

[java]  view plain  copy
  1. IK version  ES version  
  2. master  2.1.1 -> master  
  3. 1.7.0   2.1.1  
  4. 1.6.1   2.1.0  
  5. 1.5.0   2.0.0  
  6. 1.4.1   1.7.2  
  7. 1.4.0   1.6.0  
  8. 1.3.0   1.5.0  
  9. 1.2.9   1.4.0  
  10. 1.2.8   1.3.2  
  11. 1.2.7   1.2.1  
  12. 1.2.6   1.0.0  
  13. 1.2.5   0.90.x  
  14. 1.1.3   0.20.x  
  15. 1.1.2   0.19.x  
  16. 1.0.0   0.16.2 -> 0.19.0  
如上所示，个人认为版本高的会对版本低的进行兼容

下载完成之后，解压，然后使用mvn package进行打包，此处需要安装maven，如何安装请自行百度

打包完成之后，会出现 target/releases/elasticsearch-analysis-ik-{version}.zip

将zip文件拷贝到es所在目录下的/plugins/ik
对zip文件进行解压，解压完成之后需要修改plugin-descriptor.properties文件，将其中的java版本，以及es版本号均改为你所使用的版本号，即完成ik分词器的安装

三、对ik分词器的效果进行检测

安装完成时候，使用之前的命令进行检测，因为ik分词器分为两种分词方法，一种是最大切分，一种是全切分，对应的名字为ik_smart，ik_max_word，其中smart的切分更加符合日常的用于，max_word的切分会更加的细致，如github上面所讲述的，下面对于给定的句子我们进行一个检测，句子为：中华人民共和国

ik_samrt切分结果:

[java]  view plain  copy
  1. http://localhost:9200/iktest/_analyze?pretty&analyzer=ik_smart&text=中华人民共和国  
[java]  view plain  copy
  1. {  
  2.   "tokens" : [ {  
  3.     "token" : "中华人民共和国",  
  4.     "start_offset" : 0,  
  5.     "end_offset" : 7,  
  6.     "type" : "CN_WORD",  
  7.     "position" : 0  
  8.   } ]  
  9. }  
最大切分将一个中华人民共和国直接切分成一个完成的词语

ik_max_word切分：

[java]  view plain  copy
  1. http://localhost:9200/iktest/_analyze?pretty&analyzer=ik_max_word&text=中华人民共和国  
[java]  view plain  copy
  1. {  
  2.   "tokens" : [ {  
  3.     "token" : "中华人民共和国",  
  4.     "start_offset" : 0,  
  5.     "end_offset" : 7,  
  6.     "type" : "CN_WORD",  
  7.     "position" : 0  
  8.   }, {  
  9.     "token" : "中华人民",  
  10.     "start_offset" : 0,  
  11.     "end_offset" : 4,  
  12.     "type" : "CN_WORD",  
  13.     "position" : 1  
  14.   }, {  
  15.     "token" : "中华",  
  16.     "start_offset" : 0,  
  17.     "end_offset" : 2,  
  18.     "type" : "CN_WORD",  
  19.     "position" : 2  
  20.   }, {  
  21.     "token" : "华人",  
  22.     "start_offset" : 1,  
  23.     "end_offset" : 3,  
  24.     "type" : "CN_WORD",  
  25.     "position" : 3  
  26.   }, {  
  27.     "token" : "人民共和国",  
  28.     "start_offset" : 2,  
  29.     "end_offset" : 7,  
  30.     "type" : "CN_WORD",  
  31.     "position" : 4  
  32.   }, {  
  33.     "token" : "人民",  
  34.     "start_offset" : 2,  
  35.     "end_offset" : 4,  
  36.     "type" : "CN_WORD",  
  37.     "position" : 5  
  38.   }, {  
  39.     "token" : "共和国",  
  40.     "start_offset" : 4,  
  41.     "end_offset" : 7,  
  42.     "type" : "CN_WORD",  
  43.     "position" : 6  
  44.   }, {  
  45.     "token" : "共和",  
  46.     "start_offset" : 4,  
  47.     "end_offset" : 6,  
  48.     "type" : "CN_WORD",  
  49.     "position" : 7  
  50.   }, {  
  51.     "token" : "国",  
  52.     "start_offset" : 6,  
  53.     "end_offset" : 7,  
  54.     "type" : "CN_CHAR",  
  55.     "position" : 8  
  56.   } ]  
  57. }  
以上的结果表示ik_max_word的分词会更加的详细

四、关于两种不同分词的用处以及区别：

1、使用方面的不同

其中我们在做索引的时候，希望能将所有的句子切分的更详细，以便更好的搜索，所以ik_max_word更多的用在做索引的时候，但是在搜索的时候，对于用户所输入的query(查询)词，我们可能更希望得比较准确的结果，例如，我们搜索“无花果”的时候，更希望是作为一个词进行查询，而不是切分为"无"，“花”，“果”三个词进行结果的召回，因此ik_smart更加常用语对于输入词的分析

2、效率方面的不同

ik_max_word分词相对来说效率更加迅速，而ik_smart的效率比不上ik_max_word(个人做索引的时候将两种分词器进行尝试得出的结果，有误的话，望指正)

五、java api实现指定分词器

实际应用的时候，我们可能都是在程序里面来实现指定分词器的，而上面所讲述的均为直接在网页进行查看的结果，那么如何指定分词器呢？如何用java代码实现呢

经过查找，最终发现三种方法来指定分词器

（1）在构造mapping的时候对于字段进行指定

在构造mapping的时候，我们可以对于指定的字段使用指定的分词器，所使用的java 代码如下所示：


[java]  view plain  copy
  1. private  XContentBuilder createIKMapping(String indexType) {  
  2.         XContentBuilder mapping = null;  
  3.         try {  
  4.             mapping = XContentFactory.jsonBuilder().startObject()  
  5.                     // 索引库名（类似数据库中的表）  
  6.                     .startObject(indexType).startObject("properties")  
  7.                     .startObject("product_name").field("type", "string")  
  8.                     .field("analyzer","ik").field("search_analyzer","ik_smart").endObject()  
  9.                     .startObject("title_sub").field("type", "string")  
  10.                     .field("analyzer","ik").field("search_analyzer","ik_smart").endObject()  
  11.                     .startObject("title_primary").field("type", "string")  
  12.                     .field("analyzer","ik").field("search_analyzer","ik_smart").endObject()  
  13.                     .startObject("publisher").field("type", "string")  
  14.                     .field("analyzer","ik").field("search_analyzer","ik_smart").endObject()  
  15.                     .startObject("author_name").field("type", "string")  
  16.                     .field("analyzer","ik").field("search_analyzer","ik_smart").endObject()  
  17.                     //.field("boost",100).endObject()  
  18.                     // 姓名  
  19.                     //.startObject("name").field("type", "string").endObject()  
  20.                     // 位置  
  21.                     //.startObject("location").field("type", "geo_point").endObject()  
  22.             //.endObject().startObject("_all").field("analyzer","ik").field("search_analyzer","ik").endObject().endObject().endObject();  
  23.                     .endObject().endObject().endObject();  
  24.         } catch (IOException e) {  
  25.             e.printStackTrace();  
  26.         }  
  27.         return mapping;  
  28.     }  
即对几个字段做索引的时候使用ik分词器即ik_max_word，在搜索的时候使用ik_smart，以上经过测试成功

（2）对于所有的字段进行指定

此方法未经测试通过，只是知道有这种方法，通过的同学麻烦跟我说下哈，感激不尽

如果ik下面的介绍一样，所使用的dsl语句如下所示：

[java]  view plain  copy
  1. curl -XPOST http://localhost:9200/index/fulltext/_mapping -d'  
  2. {  
  3.     "fulltext": {  
  4.              "_all": {  
  5.             "analyzer": "ik_max_word",  
  6.             "search_analyzer": "ik_max_word",  
  7.             "term_vector": "no",  
  8.             "store": "false"  
  9.         },  
  10.         "properties": {  
  11.             "content": {  
  12.                 "type": "string",  
  13.                 "store": "no",  
  14.                 "term_vector": "with_positions_offsets",  
  15.                 "analyzer": "ik_max_word",  
  16.                 "search_analyzer": "ik_max_word",  
  17.                 "include_in_all": "true",  
  18.                 "boost": 8  
  19.             }  
  20.         }  
  21.     }  
  22. }'  
即在_all字段进行设置，按照这个思路，我就写了如下的java 代码，经证实不可以，望万能的各位告诉我

[java]  view plain  copy
  1. private  XContentBuilder createIKMapping(String indexType) {  
  2.        XContentBuilder mapping = null;  
  3.        try {  
  4.            mapping = XContentFactory.jsonBuilder().startObject()  
  5.                    // 索引库名（类似数据库中的表）  
  6.                    .startObject(indexType).startObject("properties") .endObject()  
  7.        .startObject("_all").field("analyzer","ik").field("search_analyzer","ik").endObject()  
  8.     .endObject().endObject();  
  9.        } catch (IOException e) {  
  10.            e.printStackTrace();  
  11.        }  
  12.        return mapping;  
  13.    }  
经过测试，查看mapping的时候再_all字段确实是分词器正确，但是搜索的时候明显可以感觉到不对，不清楚哪的问题，只是有这种方法，如果哪位这样搞出来了麻烦告知一声，多谢(这个我写的代码是不对的，只是在此抛砖引玉额，提出思路，也可能思路就是错的，望不喷)

（3）、在setting的时候进行设置

经过看书得知，在setting的时候可以直接设置analyzer，如图所示：

Elasticsearch中使用ik分词器 JAVA api_第1张图片

此种方法未经测试，只是可以确定可行性。


转自：http://blog.csdn.net/molong1208 https://blog.csdn.net/molong1208/article/details/50557253

你可能感兴趣的:(数据检索)

  • 高性能缓存利器：Caffeine 在 Spring Boot 中的应用 阿里小阿希 JAVA缓存springbootspring
    在现代应用程序中，缓存是提高数据检索速度、减少对数据库或其他数据源访问次数的重要手段。SpringCache提供了多种缓存实现方式，而在我们的SpringBoot项目中，我们选择了Caffeine作为默认的缓存库。Caffeine简介Caffeine是一个基于Java8的高性能、近乎最佳的缓存库。它提供了多种优化技术，如写入时复制（Copy-on-Write）和分段锁（SegmentedLocki
  • LangChain实战：利用LangChain SQL Agent和GPT进行文档分析和交互 AGI八零后 langchainsqlgpt
    我最近接触到一个非常有趣的挑战，涉及到人工智能数字化大量文件的能力，并使用户可以在这些文件上提出复杂的与数据相关的问题，比如：数据检索问题：涉及从数据库中获取特定数据点或数据集，例如“电子产品类别中有多少产品？”或“2021年第四季度总销售额是多少？”汇总查询：需要对数据进行总结的问题，如计算平均值、求和、计数等，例如“所有已上架产品的平均价格是多少？”或“每个地区客户的总人数是多少？”数据关系探
  • 使用Vespa进行高级检索与向量数据库管理 scaFHIO 数据库python
    技术背景介绍在现代信息检索领域，为了提供精准且高效的搜索体验，往往需要结合使用向量搜索（ANN）、词法搜索以及结构化数据搜索。Vespa作为一个功能完备的搜索引擎与向量数据库，为我们提供了一站式的解决方案。本文将详细介绍如何使用Vespa进行高级检索，并通过代码示例展示其实际应用。核心原理解析Vespa具备以下核心功能：向量搜索（ANN）：基于向量空间的近似最近邻搜索，提高了高维数据检索的效率。词
  • 一文揭秘！Java 如何与 Elasticsearch 完美 “牵手”？ 程序员顾茗 javaelasticsearch
    引言本文适合有一定Java编程基础，且对搜索引擎技术感兴趣，尤其是希望在项目中运用Elasticsearch实现高效数据检索与分析功能的开发人员阅读。在当今大数据和高并发的时代，高效的数据检索与分析变得愈发关键。Elasticsearch作为一款强大的分布式搜索和分析引擎，受到了广泛青睐。而Java作为企业级开发的主流语言，如何与Elasticsearch无缝结合，发挥出最大效能呢？今天，就让我们
  • 索引的详细介绍 Bugkillers javamysql
    数据库索引是一种用于加速数据检索的数据结构，类似于书籍的目录。通过索引，数据库可以快速定位数据，而无需扫描整个表。以下是关于数据库索引的详细介绍：1.索引的基本概念定义：索引是数据库表中一列或多列的值及其对应位置的引用。目的：提升查询性能，特别是在处理大量数据时。支持唯一性约束。代价：索引会占用存储空间，并在数据插入、更新和删除时增加维护开销。2.索引的类型单列索引：基于表中的单个列创建。复合索引
  • 图数据库Neo4j面试内容整理-Cypher 查询优化 不务正业的猿 面试Neo4j数据库neo4j面试职场和发展图数据库
    Cypher查询优化是在Neo4j中提高查询性能的关键部分。Cypher是Neo4j的查询语言，允许我们通过图的结构进行高效的数据检索。然而，随着数据量的增大和查询复杂度的提高，查询性能可能会变差。为了优化Cypher查询，我们可以使用多种策略，包括合理设计查询、利用索引和约束、避免不必要的查询操作等。以下是一些Cypher查询优化的最佳实践和策略：1.使用索引（Index）
  • RagFlow专题三、RagFlow 关键技术（向量数据库、文档分块、Prompt 设计与召回排序优化） 伯牙碎琴 大模型prompt大模型AIRagRagFlow
    深入解析RagFlow关键技术：向量数据库、文档分块、Prompt设计与召回排序优化在前一篇文章中，我们详细探讨了RagFlow的核心架构，包括数据检索、语义搜索（BM25&向量搜索）以及知识融合，并了解了如何通过RagFlow机制优化信息检索和生成质量。本篇文章将深入解析RagFlow的关键技术，包括：向量数据库（FAISS、Milvus、Elasticsearch）——负责高效的语义检索与存储
  • 基础篇——从零开始掌握SQL基础语法：构建数据操作的基石 暴怒的代码 后端数据库sql
    一、SQL语言概述SQL（StructuredQueryLanguage）作为关系型数据库的核心交互语言，自1974年由IBM研究员提出以来，已成为数据领域最通用的标准语言。根据DB-Engines的最新统计，SQL在数据库查询语言中的使用占比超过83%，其重要性不言而喻。本文将系统讲解SQL的基础语法体系，帮助读者构建坚实的数据操作基础。二、CRUD操作：数据操作四象限2.1数据检索（SELEC
  • 【网络安全 | 渗透测试】GraphQL精讲三：使用Burp进行渗透测试 秋说 web安全graphql漏洞挖掘
    未经许可，不得转载。文章目录前言查看和修改GraphQL请求使用内省（Introspection）访问GraphQLAPI模式运行内省查询的步骤前言GraphQL是一种API查询语言，旨在促进客户端与服务器之间的高效通信。它使用户能够精确指定所需的数据，从而避免RESTAPI中常见的大型响应对象和多次调用问题。GraphQL服务通常用于身份验证和数据检索机制。这意味着，如果攻击者能够成功发送恶意请
  • 怎样创建一个一个索引，索引使用的原则，有什么优点和缺点？思维导图 代码示例（java 架构) 用心去追梦 java架构oracle
    创建索引是优化数据库查询性能的重要手段之一。索引能够加速数据检索，但同时也可能带来一些负面影响。下面将详细介绍如何在Oracle中创建索引、索引使用的原则、其优点和缺点，并提供思维导图结构及Java架构下的代码示例。创建索引语法要在Oracle中为表创建索引，可以使用CREATEINDEX语句。以下是基本的语法：CREATE[UNIQUE]INDEXindex_nameONtable_name(c
  • 十分钟了解大数据处理的五大关键技术及其应用 IT时代周刊 2019年5月大数据程序员编程语言hadoop
    其中主要工作环节包括：♦大数据采集、♦大数据预处理、♦大数据存储及管理、♦大数据分析及挖掘、♦大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。一、大数据采集技术数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化(或称之为弱结构化)及非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取
  • 七.智慧城市数据治理平台架构 moton2017 大数据治理大数据数据架构数据库数据治理大数据治理数据分析智慧城市数据治理
    一、整体架构概览智慧城市数据治理平台架构描绘了一个全面的智慧城市数据治理平台，旨在实现城市数据的统一管理、共享和应用，为城市运行、管理和决策提供数据支撑。整体架构呈现出分层、模块化、集约化的特点，并强调数据安全和标准规范。智慧城市数据治理平台架构二、核心模块解析1.城市驾驶舱统一数据管理门户:作为数据资源的统一入口，提供数据检索、申请、使用等服务。公共数据开放门户:向社会开放公共数据，支持数据目录
  • 文档检索服务平台 liupan6889 产品设计全文检索elasticsearch全文检索开源软件
    文档检索服务平台是基于Elasticsearch的全文检索，包含数据采集、数据清洗、数据转换、数据检索等模块。项目地址：Github、国内Gitee演示地址：http://silianpan.cn/gdss/以下是演示角色和账号（密码同账号）：测试用户：test超级管理员：admin系统架构部分截图登录全文检索文章详情
  • 杰和推出面向人工智能应用的AI服务器 weixin_34211761
    在这个数据爆炸的年代，我们获取数据的难度大大降低，但要获取数据的价值仅依靠简单的数据分析是不可行的。如果将大数据看作一个产业，那么数据深挖（挖掘）就是其中一项核心技术，数据深挖（挖掘）通常与计算机科学有关，如数据统计、数据检索、分析处理、机器学习等技术，而这些恰好是人工智能技术的优势。人工智能一直都是备受关注的热门领域，更是被认为是第四次工业革命。随着技术的不断开发及深入优化，人工智能以迅雷不及掩
  • 使用 pgvector 实现 PostgreSQL 语义搜索和 RAG：完整指南 llzwxh888 postgresql数据库python
    使用pgvector实现PostgreSQL语义搜索和RAG：完整指南1.引言在当今的数据驱动世界中，能够高效地搜索和检索相关信息变得越来越重要。传统的关系型数据库虽然在结构化数据管理方面表现出色，但在处理非结构化数据和语义搜索时往往力不从心。本文将介绍如何使用pgvector扩展来增强PostgreSQL数据库，实现语义搜索和检索增强生成（RAG）功能，从而大大提升数据检索的效率和准确性。2.p
  • Oracle SQL 基础 鱼弦 人工智能时代oraclesql数据库
    OracleSQL基础介绍OracleSQL是一种用于访问和操作Oracle数据库的结构化查询语言。它可以执行多种数据操作，包括数据检索、插入、更新、删除等。理解SQL的基础语法和功能是高效使用Oracle数据库的前提条件。SQL语法介绍基本结构SELECT：用于从数据库中检索数据。FROM：指定数据来源的表。WHERE：用于过滤满足特定条件的数据。ORDERBY：对结果集进行排序。GROUPBY
  • 使用 pgvector 实现 PostgreSQL 语义搜索和 RAG：完整指南 小林rr 面试学习路线阿里巴巴postgresql数据库
    使用pgvector实现PostgreSQL语义搜索和RAG：完整指南1.引言在当今的数据驱动世界中，能够高效地搜索和检索相关信息变得越来越重要。传统的关系型数据库虽然在结构化数据管理方面表现出色，但在处理非结构化数据和语义搜索时往往力不从心。本文将介绍如何使用pgvector扩展来增强PostgreSQL数据库，实现语义搜索和检索增强生成（RAG）功能，从而大大提升数据检索的效率和准确性。2.p
  • [论文阅读] CLIP-based fusion-modal reconstructing hashing for large-scaleunsupervised cross-modal retri 2301_80732299 论文阅读
    摘要随着多模态数据的激增，人们不再满足于单一的数据检索模式来获取信息。深度哈希检索算法以其存储效率高、查询速度快等优点受到广泛关注。目前，现有的无监督哈希方法普遍存在两方面的局限性:(1)现有方法不能充分捕获不同模态数据中潜在的语义相关性和共存信息，导致缺乏有效的特征和哈希编码表示来弥合多模态数据中的异构和语义差距。(2)现有的无监督方法通常构造相似矩阵来指导哈希码学习，存在不准确的相似度问题，导
  • C++——map和set类用法指南 hu_143 C++c++
    一、前言1.1关联式容器关联式容器也是用来存储数据的，与序列式容器不同的是，其里面存储的是结构的键值对，在数据检索时比序列式容器效率更高。1.2键值对用来表示具有一一对应关系的一种结构，该结构中一般只包含两个成员变量key和value，key代表键值，value表示与key对应的信息。二、set2.1介绍1、set是按照一定次序存储元素的容器2、在set中，元素的value也标识它（value就是
  • Golang GORM系列：GORM 高级查询教程 梦想画家 #Golanggolanggorm
    有效的数据检索是任何程序功能的基础。健壮的Go对象关系映射包（称为GORM）除了标准的CRUD操作之外，还提供了复杂的查询功能。这是学习如何使用GORM进行高级查询的综合资源。我们将涵盖WHERE条件、连接、关联、预加载相关数据，甚至涉及原始SQL查询。到最后，你的Go应用程序将具备以无与伦比的精度提取和操作数据的能力。GORMwhere条件使用WHERE条件优化查询对于提取特定的数据子集至关重要
  • kafka数据检索_Kafka日志分段与消息查找 铺地板 kafka数据检索
    Kafka作为一个消息中间件(后面Kafka逐渐转向一个流失处理平台KafkaStream)，消息最终的存储都落在日志中。Kafka的消息最终发送是以topic下的分区为最终目标的，因此Kafka的日志存储也是以分区为单位。配置文件中log.dir参数决定了kafka数据文件的存放目录，该参数可以在kafka配置文件中进行配置。上图给出了三个目录，代表Topic名称为message-store的三
  • MySQL 视图 存储过程与存储函数 曹二747 mysql数据库
    第十四章_视图、第十五章_存储过程与存储函数1.常见的数据库对象1.表（Table）用于存储结构化数据的基本对象，由行（记录）和列（字段）组成。2.视图（View）基于一个或多个表的虚拟表，用于简化查询或提供特定数据的视图，不存储实际数据。3.索引（Index）用于加速查询和数据检索的数据库对象，常用于优化性能。4.主键（PrimaryKey）唯一标识表中每一行记录的约束，值必须唯一且非空。5.外
  • 什么是人工智能（AI）？ 5G云网络 人工智能
    人工智能AI（即ArtificialIntelligence）是计算机科学的一个分支，旨在让计算机模仿人类的决策能力、像人类一样思考和行动，来解决如自然语言处理、推荐、智能数据检索、预测等方面人类无法处理或难以处理的复杂工作。为什么需要人工智能？人类社会和计算机产生的数据量非常庞大，已远远超出人类可以处理的范围。人工智能发展到今天，覆盖了我们日常活动的各个方面，已经彻底改变了我们许多的生活或工作方
  • Elasticsearch集群架构：构建高效、可扩展的搜索平台 detayun Elasticsearchelasticsearch架构大数据
    在当今大数据和云计算的时代，高效、实时的数据检索能力成为了企业核心竞争力的重要组成部分。Elasticsearch，作为一款基于Lucene构建的开源搜索引擎，以其强大的全文搜索能力、灵活的扩展性和丰富的功能特性，成为了众多企业首选的数据搜索和分析平台。本文将深入探讨Elasticsearch集群的架构设计，帮助您更好地理解和构建高效、可扩展的搜索解决方案。一、Elasticsearch简介Ela
  • AI-知识库搭建（一）腾讯云向量数据库使用 CJ点 人工智能GPT向量数据库知识库
    一、AI知识库将已知的问答知识，问题和答案转变成向量存储在向量数据库，在查找答案时，输入问题，将问题向量化，匹配向量库的问题，将向量相似度最高的问题筛选出来，将答案提交。二、腾讯云向量数据库向量数据库_大模型知识库_向量数据存储_向量数据检索-腾讯云腾讯云向量数据库（TencentCloudVectorDB）是一款全托管的自研企业级分布式数据库服务，专用于存储、检索、分析多维向量数据。该数据库支持
  • 使用 pgvector 实现 PostgreSQL 语义搜索和 RAG：完整指南 m0_74825260 面试学习路线阿里巴巴postgresql数据库
    使用pgvector实现PostgreSQL语义搜索和RAG：完整指南1.引言在当今的数据驱动世界中，能够高效地搜索和检索相关信息变得越来越重要。传统的关系型数据库虽然在结构化数据管理方面表现出色，但在处理非结构化数据和语义搜索时往往力不从心。本文将介绍如何使用pgvector扩展来增强PostgreSQL数据库，实现语义搜索和检索增强生成（RAG）功能，从而大大提升数据检索的效率和准确性。2.p
  • 美团大规模 KV 存储挑战与架构实践 思维导图-java架构 用心去追梦 架构java开发语言
    美团作为一家大型互联网公司，其业务系统面临着处理海量数据和高并发访问的需求。特别是对于KV（键值）存储系统来说，它需要支持快速读写、高效的数据检索以及良好的可扩展性。以下是一个关于美团大规模KV存储挑战与架构实践的思维导图结构，旨在展示如何应对这些挑战并实现高性能的KV存储系统。美团大规模KV存储挑战与架构实践│├───挑战│├───高并发读写││└───大量用户同时进行订单创建、查询等操作。│├
  • MySQL为什么使用B+树？B+树和B树的区别 Cider瞳 读研的日常拾光mysqlb树b+树面试c++golang后端
    MySQL为什么使用B+树？B+树和B树的区别在数据库系统中，索引是提高数据检索效率的关键技术。MySQL默认使用B+树作为索引的数据结构，而不是B树或其他数据结构。这是因为B+树在范围查询、磁盘I/O效率以及数据存储方式等方面具有显著优势。B+树和B树的区别B+树和B树都是平衡多路搜索树，但它们在设计上有一些关键差异，这些差异直接影响了它们在数据库中的应用。1.数据存储位置B树:每个节点（包括非
  • 构建知识图谱：从文本到结构化数据的转化 sagvWSRJHMNEB 知识图谱人工智能python
    技术背景介绍知识图谱是一种将信息表示为实体及其相互关系的结构化数据模型，广泛用于提高数据检索和决策支持的质量。特别是在基于知识的检索增强生成（RAG）应用中，通过将非结构化文本转化为知识图谱，可以显著提升系统对复杂关系的理解和导航能力。核心原理解析构建知识图谱的核心步骤包括：信息提取和数据库存储。从文本中提取结构化信息主要依赖于大语言模型（LLM），如OpenAI的GPT-4，其能力在于解析和分类
  • 数据存储设计面试：了解数据库分区、分片、索引 小蜗牛慢慢爬行 数据库mysql面试
    快速掌握：分片将您的数据分布到多个服务器，以实现可扩展性和更好的性能。分区将单个数据库内的表划分为更小的部分（分区），从而提高查询性能和可管理性。索引创建数据结构以加速某些列的数据检索，从而提高查询性能，但代价是额外的存储和写入开销。数据库分片分片是一种在多个服务器或数据库之间水平划分数据的方法，这样每个服务器（或“分片”）都包含整个数据集的一个子集。此技术用于提高数据库的可扩展性和性能，尤其是在
  • C/C++Win32编程基础详解视频下载 择善Zach 编程C++Win32
    课题视频：C/C++Win32编程基础详解 视频知识：win32窗口的创建                   windows事件机制 主讲：择善Uncle老师 学习交流群：386620625 验证码：625 --
  • Guava Cache使用笔记 bylijinnan javaguavacache
    1.Guava Cache的get/getIfPresent方法当参数为null时会抛空指针异常 我刚开始使用时还以为Guava Cache跟HashMap一样，get(null)返回null。 实际上Guava整体设计思想就是拒绝null的，很多地方都会执行com.google.common.base.Preconditions.checkNotNull的检查。 2.Guava
  • 解决ora-01652无法通过128（在temp表空间中） 0624chenhong oracle
    解决ora-01652无法通过128（在temp表空间中）扩展temp段的过程 一个sql语句后，大约花了10分钟，好不容易有一个结果，但是报了一个ora-01652错误，查阅了oracle的错误代码说明：意思是指temp表空间无法自动扩展temp段。这种问题一般有两种原因：一是临时表空间空间太小，二是不能自动扩展。 分析过程：    既然是temp表空间有问题，那当
  • Struct在jsp标签 不懂事的小屁孩 struct
    非UI标签介绍： 控制类标签： 1：程序流程控制标签   if   elseif    else <s:if test="isUsed"> <span class="label label-success">True</span> </
  • 按对象属性排序 换个号韩国红果果 JavaScript对象排序
    利用JavaScript进行对象排序，根据用户的年龄排序展示 <script> var bob={ name;bob, age:30 } var peter={ name;peter, age:30 } var amy={ name;amy, age:24 } var mike={ name;mike, age:29 } var john={
  • 大数据分析让个性化的客户体验不再遥远 蓝儿唯美 数据分析
    顾客通过多种渠道制造大量数据，企业则热衷于利用这些信息来实现更为个性化的体验。 分析公司Gartner表示，高级分析会成为客户服务的关键，但是大数据分析的采用目前仅局限于不到一成的企业。 挑战在于企业还在努力适应结构化数据，疲于根据自身的客户关系管理（CRM）系统部署有效的分析框架，以及集成不同的内外部信息源。 然而，面对顾客通过数字技术参与而产生的快速变化的信息，企业需要及时作出反应。要想实
  • java笔记4 a-john java
    操作符 1，使用java操作符       操作符接受一个或多个参数，并生成一个新值。参数的形式与普通的方法调用不用，但是效果是相同的。加号和一元的正号（+）、减号和一元的负号（-）、乘号（*）、除号（/）以及赋值号（=）的用法与其他编程语言类似。       操作符作用于操作数，生成一个新值。另外，有些操作符可能会改变操作数自身的
  • 从裸机编程到嵌入式Linux编程思想的转变------分而治之：驱动和应用程序 aijuans 嵌入式学习
        笔者学习嵌入式Linux也有一段时间了，很奇怪的是很多书讲驱动编程方面的知识，也有很多书将ARM9方面的知识，但是从以前51形式的（对寄存器直接操作，初始化芯片的功能模块）编程方法，和思维模式，变换为基于Linux操作系统编程，讲这个思想转变的书几乎没有，让初学者走了很多弯路，撞了很多难墙。     笔者因此写上自己的学习心得，希望能给和我一样转变
  • 在springmvc中解决FastJson循环引用的问题 asialee 循环引用fastjson
              我们先来看一个例子：           package com.elong.bms; import java.io.OutputStream; import java.util.HashMap; import java.util.Map; import co
  • ArrayAdapter和SimpleAdapter技术总结 百合不是茶 androidSimpleAdapterArrayAdapter高级组件基础
    ArrayAdapter比较简单，但它只能用于显示文字。而SimpleAdapter则有很强的扩展性，可以自定义出各种效果   ArrayAdapter;的数据可以是数组或者是队列        // 获得下拉框对象 AutoCompleteTextView textview = (AutoCompleteTextView) this
  • 九封信 bijian1013 人生励志
            有时候，莫名的心情不好，不想和任何人说话，只想一个人静静的发呆。有时候，想一个人躲起来脆弱，不愿别人看到自己的伤口。有时候，走过熟悉的街角，看到熟悉的背影，突然想起一个人的脸。有时候，发现自己一夜之间就长大了。         2014，写给人
  • Linux下安装MySQL Web 管理工具phpMyAdmin sunjing PHPInstallphpMyAdmin
    PHP http://php.net/ phpMyAdmin http://www.phpmyadmin.net Error compiling PHP on CentOS x64   一、安装Apache 请参阅http://billben.iteye.com/admin/blogs/1985244   二、安装依赖包 sudo yum install gd
  • 分布式系统理论 bit1129 分布式
    FLP One famous theory in distributed computing, known as FLP after the authors Fischer, Lynch, and Patterson, proved that in a distributed system with asynchronous communication and process crashes,
  • ssh2整合(spring+struts2+hibernate)-附源码 白糖_ eclipsespringHibernatemysql项目管理
    最近抽空又整理了一套ssh2框架，主要使用的技术如下： spring做容器，管理了三层(dao,service,actioin)的对象 struts2实现与页面交互(MVC)，自己做了一个异常拦截器，能拦截Action层抛出的异常 hibernate与数据库交互 BoneCp数据库连接池，据说比其它数据库连接池快20倍，仅仅是据说 MySql数据库   项目用eclipse
  • treetable bug记录 braveCS table
    // 插入子节点删除再插入时不能正常显示。修改： //不知改后有没有错，先做个备忘 Tree.prototype.removeNode = function(node) { // Recursively remove all descendants of +node+ this.unloadBranch(node); // Remove
  • 编程之美-电话号码对应英语单词 bylijinnan java算法编程之美
    import java.util.Arrays; public class NumberToWord { /** * 编程之美 电话号码对应英语单词 * 题目： * 手机上的拨号盘，每个数字都对应一些字母，比如2对应ABC，3对应DEF.........，8对应TUV，9对应WXYZ， * 要求对一段数字，输出其代表的所有可能的字母组合
  • jquery ajax读书笔记 chengxuyuancsdn jQuery ajax
    1、jsp页面 <%@ page language="java" import="java.util.*" pageEncoding="GBK"%> <% String path = request.getContextPath(); String basePath = request.getScheme()
  • JWFD工作流拓扑结构解析伪码描述算法 comsci 数据结构算法工作活动J#
      对工作流拓扑结构解析感兴趣的朋友可以下载附件，或者下载JWFD的全部代码进行分析   /*  流程图拓扑结构解析伪码描述算法         public java.util.ArrayList DFS(String graphid, String stepid, int j)
  • oracle I/O 从属进程 daizj oracle
    I/O 从属进程 　　I/O从属进程用于为不支持异步I/O的系统或设备模拟异步I/O.例如，磁带设备(相当慢)就不支持异步I/O.通过使用I/O 从属进程，可以让磁带机模仿通常只为磁盘驱动器提供的功能。就好像支持真正的异步I/O 一样，写设备的进程(调用者)会收集大量数据，并交由写入器写出。数据成功地写出时，写入器(此时写入器是I/O 从属进程，而不是操作系统)会通知原来的调用者，调用者则会
  • 高级排序:希尔排序 dieslrae 希尔排序
    public void shellSort(int[] array){ int limit = 1; int temp; int index; while(limit <= array.length/3){ limit = limit * 3 + 1;
  • 初二下学期难记忆单词 dcj3sjt126com englishword
    kitchen 厨房 cupboard 厨柜 salt 盐 sugar 糖 oil 油 fork 叉；餐叉 spoon 匙；调羹 chopsticks 筷子 cabbage 卷心菜；洋白菜 soup 汤 Italian 意大利的   Indian 印度的 workplace  工作场所 even 甚至；更 Italy 意大利 laugh 笑 m
  • Go语言使用MySQL数据库进行增删改查 dcj3sjt126com mysql
    目前Internet上流行的网站构架方式是LAMP，其中的M即MySQL, 作为数据库，MySQL以免费、开源、使用方便为优势成为了很多Web开发的后端数据库存储引擎。MySQL驱动Go中支持MySQL的驱动目前比较多，有如下几种，有些是支持database/sql标准，而有些是采用了自己的实现接口,常用的有如下几种: http://code.google.c...o-mysql-dri
  • git命令 shuizhaosi888 git
    ---------------设置全局用户名： git config --global user.name "HanShuliang" //设置用户名 git config --global user.email "[email protected]" //设置邮箱 ---------------查看环境配置 git config --li
  • qemu-kvm 网络 nat模式 (四) haoningabc kvmqemu
    qemu-ifup-NAT #!/bin/bash BRIDGE=virbr0 NETWORK=192.168.122.0 GATEWAY=192.168.122.1 NETMASK=255.255.255.0 DHCPRANGE=192.168.122.2,192.168.122.254 TFTPROOT= BOOTP= function check_bridge()
  • 不要让未来的你，讨厌现在的自己 jingjing0907 生活 奋斗 工作 梦想
     故事one 　23岁，他大学毕业，放弃了父母安排的稳定工作，独闯京城，在家小公司混个小职位，工作还算顺手，月薪三千，混了混，混走了一年的光阴。　　　　24岁，有了女朋友，从二环12人的集体宿舍搬到香山民居，一间平房，二人世界，爱爱爱。偶然约三朋四友，打扑克搓麻将，日子快乐似神仙；　　　　25岁，出了几次差，调了两次岗，薪水涨了不过百，生猛狂飙的物价让现实血淋淋，无力为心爱银儿购件大牌
  • 枚举类型详解 一路欢笑一路走 enum枚举详解enumsetenumMap
    枚举类型详解 一.Enum详解      1.1枚举类型的介绍   JDK1.5加入了一个全新的类型的”类”—枚举类型，为此JDK1.5引入了一个新的关键字enum,我们可以这样定义一个枚举类型。      Demo:一个最简单的枚举类   public enum ColorType { RED
  • 第11章 动画效果（上） onestopweb 动画
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • Eclipse中jsp、js文件编辑时，卡死现象解决汇总 ljf_home eclipsejsp卡死js卡死
    使用Eclipse编辑jsp、js文件时，经常出现卡死现象，在网上百度了N次，经过N次优化调整后，卡死现象逐步好转，具体那个方法起到作用，不太好讲。将所有用过的方法罗列如下：   1、取消验证 windows–>perferences–>validation 把 除了manual 下面的全部点掉，build下只留 classpath dependency Valida
  • MySQL编程中的6个重要的实用技巧 tomcat_oracle mysql
    每一行命令都是用分号(;)作为结束 对于MySQL，第一件你必须牢记的是它的每一行命令都是用分号(;)作为结束的，但当一行MySQL被插入在PHP代码中时，最好把后面的分号省略掉，例如： mysql_query("INSERT INTO tablename(first_name,last_name)VALUES('$first_name',$last_name')");
  • zoj 3820 Building Fire Stations(二分+bfs) 阿尔萨斯 Build
    题目链接：zoj 3820 Building Fire Stations 题目大意：给定一棵树，选取两个建立加油站，问说所有点距离加油站距离的最大值的最小值是多少，并且任意输出一种建立加油站的方式。 解题思路：二分距离判断，判断函数的复杂度是o(n)，这样的复杂度应该是o(nlogn)，即使常数系数偏大，但是居然跑了4.5s，也是醉了。 判断函数里面做了3次bfs，但是每次bfs节点最多
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他