哈工大分词器

哈工大计算机网络实验四——简单网络组建配置 Cisco Packet Tracer 使用指南

文章目录前言任务目标准备工作正式工作1.搭建网络拓扑结构2.配置终端设备（除无线局域网设备）参数2.1服务器配置方法举例2.2其余终端的配置3.配置接入层交换机参数3.1办公区交换机配置方法举例3.2其余接入层交换机的配置4.配置汇聚层交换机参数4.1服务器区和办公区的汇聚层交换机配置方法举例4.2其余汇聚层交换机的配置5.配置核心层交换机参数6.配置无线局域网参数6.1终端设备的配置方法6.2路
| 清风、·2024-02-09 05:17

使用embedding实现简单的内容查找

思路通过将一个待查找文本使用分词器划分，然后使用embedding处理成张量。询问者输入问题也被处理一个张量此时进行匹配，程序将相似文本返回。在e
南子大帅哥·2024-02-08 17:09

编译原理（4）：语法分析下——自底向上分析

声明：本系列文章，是根据中国大学MOOC网哈工大的编译原理这门课学习而成的学习笔记。
逢青丶·2024-02-08 11:17

哈工大程序人生

摘要每一位程序员都对hello熟悉不已，hello是我们走向又爱又恨的计算机专业的开始。hello并不是像那几行代码那样简单，究其根本，它要经过预处理，编译，汇编，链接等一系列步骤才能成为一个可执行文件。真正运行这个程序又要应用程序，操作系统，硬件系统的紧密联系。本文将重走hello一生，感受计算机的魅力。关键词：hello;预处理；编译；汇编；链接；进程；目录第1章概述.............
m0_63437715·2024-02-08 05:53

2021最新版 ElasticSearch 7.6.1 教程详解 爬虫jsoup+es模拟京东搜索（狂神说）

和Solr的区别5.了解ELK二、软件安装1.ElasticSearch2.ElasticSearchHead3.Kibana三、ElasticSearch使用详解1.ES核心概念文档索引倒排索引ik分词器
Super_Song_·2024-02-07 22:10

java SpringBoot2.7整合Elasticsearch(ES)7 进行文档增删查改

首先我们在ES中加一个books索引且带有IK分词器的索引首先pom.xml导入依赖org.springframework.bootspring-boot-starter-data-elasticsearchapplication
瑞晟技术服务中心-耿瑞·2024-02-07 17:51

Elasticsearch（三）

分词器：其次，字符串被分词器分为单个的词条。一个简单的分词器遇到空格和标点的
蒋一清·2024-02-07 09:45

elasticsearch使用ik中文分词器

一、背景es自带了一堆的分词器，比如standard、whitespace、language(比如english)等分词器，但是都对中文分词的效果不太好，此处安装第三方分词器ik，来实现分词。
huan1993·2024-02-07 05:31

07、全文检索 -- Solr -- Solr 全文检索 之 为索引库添加中文分词器

目录Solr全文检索之为索引库添加中文分词器添加中文分词器1、添加中文分词器的jar包2、修改managed-schema配置文件什么是fieldType3、添加停用词文档4、重启solr5、添加【*_
_L_J_H_·2024-02-05 09:28

Elasticsearch(ES) 简述请求操作索引下文档 增删查改操作

上文Elasticsearch(ES)创建带有分词器规则的索引带着大家创建了一个带有分词功能的索引老规矩我们启动一下ES服务本文我们就来说说关于文档的操作我们先来添加一个文档就像数据库加一条数据一样这里并不需要指定什么表结构和数据结构它的文档结构是无模式的添加文档的请求路径是
瑞晟技术服务中心-耿瑞·2024-02-05 08:12

2019年——第三天来深圳的思路

第二天因为昨天晚上和一个小妹妹（实际是33岁的大姐）聊了很多关于心理、个人自由、价值观的问题，导致2.30左右才睡觉，所以今早9点左右才起来，和室友简单的吃个早餐，就去哈工大打球了。
懒惰的习惯·2024-02-05 06:12

elasticsearch学习六：学习 全文搜索引擎 elasticsearch的语法，使用kibana进行模拟测试（持续更新学习）

文章目录前言一、基本概念1.Node节点与Cluster集群2.Index索引3.Document文档4.Type类型5.逻辑对比6.物理设计二、ES的命令风格三、新建和删除index索引四、分词器使用和学习
java冯坚持·2024-02-04 10:39

技术动态 | 哈工大联合快手提出CogGPT：大模型也需要认知迭代

在认知科学领域，人类通过持续学习改变认知的过程被称为认知迭代（CognitiveDynamics）。形象地说，认知迭代就像是我们大脑的「软件更新」过程，手机应用通过不断的更新来修复bug和增加新功能，我们的大脑也通过不断学习新知识、经验，来改善和优化思考方式。从我们判断感冒吃什么药效果好，到一代代数学家如何证明费马大定理，无论是个人的心智发展还是人类文明的进步，认知迭代都扮演了不可或缺的角色。如今
开放知识图谱·2024-02-04 07:05

Elasticsearch(ES) 创建带有分词器规则的索引

上文Elasticsearch(ES)下载添加IK分词器带大家下载并使用了IK分词器我们先启动ES服务然后我们来说IK分词器怎么用设置分词器我们还是要发put请求创建索引时通过参数设置这里我们put请求类型要换成
瑞晟技术服务中心-耿瑞·2024-02-04 03:03

Docker安装ElasticSearch和IK分词器

建议使用阿里云镜像加速参考：https://blog.csdn.net/qq_37495786/article/details/83246421必须提前创建好yml文件mkdir-p/mydata/elasticsearch/configmkdir-p/mydata/elasticsearch/dataecho"http.host:0.0.0.0">>/mydata/elasticsearch/c
elwyn_you·2024-02-03 19:25

大模型LORA微调总结

大模型LORA微调总结大模型微调总结模型加载使用deepspeed不使用deepspeed使用lora加载分词器数据加载构建source和target构建input_ids和labels标签补齐构建训练器
江小皮不皮·2024-02-03 15:48

schema.xml配置 - 分词器配置

在FieldType中，对于TextField，可以通过元素配置分词器，从而影响TextField的分词行为。-->-->-->
Vekaco·2024-02-03 08:42

Elasticsearch(ES) 下载添加IK分词器

上文通过Web请求对Elasticsearch(ES)进行索引的增删查操作我们通过web请求创建了一个索引但目前我们的索引是不具有分词效果的我们并没有为索引指定分词器所以我们目前加进去的数据就会保持原样没有分词的能力我们执行
瑞晟技术服务中心-耿瑞·2024-02-02 10:36

ElasticSearch搜索与分析引擎-Linux离线环境安装教程

目录一、下载安装包网盘链接:二、安装流程及遇到的问题和解决方案（1）JDK安装（2）Elasticsearch安装（3）Kibana安装（4）Ik分词器安装三、启动过程中的问题（1）日志输出（2）日志一直输出
sliver-毛毛·2024-02-02 10:35

ElasticSearch-IK分词器(elasticsearch插件)安装配置和ElasticSearch的Rest命令测试

四、IK分词器(elasticsearch插件)IK分词器：中文分词器分词：即把一段中文或者别的划分成一个个的关键字，我们在搜索时候会把自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一一个匹配操作
666-LBJ-666·2024-02-02 06:52

Java实现全文检索-Solr

SolrVsLucene搭建Solr服务器（Mac系统）Solr搭载IKAnalyer分词器Solr是什么？
cc_smart·2024-02-02 06:26

计算机图形学实验报告几何变换,哈工大威海 计算机图形学实验报告

计算机图形学实验报告实验一、二技术之三维变换计算机图形学基础知识-三维变换变换是计算机图形学中重要概念，包括最基本的三维变换，即几何变换、投影变换、裁剪变换、视口变换。1.从三维空间到二维平面1.1相机模拟在真实世界里，所有的物体都是三维的。但是，这些三维物体在计算机世界中却必须以二维平面物体的形式表现出来。那么，这些物体是怎样从三维变换到二维的呢？下面我们采用相机(Camera)模拟的方式来讲述
寿文彬战略咨询·2024-02-02 01:07

哈工大SCIR | 场景图生成简述

原创作者：梁家锋郑子豪王禹鑫孙一恒刘铭出处：哈工大SCIR进NLP群—>加入NLP交流群1引言场景图是一种结构表示，它将图片中的对象表示为节点，并将它们的关系表示为边。
zenRRan·2024-02-01 15:43

CentOS 7上安装ElasticSearch及Kibana详细步骤

2、新建非root用户，这里以elastic为例，并设置好帐号密码3、ik分词器安装4、在root用户下，修改elasticserch与kibana路径的拥有者5、在root用户下，修改Linux系统的限制配置
Clang的技术博客·2024-02-01 11:22

Centos7 安装elasticsearch

Centos7安装elasticsearch一、安装前需要准备好elasticsearch、ik分词器、kibana的安装包。
南沫木木·2024-02-01 11:21

ElasticSearch案例

一、预期效果在输入框输入关键词的时候，有自动补全功能(此处需要定义一个选择器)，选择要输入的关键词，点击查询(点击查询以后，需要使用到另一个分词器对关键词进行分词)，显示结果注：输入关键词的时候，使用分词器
qq_44209563·2024-02-01 11:20

ElasticSearch分词器插件

中文分词IK分词器IK分词器支持自定义词库，支持热更新分词字典。
qq_44209563·2024-02-01 11:50

ElasticSearch分词器应用

分词器的使用类型为keyword表示不分词，要想分词，字段类型必须为text一、指定分词器设置mapping,新建一个索引article并且指定字段使用的分词器PUTarticle{"mappings"
qq_44209563·2024-02-01 11:50

Elasticsearch：构建自定义分析器指南

在本博客中，我们将介绍不同的内置字符过滤器、分词器和分词过滤器，以及如何创建适合我们需求的自定义分析器。
Elastic 中国社区官方博客·2024-02-01 07:37

ElasticSearch Query查询

1.term查询和terms查询term和terms是包含（contains）操作，而非等值（equals）不知道分词器的存在，所以不会去分词所谓的包含是文档分词结果某个分词是否相等，即文档是否包含这个分词因为是在分词结果中匹配
zfh_51d2·2024-02-01 04:18

elasticsearch的基本使用

添加ik中文分词安装IK分词器插件：下载IK分词器插件，可以从GitHub上的elasticsearch-analysis-ik页面下载最好下载与ES版本相同的IK版本文件。
码农下的天桥·2024-01-31 19:57

详解SpringCloud微服务技术栈：深入ElasticSearch（2）——自动补全、拼音搜索

实现这种功能需要安装拼音分词器，同时我们需要对其进行自定义，然后开始在之前的旅游类项目中增加搜索框自
布布要成为最负责的男人·2024-01-31 09:33

.net core 6 集成 elasticsearch 并 使用分词器

1、nuget包安装NEST、安装elasticsearch、kibana、ik分词器、拼音分词器2、创建操作对象//索引库staticstringindexName="testparticper";/
小费的部落·2024-01-31 07:54

ElasticSearch 集群 7.9.0 linux （CentOS 7部署）包含Mysql动态加载同义词、基础词、停用词，Hanlp分词器，ik分词器，x-pack）

linux服务器配置要求：/etc/sysctl.conf文件最后添加一行vm.max_map_count=262144/sbin/sysctl-p验证是否生效修改文件/etc/security/limits.conf，最后添加以下内容。*softnofile65536*hardnofile65536*softnproc32000*hardnproc32000*hardmemlockunlimit
SunForYou·2024-01-31 02:00

ElasticSearch介绍

ElasticSearch概述索引(Index)类型(Type)文档(Document)字段(Field)映射(Mapping)二、软件安装1、ElasticSearch安装windows环境安装2、kibana安装3、ik分词器安装
不剃度的行者·2024-01-30 20:01

剖析Elasticsearch面试题：分词、倒排索引、文本相似度TF-IDF，揭秘分段存储与段合并，解密写索引技巧，应对深翻页问题的实用解决方案！

以下是一些关键点：分词器（Tokenizer）：Elasticsearch使用
LiuSirzz·2024-01-30 18:09

bert提取词向量比较两文本相似度

使用bert提取词向量下面这段代码是一个传入句子转为词向量的函数fromtransformersimportBertTokenizer,BertModelimporttorch#加载中文BERT模型和分词器
木下瞳·2024-01-30 10:15

安装elasticsearch、kibana、IK分词器

1.部署单点es1.1.创建网络因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络：dockernetworkcreatees-net1.2.加载镜像这里我们采用elasticsearch的7.12.1版本的镜像，这个镜像体积非常大，接近1G。不建议大家自己pull。课前资料提供了镜像的tar包：大家将其上传到虚拟机中，然后运行命令加载即可：#导入数据do
Maiko Star·2024-01-30 08:22

ES6.8.6 分词器安装&使用、查询分词结果（内置分词器、icu、ik、pinyin分词器）

文章目录ES环境默认（内置）分词器standard示例一：英文分词结果示例二：中文分词结果simplewhitespacestopkeywordicu分词器下载&安装方式一：下载压缩包安装方式二：命令行安装确认安装状态方式一
小白说(๑• . •๑)·2024-01-29 11:58

ES6.8.6 创建索引配置分词器、映射字段指定分词器、查询数据高亮显示分词结果（内置分词器、icu、ik、pinyin分词器）

文章目录ES环境内置分词器，以`simple分词器`示例查询创建索引`simple_news`，修改分词器为`simple`插入模拟数据分词查询：返回通过分词查询到的结果、高亮分词分词匹配：写一次示例，
小白说(๑• . •๑)·2024-01-29 11:58

ES6.8.6 为索引映射(Mapping)创建自定义分词器，测试分词匹配效果

文章目录环境创建索引：配置自定义分词器、字段指定分词器自定义分词器参数说明创建索引：`custom_analyzer_comment`使用索引中自定义的分词器进行分词分析自定义分词器`my_custom_analyzer
小白说(๑• . •๑)·2024-01-29 11:26

【AIGC】Diffusers:加载管道、模型和调度程序

扩散系统通常由多个组件组成，例如参数化模型、分词器和调度器，它们以复杂的方式进行交互。
资料加载中·2024-01-29 10:46

ES 分词器

概述分词器的主要作用将用户输入的一段文本，按照一定逻辑，分析成多个词语的一种工具什么是分词器顾名思义，文本分析就是把全文本转换成一系列单词（term/token）的过程，也叫分词。
懒鸟一枚·2024-01-29 09:33

Elasticsearch中的分词器的基本介绍以及使用

目录一、分词器的基本概念二、分词器类别（1）默认分词器（2）IK分词器（3）拼音分词器（4）自定义分词器一、分词器的基本概念在Elasticsearch中，分词器（Tokenizer）是一个用于将文本数据分割成单独的词汇单元的组件
菜到极致就是渣·2024-01-29 09:01

被一位读者赶超，手摸手 Docker 部署 ELK Stack

支持安装ESik分词器。支持离
程序员xysam·2024-01-29 01:19

【深度学习】sdxl中的 tokenizer tokenizer_2 区别

代码仓库：https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main截图：为什么有两个分词器tokenizer和tokenizer
XD742971636·2024-01-28 21:59

如何在docker容器中安装Elasticsearch中的IK分词器

目录（1）准备IK分词器的压缩包（2）进入docker容器（3）移动ik分词器到指定文件夹（4）解压分词器压缩包（5）测试IK分词器是否安装成功（1）准备IK分词器的压缩包压缩包我放在了主页资源上。
菜到极致就是渣·2024-01-28 06:37

如何在docker中安装elasticsearch中的拼音分词器

拼音分词器的安装与IK分词器的安装这篇文章基本上是一样的，不同的是将压缩包插件换成了拼音分词器而已，其余都是一样的。
菜到极致就是渣·2024-01-28 06:33

手写GPT实现小说生成(二)

引言本文开始从零实现GPT1做一个小说续写器，即只需要给出一些文本，让模型帮你续写，主要内容包含：模型编写训练适配小说的中文分词器将小说按固定大小拆分生成数据集拆分训练/测试集训练体验小说续写效果同时结合
愤怒的可乐·2024-01-28 01:25

FinBert模型：金融领域的预训练模型

金融情绪分类实验任务数据集实验结果实验四：金融领域的命名实体识别实验任务数据集结果展示总结FinBERT是熵简科技AILab开源的基于BERT架构的金融领域预训练语言模型，相比于Google发布的原生中文BERT、哈工大讯飞实验室开源
dzysunshine·2024-01-26 08:39
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他