E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
pinyin分词器
Elasticsearch自带分词查询及使用
分词器
查询
索引的增删改查,及文档的增删改查#创建一个索引库PUT/my_indexDELETE/my_indexPUT/my_index{"settings":{"number_of_shards":5,"number_of_replicas":1}}GET/my_indexPUT/my_index1{"mappings":{"properties":{"id":{"type":"long"},"name"
Ulrica_Li
·
2023-10-01 01:17
elasticsearch
【通意千问】大模型GitHub开源工程学习笔记(3)-- 通过Qwen预训练语言模型自动完成给定的文本
它的步骤如下:使用已加载的
分词器
tokenizer对输入文本进行处理,转换为模型可以理解的格式。输入文本是国家和首都的信息,最后一句是未完成的,需要模型来生成。
大表哥汽车人
·
2023-09-30 05:23
通意千问大语言模型学习笔记
github
学习
笔记
语言模型
人工智能
小程序楼层索引,将汉字转换为拼音并以首字母排序
1、根据正则码校验汉字对应的拼音;exportdefault{
pinyin
:{"a":"\u554a\u963f\u9515","ai":"\u57c3\u6328\u54ce\u5509\u54c0\
刺客-Andy
·
2023-09-29 10:04
小程序
小程序
javascript
node.js
安卓启动流程(三) - tokenizer
分词器
tokenizer
分词器
,是Parser解析工具的核心逻辑工具,主要工作是将rc文件的字符串分解出令牌和单词。
七零八落问号
·
2023-09-29 08:49
Java项目-文件搜索工具
目录项目背景项目效果SQLite的下载安装使用JDBC操作SQLite第三方库
pinyin
4jpinyin4j的具体使用封装
pinyin
4j数据库的设计创建实体类实现DBUtil封装FileDao设计scan
正经程序猿
·
2023-09-29 08:48
java
开发语言
记录ubuntu启动卡在logo界面有鼠标进不了桌面的经历,以及安装ubuntu踩的坑
然后就是这次安装完,我感觉和之前不一样,就是之前不知道为什么安装完会有
pinyin
,双拼,五笔,和搜狗有没有关系我也不知道。安装完之后,这个只有一个我忘了是
pinyin
还是不是,但是我试了试可以用。
鱼小丸
·
2023-09-28 06:21
ubuntu
linux
服务器
ElasticSearch - 基于 拼音
分词器
和 IK
分词器
模拟实现“百度”搜索框自动补全功能
目录一、自动补全1.1、效果说明1.2、安装拼音
分词器
1.3、自定义
分词器
1.3.1、为什么要自定义
分词器
1.3.2、
分词器
的构成1.3.3、自定义
分词器
1.3.4、面临的问题和解决办法问题解决方案1.4
陈亦康
·
2023-09-28 06:07
ElasticSearch
elasticsearch
大数据
搜索引擎
linux es head插件,ES安装插件(elasticsearch-head)
:命令行bin/elasticsearch-plugininstall[plugin_name]#bin/elasticsearch-plugininstallanalysis-smartcn安装中文
分词器
第二种
爆燃·火星
·
2023-09-27 23:09
linux
es
head插件
利用sentencepiece训练中文
分词器
,并与LLaMA
分词器
合并
零、数据下载、处理#!/usr/bin/envpython#-*-coding:utf-8_*-"""@description:搜集多个数据集合并数据集todo"""importglobfromtqdmimporttqdmimportjsonimportjsonimportosfromtqdmimporttqdmfromzhconvimportconvert#===================
u013250861
·
2023-09-27 14:21
大模型(预训练模型)
中文分词
llama
自然语言处理
pinyin
-match选择器拼音快速检索目标
npm地址:https://www.npmjs.com/package/
pinyin
-match选择器拼音快速检索目标(
pinyin
-match)一.使用方法二.使用实例三.实现效果一.使用方法安装
pinyin
-match
前端鼓励师
·
2023-09-27 09:36
elementsui
javascript
前端
性能优化
es6
spring cloud 整合elasticsearch 创建索引支持ik中文分词和拼音分词
springcloudGreenwich.SR6、springboot2.1.9、elasticsearch-7.5.0(整合ik,拼音分词)下载elasticsearch:官网:下载Elastic产品|Elastic如果不想自己集成
分词器
或者官网下载太慢可通过这个地址下载
玖伍小伙子
·
2023-09-27 08:05
elasticsearch
elasticsearch
大数据
big
data
debian 10 buster 安装配置 elastic search 和 中文, 拼音分词
debian10buster安装配置es和中文,拼音分词安装测试配置分词IK
分词器
拼音分词一个完整的动态映射模板(包含geo,
pinyin
,IK)安装1,安装java8mkdir/usr/java&&tar-zxvfjdk
rainysia
·
2023-09-27 08:34
ELK
elasticsearch
es
debian
10
IK
分词
拼音分词
Elasticsearch 在bool查询中使用
分词器
1.创建索引testsetting和mappings设置了自定义分词映射规则。PUT/test{"settings":{"analysis":{"filter":{"my_synonym":{"type":"synonym","updateable":true,"synonyms_path":"dic/synonyms.txt"}},"analyzer":{"my_analyzer":{"toke
IT贫道
·
2023-09-27 08:02
Elasticsearch
elasticsearch
大数据
基于bert-base-chinese的二分类任务
使用hugging-face中的预训练语言模型bert-base-chinese来完成二分类任务,整体流程为:1.定义数据集2.加载词表和
分词器
3.加载预训练模型4.定义下游任务模型5.训练下游任务模型
失眠的树亚
·
2023-09-26 23:30
预训练语言模型
bert
分类
python
Docker中Ubuntu容器支持中文
执行以下命令:apt-getupdateapt-getinstall-ylanguage-pack-zh-hansibus-
pinyin
这将更新软件包列表并安装简体中文语言包和拼音输入法包。
XiaoMin@
·
2023-09-26 05:04
Python
docker
ubuntu
容器
ElasticSearch-索引和文档的创建修改删除
目录一、创建索引二、查看索引三、索引是否存在四、删除索引五、创建文档六、查看文档七、更新文档八、文档是否存在九、删除文档一、创建索引#创建一个默认的索引,默认是标准
分词器
的索引PUT/es_db2#创建一个默认为
才_先生
·
2023-09-25 23:20
ElasticSearch
elasticsearch
搜索引擎
java
Elasticsearch与Linux(第五天)-安装中文
分词器
所需环境mavenelasticsearch-analysis-ik一.安装maven1.下载地址:maven2.移动maven至/usr/localmv~/apache-maven-3.5.4-bin.tar.gz/usr/local/cd/usr/local/tar-zxvfapache-maven-3.5.4-bin.tar.gzmvapache-maven-3.5.4maven33.配置全
vientof
·
2023-09-25 01:01
elasticsearch
elasticsearch
Centos7安装Elasticsearch
Elasticsearch1.安装java环境如果有openjdk可以不安装ES-7.15.2链接:https://pan.baidu.com/s/1O6eO8bauGr9JyGI9rUSDFw提取码:empaIK
分词器
链接
秦六千
·
2023-09-24 22:20
elasticsearch
java
linux
CentOS7 使用Yum安装ElasticSearch、Kibana并配置IK
分词器
1.使用yum源安装elasticsearch#安装Java环境yuminstall-yjava-1.8.0-openjdk-devel.x86_64#配置Java环境变量vim/etc/profile#在文件末尾追加exportJAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64exportCLASSPATH
LonLoc
·
2023-09-24 22:20
elasticsearch
linux
大数据
ElasticSearch - 基于 docker 部署 es、kibana,配置中文
分词器
、扩展词词典、停用词词典
目录一、ElasticSearch部署1.1、创建网络1.2、加载镜像1.3、运行1.4、检查是否部署成功二、部署Kibana2.1、加载镜像2.2、运行三、部署IK
分词器
3.1、查看数据卷目录3.2、
陈亦康
·
2023-09-24 22:41
ElasticSearch
elasticsearch
docker
中文分词
07_ElasticSearch:倒排序索引与分词Analysis
2.1创建倒排索引2.2倒排索引搜索三、Analysis进行分词3.1Analyzer由三部分组成3.2Analyzer分词过程简介1)字符过滤器characterfilter2)
分词器
tokenizer3
吴法刚
·
2023-09-24 09:16
#
ES
elasticsearch
大数据
搜索引擎
Docker部署ElasticSearch数据库+analysis-ik
分词器
插件
文章目录一、部署ElasticSearch数据库二、添加
分词器
插件(analysis-ik)三、测试ElasticSearch数据库+analysis-ik
分词器
插件一、部署ElasticSearch数据库
神奇的海马体
·
2023-09-24 06:07
#
1-Docker容器
docker
elasticsearch
数据库
java获取中文拼音
要在Java中获取中文拼音,您可以使用第三方库,如
Pinyin
4j或HanyuPinyin。以下是使用
Pinyin
4j库的示例代码:首先,需要下载并添加
Pinyin
4j库到您的Java项目中。
猫一样的女子245
·
2023-09-23 22:06
java
python
开发语言
pinyin
4j拼接用户姓名拼音和首字字符
需求:将用户名称转换成"拼音+首字母"例如:孙悟空转成“sunwukong^swk”核心代码:packagecom.jjwc.workflow.utils;importnet.sourceforge.
pinyin
4j.PinyinHelper
kaka_1994
·
2023-09-23 16:05
java
算法
开发语言
php 中文转拼音最全字符集函数(包含20902个基本汉字+5059生僻字)
php/*测试用例$start_time=microtime(1);var_dump(Str2PinyinService::
pinyin
('对多音字无能为力'));var_dum
hzbigdog
·
2023-09-23 14:47
PHP
yum 快速安装zookeeper、Kafka集群部署 es安装 logstash安装 kibina
分词器
redis
Zookeeper安装Kafka是基于Zookeeper来实现分布式协调的,所以在搭建Kafka节点之前需要先搭建好Zookeeper节点。而Zookeeper和Kafka都依赖于JDK,我这里先安装好了JDK:安装jdkyuminstalljava-1.8.0-openjdk*-y1[root@192.168.99.4~]#java--versionjava11.0.52019-10-15LTS
百里晓生
·
2023-09-23 06:27
zookeeper
kafka
elasticsearch
【LLM系列之Tokenizer】如何科学地训练一个LLM
分词器
1背景与基础1.1为什么需要分词对于人而言,在我们学会阅读之前,仍然可以理解语言。比如当你开始上学时,即使你不知道名词和动词之间的区别,但是你已经可以和你的同学交谈了,比如“我喜欢吃香蕉”,孩子对于这些虽然不清楚,但是知道是什么意思的。在此刻,我们学会了把语音/语言变成一种书面语言,这样你就可以读写了。一旦你学会了将文本转换为声音,你就可以回忆使用之前学过的词义库。计算机(即语言模型(LM)或查找
致Great
·
2023-09-23 03:45
人工智能
深度学习
自然语言处理
Java中根据中文汉字获取首字母
目录1、引入依赖2、代码实现3、功能测试1、引入依赖在Java中想要实现根据中文汉字获取首字母的功能有两种途径,分别是使用第三方库
Pinyin
4j和Java自带的RuleBasedCollator类实现
想养一只!
·
2023-09-22 20:58
项目开发
java
java中获取中文首字母
ElasticSearch match, match_phrase, term区别
转自https://www.cnblogs.com/buxizhizhoum/p/9874703.html1.term结构化字段查询,匹配一个值,且输入的值不会被
分词器
分词。
小周周i
·
2023-09-21 11:28
Elasticsearch 入门 索引、
分词器
存储时是否启用
分词器
,会影响查询效果match_phase对输入分词,但要求查询时将每个term都搜到,且顺序一致。match是对输入分词,只要文档包含了查询的一部分条件,都可以被返回。
Melody2050
·
2023-09-21 11:23
后端
elasticsearch
ElasticSearch(二)
例如:match_all全文检索(fulltext)查询:利用
分词器
对用户输入内容分词,然后去倒排索引库中匹配。例如:
真滴book理喻
·
2023-09-21 02:55
#
ElasticSearch
elasticsearch
django
大数据
linux搭建单机ES,集成ik
分词器
,文本抽取,Kibana可视化平台
Elasticsearch单机(Linux)准备工作第一项:创建运行Elasticsearch和Kibana专用的普通用户,因为elasticsearch和kibana不允许使用root用户启动,所以需要创建新用户启动。linux用root权限创建一个用户赋权即可,注意权限要给足第二项(启动没有报相关错误此项可以不做调整):设置linux的虚拟内存vim/etc/sysctl.conf修改参数(自
命运本如此,莫问何所以
·
2023-09-21 00:20
ES
linux
elasticsearch
kibaba
ik
微调预训练模型huggingface,transformers
fromdatasetsimportload_datasetdataset=load_dataset("yelp_review_full")dataset["train"][100]如您现在所知,您需要一个
分词器
来处理文本
CCCS实验室L&Y
·
2023-09-20 16:44
深度学习
机器学习
python
软件安装 | SolidWorks2016软件安装,SW2010-2016.Activator.GUI.SSQ激活闪退解决办法
软件环境解决办法:1.下载微软运行库https://cnwy.lanzoui.com/ixqyEqs0k2b2.下载QQ拼音输入法http://qq.
pinyin
.cn/3.将SW2010-2016.Activator.GUI.SSQ
指针不南
·
2023-09-20 07:31
软件安装问题
Elasticsearch下的kibana和
分词器
(ik)
安装KibanaKibana是ES的可视化管理工具.1下载安装包一定和ES的版本一致(5.6.10)https://www.elastic.co/downloads/kibana.2安装解压到安装目录即可.3配置在config/kibana.yml中配置elasticsearch.url的值为ES的访问地址image.4启动./bin/kibana访问地址:http://localhost:560
小小知识分子
·
2023-09-20 01:04
python通过xpinyin和pypinyin进行汉字转拼音
常用的包是pypinyin和xpinyin这两个哈1、xpinyin包fromxpinyinimportPinyinp=
Pinyin
()#实例拼音转换对象re1=p.get_
pinyin
('小姐姐真可爱
LMY的博客
·
2023-09-18 18:40
python练手小项目
python
Debian9 使用 ibus+
pinyin
参考:https://www.cnblogs.com/atyou/archive/2013/03/16/2963181.htmlaptinstallibusibus-clutteribus-gtkibus-gtk3ibus-qt4ibus-pinyinibus-daemon
神所罗宾汉
·
2023-09-18 16:40
ElasticSearch--Field的使用
的属性介绍三、常用的Field类型(一)text文本字段(二)keyword关键字字段(三)date日期类型(四)Numeric类型四、Field属性的设置标准一、Field的介绍上周的一篇文章说了IK
分词器
的安装
JAVA贩卖机
·
2023-09-18 15:33
java
数据库
全文检索
elasticsearch
搜索引擎
iOS 获取汉字的拼音
+(NSString*)transform:(NSString*)chinese{//将NSString装换成NSMutableStringNSMutableString*
pinyin
=[chinesemutableCopy
junedeyu
·
2023-09-18 14:08
IKAnalyzer2012FF_u1.jar 以及
PinYin
4J 使用出现的问题
1.jar包不存在于maven仓库需要添加到仓库中或者使用本地依赖。org.wltea.ik-analyzerik-analyzer2012FF_u1system${basedir}/src/main/webapp/WEB-INF/lib/IKAnalyzer2012FF_u1.jar-->C:/Users/Administrator/Desktop/ik/IKAnalyzer2012FF_u1.
YangFanJ
·
2023-09-18 05:55
异常
异常处理
solr
CentOS8提高篇1:CentOS安装中文输入法
yuminstallibus-libpinyin若执行完成提示如下则说明系统中已经安装输入法,此时只需启用输入法设置即可2、启用拼音输入法应用程序->系统工具->设置->Region&Language出现如下图所示对话框,点击“+”添加输入法(如
pinyin
北方的流星
·
2023-09-17 10:34
服务器搭建
centos
linux
运维
es的ik
分词器
测试命令记录
查看分词效果POST_analyze{"analyzer":"ik_max_word","text":["郭奶奶去买菜"]}创建索引,为字段title指定索引分词PUTik_index{"mappings":{"properties":{"id":{"type":"long"},"title":{"type":"text","analyzer":"ik_max_word"}}}}查看索引映射情况G
木木呦
·
2023-09-17 03:41
四.IK
分词器
针对词条查询(TermQuery),查看默认中文
分词器
的效果:[itstar@hadoop105elasticsearch]$curl-XGET'http://hadoop105:9200/_analyze
临时_01e2
·
2023-09-16 23:20
Vue - 选择器拼音快速检索目标(
pinyin
-match)
npm地址:https://www.npmjs.com/package/
pinyin
-match选择器拼音快速检索目标(
pinyin
-match)一.使用方法二.使用实例三.实现效果一.使用方法安装
pinyin
-match
Jie_1997
·
2023-09-16 05:31
#
Vue__插件
依赖的使用
vue.js
uni-app 实现自定义按 A~Z 排序的通讯录(字母索引导航)
(){letPinyin=function(ops){this.initialize(ops);},options={checkPolyphone:false,charcase:"default"};
Pinyin
.fn
UserGuan
·
2023-09-16 03:19
uni-app
uni-app
ElasticSearch
文章目录一、引言1.1海量数据1.2全文检索二、ES概述2.1ES的介绍2.2ES的由来三、ElasticSearch安装3.1安装ES&Kibana3.2安装IK
分词器
四、ElasticSearch基本操作
荭色海湾
·
2023-09-16 00:29
ElasticSearch
elasticsearch
大数据
搜索引擎
Ubuntu10.04中文输入法ibus最新稳定版本ibus-
pinyin
1.37
Ubuntu10.04中文输入法ibus最新稳定版本ibus-
pinyin
1.37此版本较上一版本主要的改进有:1.增加Ctrl+Shift+F切换简体中文和繁体中文的切换2.输入法启动时可设置拼音输入法的优先级
hiwb
·
2023-09-15 05:19
Linux
输入法
ubuntu
keyboard
system
button
input
部署ik
分词器
部署ik
分词器
案例版本:elasticsearch-analysis-ik-8.6.2ES默认自带的
分词器
对中文处理不够友好,创建倒排索引时可能达不到我们想要的结果,然而IK
分词器
能够很好的支持中文分词因为是集群部署
CodeStarNote
·
2023-09-14 19:12
elasticsearch
jenkins
运维
linux
excel 汉字转拼音
+F11进入VBA(2)点击插入——模块(3)复制以下代码Functionpinyin(pAsString)AsStringi=Asc(p)SelectCaseiCase-20319To-20318:
pinyin
CodeStarNote
·
2023-09-14 19:42
excel
Docker安装Elasticsearch 8.x 、Kibana 8.x等
1.下载ik
分词器
插件下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v8.2.0/elasticsearch-analysis-ik
世代农民
·
2023-09-14 05:54
Elasticsearch
elasticsearch
kibana
elasticsearch
8
es-head
ik
上一页
8
9
10
11
12
13
14
15
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他