中文分词

自然语言处理学习笔记（二）————语料库与开源工具

目录1.语料库2.语料库建设（1）规范制定（2）人员培训（3）人工标注3.中文处理中的常见语料库（1）中文分词语料库（2）词性标注语料库（3）命名实体识别语料库（4）句法分析语料库（5）文本分类语料库4
阿波拉·2023-08-03 18:19

基于IKAnalyzer lucener的中文分词-java版本

用到2个jar包，本别是lucene-core和IKAnalyzer-lucene，版本号一定要对应，见pox.xml的版本号我这里用的maven仓库地址是：https://maven.aliyun.com/repository/central和https://maven.aliyun.com/repository/publicpox.xml里面的配置如下：com.jianggujinIKAnal
zhaoyang66·2023-08-02 22:51

智能语音系统，AI智能语音怎样设计话术？

相关技术介绍中文分词本文描述的设计思路，可以不需要进行中文分词。当然如果你有合适你开发语言的分词引擎，也可以先分词。
OKCC_kelaile520·2023-08-02 13:23

Haystack + Whoosh + jieba进行全文搜索

中文分词Jieba，由于Whoosh自带的是英文分词，对中文的分词支持不是太好，故
闲鱼!!!·2023-08-02 13:29

jieba分词

jieba（结巴）是一个强大的分词库，完美支持中文分词，本文对其基本用法做一个简要总结。
她即我命·2023-08-02 11:05

【Docker】Docker安装Elasticsearch服务的正确方式

Elasticsearch2.Docker安装Elasticsearch2.1确定Elasticsearch的版本2.2.Docker安装Elasticsearch2.3.给Elasticsearch安装中文分词器
Fire Fish·2023-08-01 21:15

【Docker】Docker安装MySQL、Redis、RabbitMQ、Elasticsearch、Nacos等常见服务（质量有保证，详情讲解）

RabbitMQ2.4.Docker单独安装Elasticsearch2.4.1确定Elasticsearch的版本2.4.2Docker安装Elasticsearch2.4.3给Elasticsearch安装中文分词器
Fire Fish·2023-08-01 21:45

Elasticsearch安装与分词插件、用户词典、同义词配置等

简介本文介绍了全文搜索引擎Elasticsearch的安装过程，以及ik中文分词插件、用户词典、同义词的配置。
lerry_lca·2023-08-01 16:14

开源中文分词Ansj的简单使用

ANSJ是由孙健（ansjsun）开源的一个中文分词器，为ICTLAS的Java版本，也采用了Bigram+HMM分词模型：在Bigram分词的基础上，识别未登录词，以提高分词准确度。
风萧萧1999·2023-08-01 12:12

jieba分词

jieba主要用于Python中文分词，主要有以下3种特性：支持3种分词模式：精确模式、全模式、搜索引擎模式支持繁体分词支持自定义词典#导入jiebaimportjiebaimportjieba.possegaspseg
米小河123·2023-08-01 02:49

文本计算

2.2中文分词分词模式2importjieba#精准模式print("|".join(jieba.cut("今天天气不错,我来到北京野生动物园,在野生动物园看到有很多凶猛的动物",cut_all=False
叫兽吃橙子·2023-07-31 10:53

只需五步 集成新版 Elasticsearch7.9 中文搜索 到你的 Laravel7 项目

只需五步骤：启动集成ik中文分词插件的Elasticsearch7.9Docker镜像Laravel7配置Scout配置Model模型导入数据搜索PHP进阶30K资料,免费获取：【社群福利】30G-PHP
PHP9年架构师·2023-07-30 12:27

java课程设计团队博客《基于学院的搜索引擎》

JAVA课程设计基于学院网站的搜索引擎对学院网站用爬虫进行抓取、建索（需要中文分词）、排序（可选）、搜索、数据摘要高亮、分页显示。Web界面。
dycsy·2023-07-29 08:22

浅谈中文分词与自然语言处理

最近出于兴趣和需要，重新回顾中文分词技术，期间有些心得，以及一些关于自然语言处理的浅薄之见，这里简单分享一下。
iamlightsmile·2023-07-28 05:33

Python文本处理

前言本文主要介绍python文本处理算法代码主要应用和一些基本原理一、常用库1.Jiebajieba是支持中文分词的第三方库。
noobiee·2023-07-27 11:19

28.2 IK分词器

IK分词器在是一款基于词典和规则的中文分词器。1.1Analysis分词Analysis-文本分析是把全文本转换一系列单词的过程，叫分词。
LB_bei·2023-07-26 23:55

ik 分词器怎么调用缓存的词库

IK分词器是一个基于Java实现的中文分词器，它支持在分词时调用缓存的词库。要使用IK分词器调用缓存的词库，你需要完成以下步骤：创建IK分词器实例首先，你需要创建一个IK分词器的实例。
猹里。·2023-07-26 19:30

自然语言处理应用程序设计

原文地址：https://zhanghan.xyz/posts/22426/文章目录一、摘要二、数据集三、相关环境四、功能展示1.系统主界面2.中文分词3.命名实体识别4.文本分类5.文本聚类6.其他界面五
.别拖至春天.·2023-07-26 11:03

【自然语言处理】分词工具与问答系统

Part1:搭建一个分词工具Part1.1基于枚举方法来搭建中文分词工具此项目需要的数据：综合类中文词库.xlsx：包含了中文词，当做词典来用以变量的方式提供了部分unigram概率word_prob举个例子
孟知之·2023-07-25 19:10

docker容器里，给Elasticsearch卸载x-pack插件，安装ik中文分词插件

卸载x-pack插件，安装ik普通环境查看安装了哪些插件卸载x-pack安装ikdocker容器里普通环境查看安装了哪些插件./bin/elasticsearch-pluginlist卸载x-pack./bin/elasticsearch-pluginremovex-pack原因：x-pack是收费的，而且费用很高（一年几十万），生产环境无法承担如此费用，弃用。安装ik./bin/elastics
坚持是一种态度·2023-07-24 22:22

Elasticsearch/Enterprise Search/Kibana安装记录

安全功能重新配置节点以加入现有集群启用系统索引的自动创建功能运行Elasticsearch(在systemd下)检查Elasticsearch是否正在运行Elasticsearch配置外网访问第三方包安装elasticsearch-analysis-ik中文分词
雪球干死黄旭东·2023-07-24 16:35

Java分词工具：word

word分词器主页：https://github.com/ysc/wordword分词是一个Java实现的中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。
进击的小鹿·2023-07-24 10:48

Springboot 整合Elasticsearch

Elasticsearch6.2.2的zip包，并解压到指定目录，下载地址：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-6-2-2安装中文分词插件
盼旺·2023-07-23 06:46

数据处理轻松搞定：如何利用PaddleNLP高效处理大规模文本数据

目录前言一、paddleNLP介绍、特性1-1、介绍1-2、特性介绍二、paddleNLP安装三、PaddleNLP一键使用3-1、中文分词3-2、词性标注3-3、命名实体识别3-4、依存句法分析（DDParser
ㄣ知冷煖★·2023-07-20 05:37

对中国四大名著--红楼梦 使用jieba进行分词处理 排除去停词 统计完整词频并按降序排列 前20词绘制词云图

jieba是目前表现较为不错的Python中文分词组件,并且有:支持四种分词模式：精确模式全模式搜索引擎模式p
小唐YiJiaTang·2023-07-19 10:22

Elasticsearch的插件和扩展有哪些？如何使用和开发插件？Elasticsearch的性能调优有哪些经验和技巧？

以下是一些常见的插件和扩展：分析器插件：用于自定义文本分析的行为，如中文分词器、同义词扩展等。运维管理插件：用于集群监控、性能调优、日志管理等，如Elasticsearch-HQ、Kopf等。
luoluoal·2023-07-19 07:24

中文分词入门：使用IK分词器进行文本分词（附Java代码示例）

1.介绍中文分词是将连续的中文文本切分成一个个独立的词语的过程，是中文文本处理的基础。IK分词器是一个高效准确的中文分词工具，采用了"正向最大匹配"算法，并提供了丰富的功能和可定制选项。
程序员-小李·2023-07-18 14:07

Python可视化单词统计词频统计中文分词的实现步骤

目录可视化单词统计词频统计中文分词项目架构新建文件单词计数全文单词索引中文分词统计词频源代码可视化单词统计词频统计中文分词项目架构新建一个文件，输入文件的内容，查询此文件中关键字的出现的次数，关键字出现的位置
·2023-07-18 09:30

Python结巴中文分词笔记

jieba库基本介绍jieba库概述Jieba是一个流行的中文分词库，它能够将中文文本切分成词语，并对每个词语进行词性标注。
逸峰轻云·2023-07-16 04:41

SpringBoot 整合 Elasticsearch （超详细）

超详细）注意：1、环境搭建安装esElasticsearch6.4.3下载链接为了方便，环境使用Windows配置解压后配置找到config目录的elasticsearch.yml分词器默认的Es是不支持中文分词的
look-word·2023-07-15 10:46

Django_haystack全文搜索

jieba是一款免费的中文分词包，如
bug捕手·2023-07-14 23:12

Elasticsearch入门

可以提供实时的搜索服务：可以提供实时的搜索服务便于水平扩展，每秒可以处理PB级海量数据：集群式部署，可以加服务器Elasticsearch术语索引、类型、文档、字段集群、节点、分片、副本下载Es将Es加入到zshrc中中文分词插件下载
back2childhood·2023-07-14 07:24

文本分析-使用Python做词频统计分析

如果文章对你有帮助的话，欢迎评论点赞收藏加关注+前言前面我们已经介绍了文本分析中的中文分词和去除停用词，这篇文章将详细介绍分词后如何进行词频统计分析。
艾派森·2023-06-23 14:24

Java 结合中文分词库 jieba 统计一堆文本中各个词语的出现次数【代码记录】

文章目录1、需求2、代码3、结果1、需求2、代码packagecom.zibo.main;importcom.huaban.analysis.jieba.JiebaSegmenter;importjava.io.BufferedReader;importjava.io.FileReader;importjava.io.IOException;importjava.util.HashMap;impo
訾博ZiBo·2023-06-23 07:41

【ElasticSearch】中文分词器

ES默认的analyzer（分词器），对英文单词比较友好，对中文分词效果不好。不过ES支持安装分词插件，增加新的分词器。1、如何指定analyzer？
迪迪迦·2023-06-23 05:16

Elasticsearch分词器

前奏es的chinese、english、standard等分词器对中文分词十分不友好，几乎都是逐字分词，对英文分词比较友好。
metabit·2023-06-22 15:59

NLP的学习

尽管现在NLP中有很多算法以字来切分，比如bert，中文分词仍然是NLP中很重要、很基础的一块工作。3.分词工具目前，已经有许多开源的中文分词工具，比如
心海泪雨·2023-06-22 13:09

python 基础知识：使用jieba库对文本进行分词

Python的jieba库是一个中文分词工具，它可以将一段中文文本分割成一个一个的词语，方便后续的自然语言处理任务，如文本分类、情感分析等。
茜茜是帅哥·2023-06-22 06:46

自然语言处理(NLP)之pyltp的介绍与使用(中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注)

它提供的功能包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等。pyltp是LTP的Python封装，同时支持Python2和Python3版本。
IT之一小佬·2023-06-21 00:35

【无标题】

快速上手githubltpLTP4PYLTP（目前版本0.4）NLP入门学习3——句法分析（基于LTP4）哈工大语言云平台LTP的安装和Python使用自然语言处理(NLP)之pyltp的介绍与使用(中文分词
xiao助阵·2023-06-21 00:02

Python制作词云图

fromlxmlimportetree#页面解析包importwordcloud#词云图包importmatplotlib.pyplotasplt#画图包fromPILimportImage#图片处理包importjieba#中文分词
Tokiea·2023-06-20 00:33

Helm3-安装带有ik分词的ElasticSearch

前言上一篇写了Helm3安装ElasticSearch和Kibana，但是发现没有安装ik中文分词，于是在此基本上操作如何安装带有ik分词的elasticsearch分享给大家。
·2023-06-18 15:40

python做马尔科夫模型预测法_Python实现HMM（隐马尔可夫模型）

1.前言隐马尔科夫HMM模型是一类重要的机器学习方法，其主要用于序列数据的分析，广泛应用于语音识别、文本翻译、序列预测、中文分词等多个领域。
weixin_39807954·2023-06-18 14:40

全文搜索引擎 Elasticsearch 入门使用

目录1、安装2、基本概念2.1Node与Cluster2.2Index2.3Document2.4Type3、新建和删除Index4、中文分词设置5、数据操作5.1新增记录5.2查看记录5.3删除记录5.4
十&年·2023-06-17 08:48

总结——》【Elasticsearch】

-14Elasticsearch——》es近义词(同义词)配置42020-09-14Elasticsearch——》测试：es近义词(同义词)配置52020-09-14Elasticsearch——》中文分词器插件
小仙。·2023-06-15 16:06

ElasticSearch核心详解、文档、查询响应、分页、映射、结构化查询

指定响应字段判断文档是否存在批量操作批量查询_bulk操作分页映射创建明确类型的索引：测试搜索结构化查询term查询terms查询range查询exists查询match查询bool查询过滤查询查询和过滤的对比中文分词什么是分词分词
生夏夏夏·2023-06-15 13:07

PaddleNLP通用信息抽取技术UIE【一】产业应用实例：信息抽取{实体关系抽取、中文分词、精准实体标。情感分析等}、

ErnieGram+CRF预训练模型3.快递单信息抽取【三】--五条标注数据提高准确率，仅需五条标注样本，快速完成快递单信息任务1）PaddleNLP通用信息抽取技术UIE【一】产业应用实例：信息抽取{实体关系抽取、中文分词
·2023-06-14 16:34

solr快速上手：配置IK中文分词器（七）

0.引言solr作为搜索引擎，常用在我们对于搜索速度有较高要求且大数据量的业务场景，我们之前已经配置过英文分词器，但是针对中文分词不够灵活和实用，要实现真正意义上的中文分词，还需要单独安装中文分词器solr
wu@55555·2023-06-14 03:57

【Python】文本数据可视化——词云【谦友限定版】

目录一、四个做词云需要的库1.wordcloud库（词云库-可智能进行分词和词频统计）2.imageio库（可读取外部词云形状图片）3.jieba库（中文分词库）4.matplotlib库（绘图库）python
DreamH.·2023-06-13 04:14

推荐一款优秀电商开源项目

RedisSearch：支持中文分词搜索，支持商品名称
·2023-06-12 18:56
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他