中文分词

python 词云模块：wordcloud

word_cloud/https://github.com/amueller/word_cloudPython词云wordcloud十五分钟入门与进阶python词云wordcloud入门Python中文分词
领悟悟悟·2021-04-26 10:13

pkuseg的自定义词库过大会导致出现严重的分词BUG？

1.背景说明【前情提要】怀着异常激动的心情测试了一下北大刚发布的中文分词库,然后加载了之前整理的自定义词汇,发现出现了很严重的分词问题，希望有人能帮忙解决。
9b9f7192095b·2021-04-25 10:22

机器学习总结

在特征工程中的应用三.神经网络（深度学习）四.反向传播与梯度下降五.聚类算法六.机器学习：样本分布不均衡问题的处理1.对正样本过采样---容易造成过拟合2.对负样本欠采样---容易丢失重要信息3.调整权重七.jieba中文分词八
Alex_81D·2021-04-22 14:18

自然语言理解与处理对语义挖掘的影响

但是基于关键字索引的工具已经越来越无法满足用户的需求，相反用户更希望计算机能理解句子的意思以帮助我们更好的处理信息和组织信息，这就需要自然语言处理技术来解决，例如中文分词、词性标注、句法分析、依存关系分析
飞狐_018c·2021-04-21 06:57

Python 分词工具大总结，盘点哪个更好用？

比如从一篇文章自动提取关键词就需要用到分词工具，中文搜索领域同样离不开分词Python中有很多开源的分词工具，下面给大家介绍几款常见的分词依赖库1.jieba分词“结巴”分词，GitHub最受欢迎的分词工具，立志做最好的Python中文分词组件
菜鸟学Python·2021-04-20 08:18

一个非常hao用的elasticsearch中文分词器插件 HaoAnalyzer

首先上地址elasticsearch(es)hao分词器中文分词器elasticsearch-analysis-haoESHAO分词器简介如何开发一个ES分词插件请参考这里主要参考了IK和HanLP其中有的源码是直接搬运的
tenlee·2021-04-19 21:33

elasticsearch之八分词器

个人专题目录1.中文分词器IK分词器1.1分词器analyzer什么是分词器analyzer分词器是一个字符串解析拆分工具。
Java及SpringBoot·2021-04-18 21:43

ICTCLAS中文分词器（现在叫nlpir）

ICTCLAS（现在叫nlpir）是中科院张华平博士开发中文分词器。
sennchi·2021-04-18 12:12

Elasticsearch中文分词器IK

引言问什么要使用分词器？这个问题可能就要牵扯到倒排索引这个概念，那什么是倒排索引呢？倒排索引（英语：Invertedindex），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。有两种不同的反向索引形式：一条记录的水平反向索引（或者反向档案索引）包含每个引用单词的文档的列表。一个单词
章鹏晖·2021-04-18 11:47

简述python四种分词工具,盘点哪个更好用?

比如从一篇文章自动提取关键词就需要用到分词工具，中文搜索领域同样离不开分词Python中有很多开源的分词工具，下面给大家介绍几款常见的分词依赖库1.jieba分词“结巴”分词，GitHub最受欢迎的分词工具，立志做最好的Python中文分词组件
·2021-04-17 20:15

Elasticsearch系列-Analyzer分词

Elasticsearch系列-Analyzer分词Analysis与AnalyzerAnalyzer的组成ES的内置分词器中文分词器AnalyzerAPI结语Analysis与AnalyzerAnalysis
Layne_lei·2021-04-15 15:04

ElasticSearch 中文分词器

常用的中文分词器SmartChineseAnalysis:官方提供的中文分词器,不好用。
__元昊__·2021-04-15 10:53

Elasticsearch 中文分词器插件

1、为什么需要中文分词器插件先使用Kibana测试ES默认分词器对英文的处理：GET_analyze{"text":"HelloWorld"}结果如下：所以ES默认分词器对英文
SheHuan·2021-04-13 07:51

ElasticSearch 如何使用 ik 进行中文分词？

ElasticSearch如何在数据存储方面支持全文搜索和复杂条件查询，本篇文章则着重分析ElasticSearch在全文搜索前如何使用ik进行分词，让大家对ElasticSearch的全文搜索和ik中文分词原理有一个全面且深入的了解
·2021-04-13 02:59

ElasticSearch 如何使用 ik 进行中文分词？

ElasticSearch如何在数据存储方面支持全文搜索和复杂条件查询，本篇文章则着重分析ElasticSearch在全文搜索前如何使用ik进行分词，让大家对ElasticSearch的全文搜索和ik中文分词原理有一个全面且深入的了解
·2021-04-13 02:47

python 爬关键词,Python爬虫实战：爬取微博热搜关键词

一、爬取微博热搜关键词需要的第三方库1、requests2、BeautifulSoup美味汤3、worldcloud词云4、jieba中文分词5、matplotlib绘图二、爬取微博热搜关键词代码示例importrequestsimportwordcloudimportjiebafrombs4importBeautifulSoupfrommatplotlibimportpyplotaspltfro
努力奋斗的Brian·2021-03-25 17:58

Lucene&ElasticSeach

如何实现全文检索1.5全文检索的应用场景2Lucene实现全文检索的流程说明2.1索引和搜索流程图2.2创建索引2.3倒排索引3Lucene实战3.1需求说明3.2准备开发环境3.3创建索引3.4查询索引3.5中文分词器的使用
m0_46337171·2021-03-20 17:43

【数据可视化】利用WordCloud制作词云（2021-03-20）

利用wordcloud制作词云1.jieba分词链接：https://github.com/fxsjy/jieba“结巴”中文分词是一个使用起来非常方便的Python中文分词组件。
中传男明星皮皮·2021-03-20 15:19

ElasticSearch分词器

对英文单词可以正常分词，对中文分词不友好，会将中文分词为一个个单个字符。
水煮鱼又失败了·2021-03-15 22:40

ElasticSearch搜索引擎入门与实战

级海量数据基本术语索引、类型、文档、字段—对应数据库表行列集群、节点、分片、副本在es6.x以后，类型将被废弃索引直接与关系型数据库的表对应项目使用的是springboot2.1.5，所以es需要使用6.4.3安装es中文分词插件
w2cs·2021-03-12 11:15

Solr中文排序问题/分词搜索问题

现象描述图片.png如图，搜索全脂奶粉，脱脂奶粉排名却比较靠前2.问题分析图片.pngsolr中文分词粒度过细（左图为建表索引时的分词，右图为查询时的分词）3.解决过程ik分词器对中文分词效果较好，但现在已经停止更新
Martin_阿锤·2021-03-10 21:34

docker搭建Elasticsearch-ik中文分词器- 安装Kibana Java中使用

前言：Elasticsearch是一个开源的搜索引擎，建立在一个全文搜索引擎库ApacheLucene™基础之上。Lucene可以说是当下最先进、高性能、全功能的搜索引擎库—无论是开源还是私有。但是Lucene仅仅只是一个库。为了充分发挥其功能，你需要使用Java并将Lucene直接集成到应用程序中。更糟糕的是，您可能需要获得信息检索学位才能了解其工作原理。Lucene非常复杂。Elasticse
　 T·2021-02-21 23:46

Python爬虫分析微博热搜关键词

1，使用到的第三方库requestsBeautifulSoup美味汤worldcloud词云jieba中文分词matplotlib绘图2，代码实现部分importrequestsimportwordcloudimportjiebafrombs4importBeautifulSoupfrommatplotlibimportpyplotaspltfrompylabimportmpl
北晨lpl·2021-02-18 22:31

Python爬取豆瓣电影评论，并用词云显示

爬取豆瓣电影评论，并用词云显示1、分析我们打开豆瓣网站，随便搜索一部电影，到详情页，这是我们观察地址后面这一串数字就是这部电影的id2、需要用到的库1、requests库，最经典的爬虫库2、jieba库，经典的中文分词库
Lexi_Alexander·2021-02-17 20:30

文本特征抽取TfidfVectorizer(特征工程之特征提取)

二、TfidfVectorizer1.TFIDF原理2.TfidfVectorizer()使用使用举例总结前言本文以jieba给中文分词之后再用CountVectorizer提取特征不足之处为引例，用了一种更加合理的文本抽取方法
不懂六月飞雪·2021-02-16 01:01

ElasticSearch 基本使用参考

欢迎关注文章目录ElasticSearch创建索引删除索引新增数据更新数据删除获得数据DSL搜索复杂查询(例如：大于30且为男性)全文检索高亮显示聚合(分组)指定字段查询批量获得批量操作添加分页映射结构化查询中文分词全文搜索权重创建索引请求地址
善良的牙膏·2021-02-03 14:56

自然语言处理系列十一》中文分词》规则分词》正向最大匹配法、逆向最大匹配法、双向最大匹配法

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《分布式机器学习实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列十一规则分词正向最大匹配法逆向最大匹配法双向最大匹配法总结自然语言处理系列十一规则分词规则分词是基于字典、词库匹配的分词方法（机械分词法），其实现的主要思想是：切分语句时，将语句特定长的字符串与字典进行匹配，匹配成功就进行切分。
陈敬雷-充电了么-CEO兼CTO·2021-02-02 18:19

自然语言处理系列十》中文分词》规则分词》双向最大匹配法

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《分布式机器学习实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列十规则分词双向最大匹配法总结自然语言处理系列十规则分词规则分词是基于字典、词库匹配的分词方法（机械分词法），其实现的主要思想是：切分语句时，将语句特定长的字符串与字典进行匹配，匹配成功就进行切分。按照匹配的方式可分为：正向最大匹
陈敬雷-充电了么-CEO兼CTO·2021-02-02 18:48

自然语言处理系列九》中文分词》规则分词》逆向最大匹配法

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《分布式机器学习实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列九规则分词逆向最大匹配法总结自然语言处理系列九规则分词规则分词是基于字典、词库匹配的分词方法（机械分词法），其实现的主要思想是：切分语句时，将语句特定长的字符串与字典进行匹配，匹配成功就进行切分。按照匹配的方式可分为：正向最大匹
陈敬雷-充电了么-CEO兼CTO·2021-02-02 18:53

自然语言处理系列六》中文分词》中文分词原理

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《分布式机器学习实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列六中文分词中文分词原理总结自然语言处理系列六中文分词中文分词
陈敬雷-充电了么-CEO兼CTO·2021-02-01 17:26

ELasticsearch安装拼音插件结合IK中文分词+拼音（在线+离线）

1、在线联网安装直接进入容器内部进行编辑#进入容器内部编辑dockerexec-itelasticsearchbash#安装IK分词器拼音插件(Github官网)elasticsearch-plugininstallhttps://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v6.7.0/elasticsearc
·2021-02-01 11:00

ELasticsearch安装拼音插件结合IK中文分词+拼音（在线+离线）

1、在线联网安装直接进入容器内部进行编辑#进入容器内部编辑dockerexec-itelasticsearchbash#安装IK分词器拼音插件(Github官网)elasticsearch-plugininstallhttps://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v6.7.0/elasticsearc
·2021-01-29 21:17

jieba分词+collections 词频统计

（三）载入词典（四）载入词典（五）关键词抽取1.基于TF-IDF算法的关键词抽取2.基于TextRank算法的关键词抽取（六）词性标注二、collections词频统计前言jieba是目前python中文分词组件中最好的
Txixi·2021-01-25 21:21

Docker版本Elasticsearch安装中文分词插件

关于ik插件开源插件ik地址https://github.com/medcl/elasticsearch-analysis-ikElastic是自带了一个smartcn的插件的，但是该插件对词库支持不好（可以百度搜索两者的对比）关于安装elasticsearch与可视化界面Docker启动Elasticsearch+可视化页面https://blog.csdn.net/weixin_4449437
可乐可乐可·2021-01-22 21:27

网络舆情热点发现及分析（single-pass聚类）

而对于微博的正文部分，或者本身没有#和中括号这样的文本内容，则会进行初步分词，然后利用中文分词
咕噜oo·2021-01-16 10:35

Python从入门到入魔第五天——jieba库的使用

jieba库的安装jieba库是Python中第三方中文分词函数库，需要用户联网自定义安装，win+r调出命令行：输入cmd命令行安装方式：pipinstalljieba;pycharm环境安装方式：1
偷偷学Python·2021-01-13 21:48

Python jieba库分词模式实例用法

在中文分词中，jiebe库是最为常见的，主要的原因还是它独特的支持分词模式如：精确模式、全模式、搜索引擎模式。
·2021-01-13 19:38

python人物关系抽取小说_用python分析小说人物关系（一）——理论篇

1、工具介绍jiebajieba分词，最好用的开源中文分词工具。他最主要的两个功能是分词和关键词的抽取。在这里，我们需要用他的分词功能来提取文本中的人名。
DISSLS·2021-01-13 10:31

字典树trie与分词

刷LeetCode会遇到字典树这道题，但是还不知道有这么多的应用文本识别相关词其实就是匹配词表，找到包含的最长词，我在最后附一个样例代码分词读苏神【中文分词系列】1.基于AC自动机的快速分词发现字典树还用于分词
得克特·2021-01-12 18:05

IK分词器新增词库使历史数据生效

背景IK作为常用的ES中文分词插件。但是在IK新增热词后，不会去更新历史数据，只有后续新增的数据才生效。那么问题来了？如何对历史数据进行更新呢?
程序员小强·2021-01-06 17:22

ElasticSearch之IK中文分词

1.中文分词背景中文分词的难点是，不能简单的按照一个个的字分隔，需要根据不一样的上下文，切分，不像英文有空格做分隔。
程序员小强·2021-01-06 17:47

第二章 Python NLP实战-核心技术与算法----中文分词技术

文章目录前言一、中文分词的痛点1.1中文的歧义性1.2识别未登录词二、基于规则的分词算法2.1切分方式2.1.1正向匹配法2.1.2逆向匹配法2.1.3双向匹配法2.2词典机制三、基于统计的分词算法3.1HMM
迷茫的羊驼·2021-01-05 11:13

自然语言处理工具之 HanLP 鸟瞰

自然语言处理技术优势：支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词调、词性标注）、命名实体识别（中国人民、音译人民、日本人民，地名，实体机构名识别
SLP_L·2021-01-05 09:26

ElasticSearch学习笔记(三)-可视化界面Kibana及ES中文分词配置

目录前言可视化界面KibanaES中文分词前言在之前的博客里面我们已经简单的讲解了ES的安装以及基本的增删改查,但是在讲解增删改查操作之前呢,忘记了一点就是教大家怎么安装可视化界面Kibana.这里呢,
萌萌哒的瓤瓤·2021-01-04 15:29

全文检索django-haystack+jieba+whoosh

3.中文分词Jieba，由于Whoosh自带
Han Z Yang·2021-01-04 15:06

ElasticSearch-学习笔记

10.RESTfulAPI11.中文分词12.动态同义词（自定义）13.Java
LeiKe_·2020-12-28 21:05

python生成词云的代码_python生成词云方法教程

所要用到的python库有jieba(一个中文分词库)、wordcould、matplotlib、PIL、numpy。首先我们要做的是读取歌词
投研帮·2020-12-28 19:21

Python 中文词频分析——红楼梦人物出场次数

本篇文档，带大家用Python做一下词频统计本章需要用到Python的jieba模块jieba模块是一个经典的用于中文分词的模块首先呢我们需要读取文章的内容，并用jieba库的lcut进行分词importjieba
Miku丨无形·2020-12-28 14:42

spacy分词器

spacy中文分词器spacy分词器介绍分词算法介绍分词模式介绍三种分词模式自定义词典关键词提取spacy分词器介绍spacy使用的中文jieba分词器，接下来对这个分词器进行简单介绍。
xiaoxiaoqian0519·2020-12-25 13:00

自然语言处理训练营NLP--笔记

一、分词1.1规则分词目的：按照最大匹配法（最长字数）分词参考网址：https://blog.csdn.net/weixin_44735126/article/details/100941826中文分词时遇到数字
skysenlin·2020-12-24 14:43
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他