[中文分词]

sql语句（mysql中json_contains、json_array的使用）

1、用科大讯飞语音识别到的已经中文分词的文字，例：“我”“想”“销”“存单”2、根据上面语音识别出来的多个关键字，在数据表中查找出包含上述四个关键字中任意若干个数据。
小王_同志·2021-06-06 17:37

关于中文分词

一.分词的类型1.基于词典：基于字典、词库匹配2.基于统计3.基于理解二.基于词典分词1.正向最大匹配法其基本思想为：假定分词词典中的最长词有i个汉字字符，则用被处理文档的当前字串中的前i个字作为匹配字段，查找字典。若字典中存在这样的一个i字词，则匹配成功，匹配字段被作为一个词切分出来。如果词典中找不到这样的一个i字词，则匹配失败，将匹配字段中的最后一个字去掉，对剩下的字串重新进行匹配处理，如此进
YPY_93a9·2021-06-04 09:47

Solr实战

SolrPractice目录环境SolrMySQL驱动solrconfig.xmldata-config.xmlmanaged-schemaStartupModelRepositoryController中文分词环境
诺之林·2021-05-19 19:07

分词系列

中文分词技术原理及应用：https://sanwen8.cn/p/2919tFk.html方法：基于AC自动机的快速分词：http://kexue.fm/archives/3908/字标注法和HMM模型
Babyzpj·2021-05-18 22:24

jieba 分词学习 2018-10-26

一、安装pipinstalljieba二、算法介绍结巴中文分词涉及到的算法包括：(1)基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)；(2)采用了动态规划查找最大概率路径
Mr_Du_Biao·2021-05-18 17:15

Python jieba 中文分词与词频统计的操作

我就废话不多说了，大家还是直接看代码吧~#!python3#-*-coding:utf-8-*-importos,codecsimportjiebafromcollectionsimportCounterdefget_words(txt):seg_list=jieba.cut(txt)c=Counter()forxinseg_list:iflen(x)>1andx!='\r\n':c[x]+=1p
·2021-05-18 17:30

基于 DHT 网络的磁力链接和BT种子的搜索引擎架构

系统包括几个独立的部分：使用Python的Scrapy框架开发的网络爬虫，用来爬取磁力链接和种子；使用PHPCI框架开发的简易网站；搜索引擎目前直接使用的MySQL，将来可以考虑使用sphinx；中文分词
justjavac·2021-05-17 04:24

NLP实战-中文新闻文本分类

目录1、思路2、基于paddle的ERINE模型进行迁移学习训练3、分步实现3.1获取数据（1）数据解压（2）将文本转成变量，这里为了好计算，我只选了新闻标题做文本分类3.2中文分词基于jieba的分词基于
樱缘之梦·2021-05-12 15:58

elasticsearch 中文停用词设置

解决方案如果你使用ik中文分词器，它默认设置的停用词都是英文的，比如
momo1023·2021-05-12 12:37

jieba分词基本使用

jieba“结巴”中文分词：做最好的Python中文分词组件算法基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图(DAG)采用了动态规划查找最大概率路径,找出基于词频的最大切分组合对于未登录词
lwyaoshen·2021-05-12 11:46

Solr中文分词器配置及数据检索

导入MySQL数据*首先：在做检索数据之前，先将数据导入到Solr中，根据http://www.jianshu.com/p/7ce281b2be30*然后：这次我用的是article这张表，所以在以前的配置上要改相应的配置文件（schema.xml、data-config.xml），将IKAnalyzer2012_FF_hf1.jar拷贝到/solr/WEB-INF/lib，注意：必须是IKAna
孝为先·2021-05-11 18:33

“泰迪杯”挑战赛 - 面向网络舆情的关联度分析

目录研究目标分析方法与过程2.1.总体流程2.2.具体步骤2.3.结果分析结论参考文献1.挖掘目标本次建模的目标是利用客户提供的2013年热点事件和用户信息表，采用中文分词技术，建立用户和事件的相互关系
weixin_47922824·2021-05-10 16:07

python自然语言处理入门-词典分词

自然语言处理入门-词典分词摘要中文分词指的是将一段文本拆分为一系列单词的过程，这些单词顺序拼接后等于原文本。词典分词是最简单、最常见的分词算法，仅需一部词典和一套查词典的规则即可。
诗雨时·2021-05-09 18:34

python自然语言处理入门-新手上路

目录摘要1.自然语言与编程语言2.自然语言处理的层次2.1语音、图像和文本2.2中文分词、词性标注和命名实体识别2.3信息抽取2.4文本分类和文本聚类2.5句法分析2.6语义分析和篇章分析2.7其他高级任务摘要自然语言处理
诗雨时·2021-05-08 22:45

Python词云的正确实现方法实例

一、相关模块jieba：中文分词wordcloud：Python词云库imageio：读取图形数据安装：pip install jiebapip install wordcloudpip install
·2021-05-08 17:35

Python大数据：jieba分词，词频统计

实验目的学习如何读取一个文件学习如何使用DataFrame学习jieba中文分词组件及停用词处理原理了解JupyterNotebook概念中文分词在自然语言处理过程中，为了能更好地处理句子，往往需要把句子拆开分成一个一个的词语
_黑冰_·2021-05-08 13:43

windows系统python3应用pycharm写入txt文件报错问题

我有很多的中文样本，在应用jieba中文分词之后，想将分词的结果写入到txt文件中，报了如下错误：UnicodeEncodeError:'gbk'codeccan'tencodecharacter'\xa0
若即隨風·2021-05-08 12:45

Python词云的正确打开方式

一、相关模块jieba：中文分词wordcloud：Python词云库imageio：读取图形数据安装：pip install jiebapip install wordcloudpip install
运维汪·2021-05-07 20:51

中文分词之HMM模型详解

http://yanyiwu.com/work/2014/04/07/hmm-segment-xiangjie.html
fdtd·2021-05-06 10:16

泰迪杯C题-第一问

以及画出词云图导入库importre#正则表达式库importcollections#词频统计库importnumpyasnp#numpy数据处理库importjieba#中文分词importpandasaspdimportwordcloud
紧到长不胖·2021-05-06 00:11

泰迪杯C题-第二问

景区及酒店的综合评价导入库importre#正则表达式库importcollections#词频统计库importnumpyasnp#numpy数据处理库importjieba#中文分词importpandasaspdimportwordcloud
紧到长不胖·2021-05-06 00:11

架构师成长记_第八周_11_ES- ik中文分词器与自定义中文词库

文章目录ik中文分词器1.安装ik中文分词器(7.4.2版本)2.使用ik中文分词器2.1分词器:ik_max_word2.1分词器:ik_smart自定义中文词库自定义词库,导入字典ik中文分词器1.
流浪少年的梦·2021-05-05 16:49

[Practice] 使用python词云打造一个春

《春》的词云1.提取词语这里使用了jieba，作为一款比较智能的中文分词
敲代码的密斯想·2021-05-05 02:21

Elasticsearch中文搜索环境搭建

基础上的搜索引擎，功能强大，最近刚好要研究搜索这一块，简要记录备日后查阅安装JavaJDK,由于Lucene是用Java开发的，所以需要安装JVM从JAVA官网下载JDK安装包，注意，由于后面我们安装中文分词插件需要装
木鸟飞鱼·2021-05-04 04:35

一个隐马尔科夫模型的应用实例：中文分词

什么问题用HMM解决现实生活中有这样一类随机现象，在已知现在情况的条件下，未来时刻的情况只与现在有关，而与遥远的过去并无直接关系。比如天气预测，如果我们知道“晴天，多云，雨天”之间的转换概率，那么如果今天是晴天，我们就可以推断出明天是各种天气的概率，接着后天的天气可以由明天的进行计算。这类问题可以用Markov模型来描述。markov进一步，如果我们并不知道今天的天气属于什么状况，我们只知道今明后
不会停的蜗牛·2021-05-04 00:48

中文分词

用过的中文分词有jieba，hanlp，word，grid，standford.nlp。从分词原理的直接到间接说起。1.基于字典的分词。字典给出了词和词频。在word中有正向/逆向/双向最大匹配算法。
吹洞箫饮酒杏花下·2021-05-03 15:25

基于jieba、TfidfVectorizer、LogisticRegression的搜狐新闻文本分类

重新编辑：潇洒坤jieba中文叫做结巴，是一款中文分词工具，官方文档链接：https://github.com/fxsjy/jiebaTfidfVectorizer中文叫做词袋向量化模型，是用来文章内容向量化的工具
潇洒坤·2021-04-27 19:34

入门级中文分词项目 【关键词计算，文本摘要生成】，还不来收藏学习！

目录前言项目演示中文分词近义词合并关键词计算1.tf-idf算法2.计算步骤3.代码实现摘要生成textrank算法计算步骤代码实现尾言前言大家好，我是Ericam_希望本篇分享可以给大家带来帮助~愿我们都在代码世界的道路上渐行渐远
Ericam_·2021-04-26 17:29

Python爬虫分析微博热搜关键词的实现代码

1，使用到的第三方库requestsBeautifulSoup美味汤worldcloud词云jieba中文分词matplotlib绘图2，代码实现部分importrequestsimportwordcloudimportjiebafrombs4importBeautifulSoupfrommatplotlibimportpyplotaspltfrompylabimportmpl
·2021-04-26 12:20

python 词云模块：wordcloud

word_cloud/https://github.com/amueller/word_cloudPython词云wordcloud十五分钟入门与进阶python词云wordcloud入门Python中文分词
领悟悟悟·2021-04-26 10:13

pkuseg的自定义词库过大会导致出现严重的分词BUG？

1.背景说明【前情提要】怀着异常激动的心情测试了一下北大刚发布的中文分词库,然后加载了之前整理的自定义词汇,发现出现了很严重的分词问题，希望有人能帮忙解决。
9b9f7192095b·2021-04-25 10:22

机器学习总结

在特征工程中的应用三.神经网络（深度学习）四.反向传播与梯度下降五.聚类算法六.机器学习：样本分布不均衡问题的处理1.对正样本过采样---容易造成过拟合2.对负样本欠采样---容易丢失重要信息3.调整权重七.jieba中文分词八
Alex_81D·2021-04-22 14:18

自然语言理解与处理对语义挖掘的影响

但是基于关键字索引的工具已经越来越无法满足用户的需求，相反用户更希望计算机能理解句子的意思以帮助我们更好的处理信息和组织信息，这就需要自然语言处理技术来解决，例如中文分词、词性标注、句法分析、依存关系分析
飞狐_018c·2021-04-21 06:57

Python 分词工具大总结，盘点哪个更好用？

比如从一篇文章自动提取关键词就需要用到分词工具，中文搜索领域同样离不开分词Python中有很多开源的分词工具，下面给大家介绍几款常见的分词依赖库1.jieba分词“结巴”分词，GitHub最受欢迎的分词工具，立志做最好的Python中文分词组件
菜鸟学Python·2021-04-20 08:18

一个非常hao用的elasticsearch中文分词器插件 HaoAnalyzer

首先上地址elasticsearch(es)hao分词器中文分词器elasticsearch-analysis-haoESHAO分词器简介如何开发一个ES分词插件请参考这里主要参考了IK和HanLP其中有的源码是直接搬运的
tenlee·2021-04-19 21:33

elasticsearch之八分词器

个人专题目录1.中文分词器IK分词器1.1分词器analyzer什么是分词器analyzer分词器是一个字符串解析拆分工具。
Java及SpringBoot·2021-04-18 21:43

ICTCLAS中文分词器（现在叫nlpir）

ICTCLAS（现在叫nlpir）是中科院张华平博士开发中文分词器。
sennchi·2021-04-18 12:12

Elasticsearch中文分词器IK

引言问什么要使用分词器？这个问题可能就要牵扯到倒排索引这个概念，那什么是倒排索引呢？倒排索引（英语：Invertedindex），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。有两种不同的反向索引形式：一条记录的水平反向索引（或者反向档案索引）包含每个引用单词的文档的列表。一个单词
章鹏晖·2021-04-18 11:47

简述python四种分词工具,盘点哪个更好用?

比如从一篇文章自动提取关键词就需要用到分词工具，中文搜索领域同样离不开分词Python中有很多开源的分词工具，下面给大家介绍几款常见的分词依赖库1.jieba分词“结巴”分词，GitHub最受欢迎的分词工具，立志做最好的Python中文分词组件
·2021-04-17 20:15

Elasticsearch系列-Analyzer分词

Elasticsearch系列-Analyzer分词Analysis与AnalyzerAnalyzer的组成ES的内置分词器中文分词器AnalyzerAPI结语Analysis与AnalyzerAnalysis
Layne_lei·2021-04-15 15:04

ElasticSearch 中文分词器

常用的中文分词器SmartChineseAnalysis:官方提供的中文分词器,不好用。
__元昊__·2021-04-15 10:53

Elasticsearch 中文分词器插件

1、为什么需要中文分词器插件先使用Kibana测试ES默认分词器对英文的处理：GET_analyze{"text":"HelloWorld"}结果如下：所以ES默认分词器对英文
SheHuan·2021-04-13 07:51

ElasticSearch 如何使用 ik 进行中文分词？

ElasticSearch如何在数据存储方面支持全文搜索和复杂条件查询，本篇文章则着重分析ElasticSearch在全文搜索前如何使用ik进行分词，让大家对ElasticSearch的全文搜索和ik中文分词原理有一个全面且深入的了解
·2021-04-13 02:59

ElasticSearch 如何使用 ik 进行中文分词？

ElasticSearch如何在数据存储方面支持全文搜索和复杂条件查询，本篇文章则着重分析ElasticSearch在全文搜索前如何使用ik进行分词，让大家对ElasticSearch的全文搜索和ik中文分词原理有一个全面且深入的了解
·2021-04-13 02:47

python 爬关键词,Python爬虫实战：爬取微博热搜关键词

一、爬取微博热搜关键词需要的第三方库1、requests2、BeautifulSoup美味汤3、worldcloud词云4、jieba中文分词5、matplotlib绘图二、爬取微博热搜关键词代码示例importrequestsimportwordcloudimportjiebafrombs4importBeautifulSoupfrommatplotlibimportpyplotaspltfro
努力奋斗的Brian·2021-03-25 17:58

Lucene&ElasticSeach

如何实现全文检索1.5全文检索的应用场景2Lucene实现全文检索的流程说明2.1索引和搜索流程图2.2创建索引2.3倒排索引3Lucene实战3.1需求说明3.2准备开发环境3.3创建索引3.4查询索引3.5中文分词器的使用
m0_46337171·2021-03-20 17:43

【数据可视化】利用WordCloud制作词云（2021-03-20）

利用wordcloud制作词云1.jieba分词链接：https://github.com/fxsjy/jieba“结巴”中文分词是一个使用起来非常方便的Python中文分词组件。
中传男明星皮皮·2021-03-20 15:19

ElasticSearch分词器

对英文单词可以正常分词，对中文分词不友好，会将中文分词为一个个单个字符。
水煮鱼又失败了·2021-03-15 22:40

ElasticSearch搜索引擎入门与实战

级海量数据基本术语索引、类型、文档、字段—对应数据库表行列集群、节点、分片、副本在es6.x以后，类型将被废弃索引直接与关系型数据库的表对应项目使用的是springboot2.1.5，所以es需要使用6.4.3安装es中文分词插件
w2cs·2021-03-12 11:15

Solr中文排序问题/分词搜索问题

现象描述图片.png如图，搜索全脂奶粉，脱脂奶粉排名却比较靠前2.问题分析图片.pngsolr中文分词粒度过细（左图为建表索引时的分词，右图为查询时的分词）3.解决过程ik分词器对中文分词效果较好，但现在已经停止更新
Martin_阿锤·2021-03-10 21:34
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他