[中文分词]

使用IK中文分词器做敏感词过滤

springboot版本2.1.0,项目中集成了springDataelasticsearch单独为一个子模块被各个服务引用，elasticsearch插件版本为6.6.2，并且es插件中已经安装ik中文分词器设计要求
lncy1991·2020-08-02 18:34

【ReactJs+springBoot项目——租房】第9章：Elasticsearch安装+快速入门+核心讲解+中文分词

ElasticStack简介Elasticsearch的介绍与安装Elasticsearch的快速入门Elasticsearch的核心讲解中文分词1、ElasticStack简介如果你没有听说过ElasticStack
就叫一片白纸·2020-08-02 13:24

【HanLP】正向、逆向及双向最长匹配法分词

在中文信息处理过程中，自动中文分词备受关注。中文分词大概可分为：基于词典规则基于机器学习本篇主要介绍第一种1、环境准备windows10安装pyhanlp：pip
Daycym·2020-08-02 12:01

人工智能系列2 聊天机器人的应用

要开发出一款聊天机器人，首先要理解中文分词、文本的数学表示和文本的相似度计算这几个概念。中文分词中文分词就是将一句句子拆分成独立的词语，Python提供的Jieba分词库可以帮助我们完成这项工作。
live_for_tomorrow·2020-08-01 13:18

中文分词——考虑语义

考虑语义的分词步骤：当按照步骤一：生成所有可能的分割；步骤二：选择其中最好的。这种分开的方法时效率比较低，这里引入viterbi算法来解决效率问题。例：待分词语句：“经常有意见分歧”词典：[“经常”，“经”，“有”，“有意见”，“意见”，“分歧”，“见”，“意”，“见分歧”，“分”]概率：[0.1,0.05,0.1,0.1,0.2,0.2,0.05,0.05,0.05,0.1]-log(x)：[2
筱筱思·2020-08-01 13:12

中文分词— 前向最大匹配、后向最大匹配（流程）

前向最大匹配法：首先定义MAX_LENGTH的大小（一般为词典中最长的单词的长度），之后将待分词子串从前往后扫描取出MAX_LENGTH的长度，然后在词典中进行匹配，尽可能地选择与词典中最长单词匹配的词作为目标分词，然后进行下一次匹配。算法流程：假设词典中最长的单词为5个（MAX_LENGTH），那么最大匹配的起始子串字数也为5个（1）从待分词子串中从前往后取出5个字，然后扫描分词字典，测试该5个
筱筱思·2020-08-01 13:41

中文分词研究入门

中文分词研究入门导读本文首先简单介绍了自然语言处理和科研过程中重要的四部曲——调研、思考、编程和写作，然后对中文分词问题进行了说明，介绍了中文分词存在的难点如消歧、颗粒度问题、分词标准等。
aiwuzhi12·2020-08-01 11:10

易生活(七)-APP--搜索业务逻辑处理

使用到的第三方技术主要包括：科大讯飞的语音识别系统、哈工大的中文分词系统等。搜索结果会以列表的形式进行展示，用户可以点击进入详情页，进行浏览和购买。
_高远·2020-08-01 10:37

Java Solr全文搜索引擎的实现

tomcat中部署b:修改web.xml指定solrhome目录c:复制安装目录的ext/下的lib文件到solr项目启动tomcat，solr安装完毕（其实就特么是部署一个solrweb项目而已）2：中文分词器的配置使用
阮二·2020-08-01 09:34

Python分析《我不是药神》豆瓣评论

读取Mongo中的短评数据，进行中文分词对分词结果取Top50生成词云生成词云效果看来网上关于我不是药神vs达拉斯的争论很热啊。
爱喵的程序员·2020-07-31 23:25

PHP开发视频

HDPHP、HDCMS）http://pan.baidu.com/s/1eQEfFloLinux操作系统教程http://pan.baidu.com/s/1o6ySnkISphinx&Coreseek中文分词
～轻舟～·2020-07-31 22:37

jieba中文分词组件

目录jieba简介组件特点安装方法算法使用jieba分词添加自定义词典载入词典调整词典关键词提取基于TF-IDF算法的关键词抽取基于TextRank算法的关键词抽取词性标注并行分词Tokenize：返回词语在原文的起止位置默认模式搜索模式ChineseAnalyzerforWhoosh搜索引擎命令行分词延迟加载机制其他词典原文地址：https://github.com/fxsjy/jiebajie
pengjunlee·2020-07-31 20:55

基于jieba、gensim.word2vec、LogisticRegression的搜狐新闻文本分类

jieba中文叫做结巴，是一款中文分词工具，官方文档链接：https://github.com/fxsjy/jiebagensim.word2vec中文叫做词向量模型，是是用来文章内容向量化的工具。
潇洒坤·2020-07-31 20:38

python库、包及模块的关系

一直认为import库时，如果导入高层名称，那么其子功能一定能够使用，通过一个例子来说明我想表达的意思：问题描述：中文分词，提出中文标点符号。解题思路：确定有哪些中文标点符号，再提出？有哪些标点符号？
奔跑的毛毛虫·2020-07-31 11:03

自然语言理解（NLU）难在哪儿？

因此，自然语言理解的众多任务，包括并不限于中文分词、词性标注、命名实体识别、共指消解、句
小晓酱手记·2020-07-30 20:27

Solr 总结

Solr调研总结开发类型全文检索相关开发Solr版本4.2文件内容本文介绍solr的功能使用及相关注意事项;主要包括以下内容:环境搭建及调试、两个核心配置文件介绍、中文分词器配置、维护索引、查询索引,高亮显示
花言巧语大佩奇·2020-07-30 16:29

php常用插件

更新说明：2019年11月11日更新，添加php文件加密扩展2019年10月28日更新，添加php资源列表2019年9月18日更新，添加xunsearchphp中文分词扩展2019年9月12日更新，添加
zhang-jianqiang·2020-07-30 13:12

HanLP《自然语言处理入门》笔记--3.二元语法与中文分词

文章目录3.二元语法与中文分词3.1语言模型3.2中文分词语料库3.3训练与预测3.4HanLP分词与用户词典的集成3.5二元语法与词典分词比较3.6GitHub项目笔记转载于GitHub项目：https
mantchs·2020-07-30 12:23

C# 中文分词算法(实现从文章中提取关键字算法)

usingSystem;usingSystem.Collections.Generic;usingSystem.Linq;usingSystem.Text;usingSystem.Collections;usingSystem.IO;usingSystem.Text.RegularExpressions;namespaceTKS.Framework.Common{//////分词类///publi
程序员黄华东·2020-07-30 12:56

基于jieba、gensim.word2vec、LogisticRegression的搜狐新闻文本分类

重新编辑：潇洒坤jieba中文叫做结巴，是一款中文分词工具，官方文档链接：https://github.com/fxsjy/jiebagensim.word2vec中文叫做词向量模型，是是用来文章内容向量化的工具
xiaosakun·2020-07-30 05:02

最全的中文分词停用词表

中文分词停用词表，放进txt文件即可。!"#$%&'()*+,---................................/.一.数.日///0123456789:://::;>>?
峰清羊·2020-07-30 04:30

利用jieba,word2vec,LR进行搜狐新闻文本分类

一、简介1）jieba中文叫做结巴，是一款中文分词工具，https://github.com/fxsjy/jieba2）word2vec单词向量化工具，https://radimrehurek.com/
weixin_30275415·2020-07-30 02:20

中文分词项目(开源/API接口)总结

1）ICTCLAS最早的中文开源分词项目之一，由中科院计算所的张华平、刘群所开发，采用C/C++编写，算法基于《基于多层隐马模型的汉语词法分析研究》。其中开源版本为FreeICTCLAS,最新API调用版本为NLPIR/ICTCLAS2014分词系统(NLPIR分词系统前身为2000年发布的ICTCLAS词法分析系统，从2009年开始，为了和以前工作进行大的区隔，并推广NLPIR自然语言处理与信息
半闲居士吃螃蟹·2020-07-30 01:49

大数据基础-词云jieba分词

关键渲染层，从而过滤掉大量的文本信息，通过浏览图层就可以浏览文本的主旨词云需要安装两个库：jieba和wordcloudpipinstalljiebapipinstallwordcloud""""""中文分词介绍
**猿来是你**·2020-07-29 22:48

中文分词

MFSOU中文分词PHP扩展一个PHP函数实现中文分词。
moonpure·2020-07-29 21:55

用Python做简易词云

想做个词云玩玩，这算是Python的一个很初级的应用，虽然很初级，依然免不了会出现各种bug~使用工具：Anaconda：一个开源的用于Python科学计算的发行版本jieba：一个Python第三方库，用于中文分词
爱吃西瓜的番茄酱·2020-07-29 21:39

短文本分类总结

一：分词1、常用中文分词工具：jieba、SnowNLP（MIT）、pynlpir、thulac，其中jieba比较常用2、去除停用词这个主要需要导入并构建停用词表，然后删除分词结果中停用词表中的词。
erinapple·2020-07-29 18:10

Python3爬虫中关于中文分词的详解

原理中文分词，即ChineseWordSegmentation，即将一个汉字序列进行切分，得到一个个单独的词。
·2020-07-29 18:03

【pyspark】jieba 中文分词

：jieba分词包https://github.com/fxsjy/jieba：python安装pipinstalljieba：测试importjiebaseg_list=jieba.cut("我来到北京清华大学",cut_all=True)print("FullMode:"+"/".join(seg_list))：启动pysparkbin\pyspark：文件内容(utf-8)Spark是一种与
baibaiw5·2020-07-29 17:46

Elasticsearch --- 3. ik中文分词器, python操作es

一.IK中文分词器1.下载安装官网地址2.测试#显示结果{"tokens":[{"token":"上海","start_offset":0,"end_offset":2,"type":"CN_WORD"
aozhe9939·2020-07-29 17:48

Python 带你走进哈利波特的魔法世界

博客：zhihu.com/c_188462686先简单介绍一下jieba中文分词包，jieba包主要有三种分词模式：精确模式：默认情况下是精确模式，精确地分词，适合文本分析；全模式：把所有能成词的词语都分出来
Python中文社区·2020-07-29 15:04

elasticsearch-7.8安装

elasticsearch-7.8安装下载部署安装elasticsearch-head中文分词插件下载可以从elastic的官网elastic.co/downloads/elasticsearch获取最新版本的
小新丨·2020-07-29 14:32

Lucene几种中文分词的总结

http://blog.sina.com.cn/s/print_4ff5925f01000d32.html[/url]内容:目前最新版本的lucene自身提供的StandardAnalyzer已经具备中文分词的功能
zhangdberic·2020-07-29 13:01

NLP实习笔试面试题汇总三

一、如何对中文分词问题用隐马尔可夫模型进行建模和训练？二、最大熵隐马尔可夫模型为什么会产生标注偏置问题，如何解决？三、常见的概率图模型中，哪些是生成式模型，哪些是判别式模型？
默默努力的人·2020-07-29 12:10

[语音识别] HMM理论理解+实战

理论不清楚的看这里：（1）04隐马尔可夫模型(HMM)：https://blog.csdn.net/u014365862/article/details/105007027（2）一个隐马尔科夫模型的应用实例：中文分词
MachineLP·2020-07-29 11:57

词语切分与词性标注 - 规范与加工手册

Yard中文分词系统在后面的版本中也将采用这个标记集合。按代码的字母顺序排列的标记集代码名称帮助记忆的诠释Ag形语素形容词性语素。形容词代码为a，语素代码ｇ前面置以A。
iteye_9865·2020-07-29 10:23

jieba中文分词

jieba中文处理¶by寒小阳([email protected])和拉丁语系不同，亚洲语言是不用空格分开每个有意义的词的。而当我们进行自然语言处理的时候，大部分情况下，词汇是我们对句子和文章理解的基础，因此需要一个工具去把完整的文本中分解成粒度更细的词。jieba就是这样一个非常好用的中文工具，是以分词起家的，但是功能比分词要强大很多。1.基本分词函数与用法¶jieba.cut以及
蜜糖雪兒·2020-07-29 01:01

whoosh使用手册（1）

不得不说确实非常出色，但是对于python的实现pylucene确是差强人意，首先它不是纯python实现而是做了一层包装到头来还是使用java，依赖于JDK不说安装步骤繁琐至极，而且Lucene可用的中文分词词库非常之多但是由于这层粘合关系很多都用不上
蜜糖雪兒·2020-07-29 01:01

我爱自然语言处理网文章汇总

斯坦福大学深度学习与自然语言处理第三讲：高级的词向量表示斯坦福大学深度学习与自然语言处理第二讲：词向量斯坦福大学深度学习与自然语言处理第一讲：引言用MeCab打造一套实用的中文分词系统(三)：MeCab-Chinese
wowdd1·2020-07-28 23:29

NLP实战——基于枚举实现中文分词（python）

基于枚举法的停词逻辑：例子：我们经常有意见分歧词典：【“我们”，“经常”，“有”，“有意见”，“意见”，“分歧”】枚举满足词典的所有可能情况：我们、经常、有、意见、分歧我们、经常、有意见、分歧实现所需的数据需求：中文词库，充当词典的作用以变量的方式提供了部分unigram概率word_prob给定词典=[我们学习人工智能人工智能未来是]，另外我们给定unigram概率：p(我们)=0.25,p(学
在下小赵·2020-07-28 21:22

使用中文制作词云图---

制作词云图,背景可以替换成任意图片，本例中未展示图片'''importnumpyasnpimportpandasaspdfromwordcloudimportWordCloud#词云包importjieba#中文分词包
瑶子ove·2020-07-28 20:06

中文词频统计与词云生成

doupo=open('111.txt','r',encoding='utf-8').read()3.安装并使用jieba进行中文分词。pipinstalljiebaimportjiebaji
weixin_30747253·2020-07-28 17:55

+中文词频统计及词云制作9-25

2.中文分词下载一中文长篇小说，并转换成UTF-8编码 使用jieba库，进行中文词频统计，输出TOP20的词及出现次数。
weixin_30251587·2020-07-28 15:28

详解Lucene全文检索基础架构

文章目录数据查询方法什么是LuceneLucene全文检索流程索引流程搜索流程Lucene演示索引过程索引演示搜索过程Field域类型索引维护分析器（Analyzer）Lucene原生分析器第三方中文分词器
十里清风·2020-07-28 11:33

爬取京东评论并制作词云图

jieba库jieba库是python的第三方中文分词库，利用jieba可以更好的实现中文分词。
素馨星·2020-07-28 09:03

测试庖丁解牛分词工具

因为笔者要在MapReduce中进行中文分词解析数据，所以测试了一下庖丁解牛中文分词器（paoding-analysis-2.0.4-beta）。
小飞侠-2·2020-07-28 05:54

将中文分词结果绘制词云或绘制以特定图片为背景的词云的方法（注释详细，欢迎批评指正）

fromosimportpathfromscipy.miscimportimreadimportmatplotlib.pyplotaspltfromwordcloudimportWordCloud,ImageColorGenerator#绘制词云defwordcloud_show(text):#设置词云属性wc=WordCloud(font_path='C:\Windows\Fonts\SIMYO
hard_coding_wang·2020-07-28 05:00

jieba中文分词的实现（含去除停用词，注释详尽，欢迎批评指导）

#一般需要导入该库。导入方法，打开cmd命令窗口或者anacondaprompt：#pipinstall-ihttps://pypi.tuna.tsinghua.edu.cn/simplejieba(最后一个参数是包名)#如果想安装对应版本的包，只需在包名后面加“==版本号”即可importjieba#分词defcut_word(Test):#jieba默认启用了HMM（隐马尔科夫模型）进行中文分
hard_coding_wang·2020-07-28 05:00

Solr7.3.0环境搭建和配置ik中文分词器

1.安装JRE，采用1.8的版本；jre目录以及子目录授予root权限chownroot:root-R/usr/lib/jre1.8.0_172编辑环境变量配置文件vi/etc/profile在文件末尾加入下面代码，强制保存（w!）退出exportJAVA_HOME=/usr/libexportJRE_HOME=/usr/lib/jre1.8.0_172exportCLASSPATH=$JRE_H
newtelcom·2020-07-28 04:19

Elasticsearch7.* + SpringBoot2.*根据中文和拼音分页去重搜索

一、插件安装1、安装ik中文分词器下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v7.4.0进入es安装目录elasticsearch
孟林洁·2020-07-28 03:44
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他