[中文分词]

python自然语言处理案例-Python自然语言处理资料库

1、LTP[1]-语言技术平台(LTP)提供包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等丰富、高效、精准的自然语言处理技术。
weixin_39516956·2020-11-10 16:25

Python——jieba库

jieba库是Python中重要的第三方中文分词函数库，其原理是利用一个中文分词词库，将带分词的内容和分词词库进行比对，通过图结构和动态规划方法找到最大概率词组，除了分词外，jieba库还提供了增加自定义中文单词的功能
기다 리 고 있 었 네.·2020-11-02 18:29

python中文-Python中文分词

因为数据和词典涉及到一些版权问题，所以打包文件里只是mecab用于发布的二进制词典和模型文件，目前在macos和linuxubuntu系统下测试无误，其他系统请自行测试使用：使用前请按上述文档安装mecab，下载这个中文分词模
weixin_37988176·2020-10-29 22:07

使用Docker快速安装部署ES和Kibana并配置IK中文分词器以及自定义分词拓展词库

使用Docker快速安装部署ES和Kibana的前提：首先需要确保已经安装了Docker环境如果没有安装Docker的话，可以参考上一篇的内容：Linux上安装Docker有了Docker环境后，就可以使用Docker安装部署ES和Kibana了一、安装部署ES和Kibana1、下载ealasticsearch和kibana(es的可视化管理页面)dockerpullelasticsearch:7
嗑嗑磕嗑瓜子的猫·2020-10-28 23:37

elasticsearch教你使用搜索引擎

1)熟悉ESJava客户端版本特性2)掌握常用API操作3)安装、配置IK中文分词器Java客户端默认es启动后对外开放2个端口号：9200,93009200对应的是http协议restfulapi调用
别給朕装纯·2020-10-14 14:33

ElasticSearch安装中文分词器IKAnalyzer

ElasticSearch安装中文分词器IKAnalyzer 本篇主要讲解如何在ElasticSearch中安装中文分词器IKAnalyzer，拆分的每个词都是我们熟知的词语，从而建立词汇与文档关系的倒排索引
Aska小强·2020-10-11 10:02

别只会搜日志了，求你懂点检索原理吧

上篇：讲解ES的原理、中文分词的
悟空聊架构·2020-10-09 23:51

elasticsearch-中文分词Ik安装

1、下载中文分词https://github.com/medcl/elasticsearch-analysis-ik2、解压elasticsearch-analysis-ik.zip文件。
冰雪之年·2020-10-09 13:42

利用Rust的中文分词服务

1、中文分词中文分词，简单理解就是将一句话进行分割成几个词语。在把百度百科中的定义是将一个汉字序列切分成一个个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。
LiuMedu·2020-10-09 12:47

只需五步 集成新版 Elasticsearch7.9 中文搜索 到你的 Laravel7 项目

只需五步骤：启动集成ik中文分词插件的Elasticsearch7.9Docker镜像Laravel7配置Scout配置Model模型导入数据搜索演示地址https://www.ar414.com搜索范围文章内容标题标签结果权重出现关键词数量出现关键词次数搜索页面高亮显示分词显示结果分页前言主要是博客刚好想做个搜索
ar414·2020-10-09 12:45

自然语言处理（NLP）案例--机器学习进行情感分析

目录一、数据清洗1.导入必要的库2.创建停用词表3.对句子进行中文分词4.给出文档路径5.将结果输出保存并且打印处理过程二、转换数据格式1.将处理完毕的数据读取查看2.创建data3.将评论数据按行写入
DonngZH·2020-10-05 09:58

双向最大匹配算法——基于词典规则的中文分词(Java实现)

目录一、中文分词理论描述二、算法描述1、正向最大匹配算法2、反向最大匹配算法3、双剑合璧三、案例描述四、JAVA实现完整代码五、组装UI六、总结前言这篇将使用Java实现基于规则的中文分词算法，一个中文词典将实现准确率高达
Charzueus·2020-09-29 09:00

基于python中jieba包的详细使用介绍

一，jieba的介绍jieba是目前表现较为不错的Python中文分词组件，它主要有以下特性：支持四种分词模式：精确模式全模式搜索引擎模式paddle模式支持繁体分词支持自定义词典MIT授权协议二，安装和使用
TFATS·2020-09-27 18:38

中文分词技术

中文分词技术(ChineseWordSegmentation)指将一个汉字序列切分成一个个单独的词。
张q·2020-09-18 17:00

Python中常用的第三方库

中常用的第三方库库名用途numpyn维数据表示和运算matplotlib二维数据可视化numpyn维数据表示和运算pil图像处理scikit-learn机器学习和数据挖掘requestHTTP协议访问和网络爬虫jieba中文分词
chenbiyun940419·2020-09-17 15:17

【Spark学习笔记】Spark下的四种中文分词工具

1.Spark下四种中文分词工具使用hanLPansjjiebafudannlp2.获取四种分词工具在maven项目工程下的pom.xml文件中添加点击import即可完成对前三种的获取org.ansjansj_seg5.1.3com.hankcshanlpportable
不可能打工·2020-09-17 11:21

Elasticsearch的增删改,分页,高亮查询(maven)

前提:请将es的环境(es服务,IK中文分词器,head-master插件等)搭建好,本文章使用的是java代码实现的es的增删改查操作(使用的是测试环境)环境准备在pom文件中导入坐标(第一次导入时间可能有点长
fan_001·2020-09-17 07:32

白话Elasticsearch30-IK中文分词之热更新IK词库

文章目录概述热更新方案IKGithub下载SourceCode导入maven工程修改源码Dictionary#initial方法中开启扫描线程HotDictReloadThread配置文件jdbc-reload.propertiesDictionary#iloadMainDict自定义从mysql加载主词典Dictionary#loadStopWordDict自定义从mysql加载停止词词典编译将
小小工匠·2020-09-17 05:38

elasticsearch插件六—— 分词 IK analyzer插件安装详解

一、IKAnalyzer介绍IKAnalyzer是一个开源的，基于Java语言开发的轻量级的中文分词工具包，最初的时候，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件，
铭毅天下·2020-09-17 05:54

springboot整合solr与IK Analyzer(中文分词器)

具体tomcat配置solr安装在我的上一篇文章：https://blog.csdn.net/weixin_40787926/article/details/89474329一、solr创建core：1、首先在solrhome中创建solrDemo目录;(solrhome目录为：复制solr/server/solr/*所有文件到tomcat/solrhome目录，用到创建solr的core时使用。
感觉覅·2020-09-17 05:51

Elasticsearch之中文分词器插件es-ik的自定义热更新词库

1：部署http服务在这使用tomcat7作为web容器，先下载一个tomcat7，然后上传到某一台服务器上(192.168.80.10)。再执行以下命令tar-zxvfapache-tomcat-7.0.73.tar.gzcdapache-tomcat-7.0.73/webapp/ROOTvihot.dic测试在这里，我是为了避免跟我的hadoop和spark集群里的端口冲突，将默认的tomca
weixin_33744141·2020-09-17 05:51

ElasticSearch 6.5.4 安装中文分词器 IK和pinyiin

ES的常用的中文分词有基于汉字的ik和基于拼音的pinyinhttps://github.com/medcl/elasticsearch-analysis-ik/releaseshttps://github.com
vkingnew·2020-09-17 05:57

solr配合IK中文分词器使用

一、solr安装资源:链接：https://pan.baidu.com/s/1DnFjgReamJ7frFgBaKhfZg提取码：zimo1.下载合适版本的Tomcat，并解压到没有中文的目录里面。2.解压solr文件，把solr下的dist目录solr-4.10.3.war部署到Tomcat\webapps下(去掉版本号)。3.点击Tomcat下bin文件夹里面的startup.bat,加压刚才
睡前来杯海飞丝·2020-09-17 05:48

solr7.3 环境搭建 配置中文分词器 ik-analyzer-solr7 详细步骤

一、下载安装ApacheSolr7.3.0下载地址：http://www.apache.org/dyn/closer.lua/lucene/solr/7.3.0因为是部署部署在windows系统上，所以下载zip压缩包即可。下载完成后解压出来。二、启动solr服务进入solr-7.3.0/bin目录：Shift+右键在此处打开命令窗口；在控制台输入以下命令：solrstart-p9090看到Sta
Magese·2020-09-17 05:05

Solr配置中文分词器IK Analyzer详解

配置的过程中出现了一些小问题，一下将详细讲下IKAnalyzer的配置过程，配置非常的简单，但是首先主要你的Solr版本是哪个，如果是3.x版本的用IKAnalyzer2012_u6.zip如果是4.x版本的用IKAnalyzer2012FF_hf1.zip，一定要对应上，要不然会配置失败。以下是详细步骤：1、下载IKAnalyzer。下载地址为：http://code.google.com/p/
Java高知社区·2020-09-17 05:24

ElasticSearch默认中文分词|安装外部中文分词器IK|Mapping的简单测试|基于中文分词搭建索引

中文分词elasticsearch本身自带的中文分词，就是单纯把中文一个字一个字的分开，根本没有词汇的概念。
SmallScorpion·2020-09-17 05:36

python 将爬取的淘宝数据，用云图展示（利用jieba分词库提取数据）

一、jieba库基本介绍1、jieba库概述jieba是优秀的中文分词第三方库-中文文本需要通过分词获得单个的词语-jieba是优秀的中文分词第三方库，需要额外安装-jieba库提供三种分词模式，最简单只需掌握一个函数想要数据的可以留言
max_mei·2020-09-17 05:04

elasticsearch插件 —— 分词 IK analyzer插件安装详解

一、IKAnalyzer介绍IKAnalyzer是一个开源的，基于Java语言开发的轻量级的中文分词工具包，最初的时候，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件，
qq_775879106·2020-09-17 05:26

进阶-第31__彻底掌握IK中文分词_修改IK分词器源码来基于mysql热更新词库

热更新每次都是在es的扩展词典中，手动添加新词语，很坑（1）每次添加完，都要重启es才能生效，非常麻烦（2）es是分布式的，可能有数百个节点，你不能每次都一个一个节点上面去修改es不停机，直接我们在外部某个地方添加新的词语，es中立即热加载到这些新词语热更新的方案（1）修改ik分词器源码，然后手动支持从mysql中每隔一定时间，自动加载新的词库（2）基于ik分词器原生支持的热更新方案，部署一个we
两点一刻·2020-09-17 05:25

solr（二） solr5.5导入Ik分词，导入数据库数据

请结合上一篇看，tomcat目录以及solrhome一、导入IK分词solr导入IK分词,为了支持中文分词。
lztizfl·2020-09-17 04:42

solr7.2环境搭建和配置ik中文分词器

因为准备使用最新的solr7.2，需要从solr4.10过度过来，然后就发现了7.2版本和4.10的版本的环境搭建方式有了比较大的变化，在这块也是经历了很多次失败，查询了很多的资料，最后终于完成了，然后就是希望能分享出来，其中发现的两个版本solr在搭建上的一些不同之处也是注释了出来，可能还有一些没有发现的地方。如果发现其中有错误的地方或者不妥之处还请告知于我。首先需要的准备好jdk1.8和tom
lingzhangjie·2020-09-17 04:30

IKAnalyzer中文分词分析内容目录

IKAnalyzer中文分词的学习：Java开源分词系统IKAnalyzer学习（一）大致简介Java开源分词系统IKAnalyzer学习（二）架构Java开源分词系统IKAnalyzer学习（三）流程
lengyuhong·2020-09-17 04:55

IK中文分词扩展自定义词典！！！

1.基于分布式系统的自定义分词要求与流程设计（见图）E:\plan\readingnote\分词与索引\分词\2012-4-202.分词实现原理——词典的加载过程2.1.分词词典的加载过程涉及到3个类，分别是Configuration类，Directory类，以及DictSegment类。其中前两个类是获得配置文件，获得分词词典的，为词典内容的加载做准备的。而DictSegment类则是实现真正的
iamaboyy·2020-09-17 04:02

Elasticsearch系列---使用中文分词器

前言前面的案例使用standard、english分词器，是英文原生的分词器，对中文分词支持不太好。
1黄鹰·2020-09-17 04:28

solr4.7中文分词器（ik-analyzer）配置

solr本身对中文分词的处理不是太好，所以中文应用很多时候都需要额外加一个中文分词器对中文进行分词处理，ik-analyzer就是其中一个不错的中文分词器。
冰上浮云·2020-09-17 04:04

lucene应用心得以及几种中文分词器的使用比对

lucene应用心得以及几种中文分词器的使用比对：1、创建索引和关键字搜索在不同的系统中运行出现的问题如果将创建索引和关键字搜索分别写在后台和前台系统，然后分别将这两套系统部署在同一个应用服务器下面(如同一个
宝哥-NO1·2020-09-17 04:42

elasticsearch6.5.4 添加 ik 中文分词器无需重启分词热更新

第一步：安装elasticsearch6.5.4版本第二步：下载elasticsearch-ik-6.5.4.zip例如：https://github.com/medcl/elasticsearch-analysis-ik拷贝到es的plugins/ik目录下解压缩，把elasticsearch-analysis-ik-6.5.4.jar拷贝到plugins/ik目录下打开cmd切到ik的根目录开
_xuzhi_·2020-09-17 04:14

Elasticsearch之中文分词器插件es-ik的自定义热更新词库

前提Elasticsearch之中文分词器插件es-ik的自定义词库先声明，热更新词库，需要用到，web项目和Tomcat。
weixin_34174132·2020-09-17 04:39

elasticsearch集成ik分词器

一．下载编译从地址https://github.com/medcl/elasticsearch-analysis-ik下载elasticsearch中文分词器这里默认的是master的但是master的项目需要用
appke_·2020-09-17 04:33

ElasticSearch速学 - IK中文分词器远程字典设置

前面已经对”IK中文分词器“有了简单的了解：但是可以发现不是对所有的词都能很好的区分，比如：逼格这个词就没有分出来。词库实际上IK分词器也是根据一些词库来进行分词的，我们可以丰富这个词库。
学习笔记666·2020-09-17 04:52

青春有你利用飞桨给青春有你2的选手们做数据分析

评论数据爬取：爬取任意一期正片视频下评论，评论条数不少于1000条2、词频统计并可视化展示3、绘制词云4、结合PaddleHub，对评论进行内容审核首先非常感谢百度能提供相应的培训和算力需要的配置和准备中文分词需要
JiangHe1997·2020-09-17 03:54

LDA处理文档主题分布

在了解本篇内容之前，推荐先阅读相关的基础知识：LDA文档主题生成模型入门结巴中文分词介绍爬取百度百科5A景点摘要并实现分词使用scikit-learn计算文本TF-IDF值一、完整程序fromsklearnimportfeature_extractionfromsklearn.feature_extraction.texti
海天一树·2020-09-17 01:25

NLP——常用工具汇总

NLP——常用工具汇总为方便自己查找资料，整理些可能会用到的工具：1.中文分词工具LAC：https://github.com/baidu/lacLAC全称LexicalAnalysisofChinese
GeekZW·2020-09-17 00:33

用WordNet实现中文情感分析

1.分析中文的情感分析可以用词林做，词林有一大类（Ｇ类）对应心理活动，但是相对于wordnet还是太简单了．因此使用nltk+wordnet的方案，如下：1)中文分词：结巴分词2)中英文翻译：wordnet
xieyan0811·2020-09-17 00:41

使用TensorFlow进行中文自然语言处理的情感分析

1TensorFlow使用分析流程：1.1使用gensim加载预训练中文分词embedding加载预训练词向量模型：https://github.com/Embedding/Chinese-Word-Vectors
weixin_30633405·2020-09-17 00:11

用于存储中文字符的字典树

引言在做中文分词的项目中，需要重复读取词库中的数据。因此如果简单得将词库中的词语读取到列表中会降低会降低每次扫描的效率。于是采用Trie（字典树）的数据结构来进行存储。
山坡上幼稚狗·2020-09-16 22:58

使用word2vec训练中文词向量

不同词条内容需分开训练2中文分词：中文NLP很重要的一步就是分词了，分词的好坏很大程度影响到后续的模型训练效果3特征处理：也
weixin_34121304·2020-09-16 22:51

帝国cms搜索功能小结

1、全站全文搜索一、全站搜索介绍：1、全站全文搜索说明：帝国CMS6.0以上版本新增全站全文搜索功能，采用中文分词、编码转码和Mysql全文检索技术结合，搜索非常高效。
赖人不学·2020-09-16 18:28

简单的文本挖掘-用于QQ聊天记录（R）

首先介绍下用的文本挖掘的包：Rwordseg一个R环境下的中文分词工具，使用rJava调用Java分词工具Ansj。该包需配合rJava包一起使用。
a_achengsong·2020-09-16 14:31

ElasticSearch学习(三)，IK分词器

1、IK分词器介绍IK分词器在是一款基于词典和规则的中文分词器。2、测试分词器在添加文档时会进行分词，索引中存放的就是一个一个的词（term），当你去搜索时就是拿关键字去匹配词，最终找到词关联的文档。
cnsummerLi·2020-09-16 12:36
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他