hanlp分词

ElasticSearch 集群 7.9.0 linux （CentOS 7部署）包含Mysql动态加载同义词、基础词、停用词，Hanlp分词器，ik分词器，x-pack）

linux服务器配置要求：/etc/sysctl.conf文件最后添加一行vm.max_map_count=262144/sbin/sysctl-p验证是否生效修改文件/etc/security/limits.conf，最后添加以下内容。*softnofile65536*hardnofile65536*softnproc32000*hardnproc32000*hardmemlockunlimit
SunForYou·2024-01-31 02:00

java调用Hanlp分词器获取词性；自定义词性字典

一、配置pom，导包：com.hankcshanlpportable-1.6.8二、java代码实现分词：/****hanlp分词*@paraminput*/publicstaticMapgetOut(
你好龙卷风！！！·2024-01-16 21:08

ElasticSearch7.7.1安装分词器——ik分词器和hanlp分词器

背景  之所以选择用ES，自然是看重了她的倒排所以，倒排索引又必然关联到分词的逻辑，此处就以中文分词为例以下说到的分词指的就是中文分词，ES本身默认的分词是将每个汉字逐个分开，具体如下，自然是很弱的，无法满足业务需求，那么就需要把那些优秀的分词器融入到ES中来，业界比较好的中文分词器排名如下，hanlp>ansj>结巴>ik>smartchineseanalysis；  博主这里就选两种比较常用的
╭⌒若隐_RowYet——大数据·2023-10-07 12:42

Hanlp关键词提取、分词、摘要提取

hanlp分词用viterbi计算.【viterbi参考隐马尔可夫模型HMM、条件随机场CRF】hanlp关键词抽取：用textRank。具体统计一个固定窗口内，每个词在窗口内的周边词及对应出现次数。
风路丞·2023-09-09 18:39

HanLP分词+用户自定义词典

文章目录1.分词重要性2.词典说明2.1CustomDictionary2.2追加词典2.3词典格式2.4添加词典3.实验3.1未添加词典3.2加入词典后4其他深入实验4.1自定义词性4.2删除词典4.3删除词典和bin前面谈到分词：HanLP安装与使用-python版和java版pynlpir中文分词+加载用户自定义词典我比较喜欢用HanLP，它的粒度刚刚好。pynlpir太细了，词全切开了。1
机智翔学长·2023-08-15 15:22

【HanLP】--自然语言处理场景应用

目录一、前言二、Springboot集成HanLP三、HanLP分词四、HanLP的关键字提取一、前言HanLP是由一系列模型与算法组成的工具包，主要功能包括分词、词性标注、关键词提取、自动摘要、依存句法分析
DreamBoy_W.W.Y·2023-07-25 17:42

HanLP分词

官网地址:https://github.com/hankcs/HanLP/releases/tag/v1.8.3比较好的hanlp教学文章https://blog.51cto.com/u_15344287/3649214https://blog.51cto.com/u_15344287/category13/p_2一.包上传把下载的包hanlp-1.8.3-release.zip解压后把hanlp
g3230863·2023-06-19 05:18

Docker安装ElasticSearch，并进行ik和hanlp分词

我按装的目标:利用ElastiSearch存储数据，ik和hanlp分词插件对搜索词进行分词，在ES存储的库中找到与搜索词相近的内容。
莱维贝贝、·2023-03-09 07:04

Spark scala编程练习题——HanLP分词统计热词

接上文：https://blog.csdn.net/qq_38151907/article/details/128110112?spm=1001.2014.3001.5501中的题目大纲需求：查询关键词分析，使用HanLP对所有查询词（字段3）进行分词，按照分词进行分组聚合统计出现次数,结果写入本地/root/retrievelog/output/key/part-00000,格式见步骤说明。获取
MIDSUMMER_yy·2023-01-11 18:23

基于spark2.0文本分词+多分类模型

本文分词方法选用HanLP分词工具包（文档丰富、算法公开、代码开源，并
weixin_34202952·2022-12-12 09:39

自然语言处理系列十八》中文分词》分词工具实战》Java的HanLP分词

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《分布式机器学习实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列十八分词工具实战Java的HanLP
陈敬雷-充电了么-CEO兼CTO·2022-10-29 07:44

Spark中使用HanLP分词

1.将HanLP的data(包含词典和模型)放到hdfs上，然后在项目配置文件hanlp.properties中配置root的路径，比如：root=hdfs://localhost:9000/tmp/2.实现com.hankcs.hanlp.corpus.io.IIOAdapter接口：3.设置IoAdapter，创建分词器：然后，就可以在Spark的操作中使用segment进行分词了。文章来源于
lanlantian123·2022-02-13 05:09

NLP自然语言处理-余弦相似性计算文章/文本/字符串雷同率

理论知识1.分词2.列出所有的词3.计算词频4.写出词频向量5.计算相似度二、java开发样例1.pom.xml2.相似度计算代码结尾前言计算文章/字符串的相似度有多种算法，本文将采用java+jieba/hanlp
、Dong·2022-02-11 07:12

自然语言处理hanlp------10HanLP的词典分词实现

文章目录前言一、java版实战二、Python版实战总结前言其实，单纯从我们的实用来看，前面的所有章节都无需理解，本节才是关键，就像绝大部分人不会去追究1+1为什么等于2，我们只需要知道它等于2即可hanlp
上岸川大の辉·2021-02-08 19:10

基于LR的新闻多分类（基于spark2.1.0, 附完整代码）

Scala2.11.8+Java1.8.0_112Spark2.1.0+HanLP1.3.2完整项目代码见我的GitHub：https://github.com/yhao2014/ckoocML（因为HanLP
yhao浩·2020-08-24 18:51

Spark中使用HanLP分词

1.将HanLP的data(包含词典和模型)放到hdfs上，然后在项目配置文件hanlp.properties中配置root的路径，比如：root=hdfs://localhost:9000/tmp/2.实现com.hankcs.hanlp.corpus.io.IIOAdapter接口：publicstaticclassHadoopFileIoAdapterimplementsIIOAdapter
云聪·2020-08-22 01:09

spark集群使用hanlp进行分布式分词操作说明

本篇分享一个使用hanlp分词的操作小案例，即在spark集群中使用hanlp完成分布式分词的操作，文章整理自【qq_33872191】的博客，感谢分享！
adnb34g·2020-08-22 01:13

Hanlp分词实例：Java实现TFIDF算法

算法介绍最近要做领域概念的提取，TFIDF作为一个很经典的算法可以作为其中的一步处理。关于TFIDF算法的介绍可以参考这篇博客http://www.ruanyifeng.com/blog/2013/03/tf-idf.html。计算公式比较简单，如下：预处理由于需要处理的候选词大约后3w+，并且语料文档数有1w+，直接挨个文本遍历的话很耗时，每个词处理时间都要一分钟以上。为了缩短时间，首先进行分词
惠洋热熔胶网膜·2020-08-21 14:44

solr7 集群搭建并集成Hanlp分词组件

准备工作我们需要事先在网站下载好我们需要版本的的solr和zookeeper,我这里选择的是solr7.72,zookeeper版本为3.4.14将我们下载好的tar文件上传服务器解压因为solr依赖jdk，所以我们在服务器上安装了对应jdk，我这里选择的是jdk1.8安装zookeeper集群首先我们在三台服务器上搭建zookeeper集群。#配置data目录dataDir=/usr/local
波若·2020-08-21 01:33

elasticsearch(4)安装hanlp中文分词插件

为了做基于分词和基于模板的智能客服系统，引入了hanlp分词器，直接整：hanlp分词是针对中文分词开发的分词库。
qq_20064245·2020-08-20 17:05

solr7 集群搭建并集成Hanlp分词组件

准备工作我们需要事先在网站下载好我们需要版本的的solr和zookeeper,我这里选择的是solr7.72,zookeeper版本为3.4.14将我们下载好的tar文件上传服务器解压因为solr依赖jdk，所以我们在服务器上安装了对应jdk，我这里选择的是jdk1.8安装zookeeper集群首先我们在三台服务器上搭建zookeeper集群。#配置data目录dataDir=/usr/local
波若·2020-08-20 17:35

solr7 集群搭建并集成Hanlp分词组件

准备工作我们需要事先在网站下载好我们需要版本的的solr和zookeeper,我这里选择的是solr7.72,zookeeper版本为3.4.14将我们下载好的tar文件上传服务器解压因为solr依赖jdk，所以我们在服务器上安装了对应jdk，我这里选择的是jdk1.8安装zookeeper集群首先我们在三台服务器上搭建zookeeper集群。#配置data目录dataDir=/usr/local
波若·2020-08-20 17:35

第3课：简单好用的中文分词利器 jieba 和 HanLP

中文分词有很多种，常见的比如有中科院计算所NLPIR、哈工大LTP、清华大学THULAC、斯坦福分词器、Hanlp分词器、jieba分词、IKAnalyzer等。
一纸繁鸢w·2020-08-20 04:52

win10安装elasticsearch、kibana，添加 HanLP分词器

elasticsearch2.解压kibana3.解压elasticsearch-analysis-hanlp三、启动&测试1.elasticsearch启动2.测试elasticsearch3.测试HanLP
Xiao--Y·2020-08-18 11:56

分词练习

1、现有的分词工具中科院计算所NLPIRansj分词器哈工大的LTP清华大学THULAC斯坦福分词器Hanlp分词器结巴分词KCWS分词器(字嵌入+Bi-LSTM+CRF)ZParIKAnalyzer2
梁下小人·2020-07-30 19:50

HanLP《自然语言处理入门》笔记--3.二元语法与中文分词

文章目录3.二元语法与中文分词3.1语言模型3.2中文分词语料库3.3训练与预测3.4HanLP分词与用户词典的集成3.5二元语法与词典分词比较3.6GitHub项目笔记转载于GitHub项目：https
mantchs·2020-07-30 12:23

准确分词：加载自定义字典分词（pyhanlp分词示例）

目录一、pyhanlp1.1基本介绍1.2pyhanlp加入字典二、分词对比tokenizer.py：hanlp函数cut_data.py主文件全部代码、数据集：https://github.com/455125158/NLP_basis一、pyhanlp1.1基本介绍pyhanlp介绍：https://github.com/hankcs/pyhanlppyhanlp在线演示：http://han
陈宸-研究僧·2020-07-11 17:06

一种带词性标注的分词器使用方法--HanLP分词

HanLP的官方简介如下：HanLP是一系列模型与算法组成的NLP工具包，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。内部算法经过工业界和学术界考验，配套书籍《自然语言处理入门》已经出版。目前，基于深度学习的HanLP2.0正处于alpha测试阶段，未来将实现知识图谱、问答系统、自动摘要、文本语义相似度、指代消解、三元组抽取、实体
gentlewei·2020-07-11 06:41

HanLPTokenizer HanLP分词器

anlp在功能上的扩展主要体现在以下几个方面:•关键词提取•自动摘要•短语提取•拼音转换•简繁转换•文本推荐下面是hanLP分词器的代码注：使用maven依赖com.hankcshanlpportable
猴德华·2020-07-08 04:00

pyhanlp的使用（在python里调用hanlp分词包）

Pyhanlp的使用（在python里调用hanlp分词包）这是我第一次写博客，写的不好，请多多见谅。
小傻子kkk·2020-07-05 09:00

Hanlp分词插件docker集群安装

背景：我是用docker-compose的方式装的es集群，正常情况es镜像没有插件，如果在docker里面用命令安装了那么重启以后又没了，所以采用挂载离线安装的方式版本：es7.21下载Hanlp插件https://github.com/KennFalcon/elasticsearch-analysis-hanlp/releases/tag/v7.2.02创建二个目录plugins:映射es镜像
weixin_30952103·2020-06-28 02:32

Java利用hanlp完成语句相似度分析的案例详解

分享一篇hanlp分词工具使用的小案例，即利用hanlp分词工具分析两个中文语句的相似度的案例。供大家一起学习参考！在做考试系统需求时，后台题库系统提供录入题目的功能。
adnb34g·2020-06-22 12:48

基于HanLP分词的命名实体提取

文本挖掘是抽取有效、新颖、有用、可理解的、散布在文本文件中的有价值知识，并且利用这些知识更好地组织信息的过程。对于文本来说，由于语言组织形式各异，表达方式多样，文本里面提到的很多要素，如人名、手机号、组织名、地名等都称之为实体。在工程领域，招投标文件里的这些实体信息至关重要。利用自然语言处理技术从形式各异的文件中提取出这些实体，能有效提高工作效率和挖掘实体之间的潜在联系。文本预处理1、文本清洗目前
XiaoXiao_Yang77·2020-06-22 08:03

solr7 集群搭建并集成Hanlp分词组件

准备工作我们需要事先在网站下载好我们需要版本的的solr和zookeeper,我这里选择的是solr7.72,zookeeper版本为3.4.14将我们下载好的tar文件上传服务器解压因为solr依赖jdk，所以我们在服务器上安装了对应jdk，我这里选择的是jdk1.8安装zookeeper集群首先我们在三台服务器上搭建zookeeper集群。#配置data目录dataDir=/usr/local
波若·2020-05-27 23:01

NLP(自然语言处理)基本入门之分词操作

文章目录环境问题Hanlp代码解读Hanlp分词Hanlp分词标准分词NLP分词索引分词极速词典分词自定义分词命名实体识别与词性标注关键词提取准确分词（自定义字典）jieba分词hanlp分词添加字典词性标注代码实现及信息提取
YxinMiracle·2020-05-02 10:37

NLP第2课：中文分词利器 jieba 和 HanLP

中文分词有很多种，常见的比如有中科院计算所NLPIR、哈工大LTP、清华大学THULAC、斯坦福分词器、Hanlp分词器、jieba分词、IKAnalyzer等。
Element静婷·2019-12-01 12:41

NLP第2课：中文分词利器 jieba 和 HanLP

中文分词有很多种，常见的比如有中科院计算所NLPIR、哈工大LTP、清华大学THULAC、斯坦福分词器、Hanlp分词器、jieba分词、IKAnalyzer等。
米饭超人·2019-11-29 02:11

中文分词利器 jieba 和 HanLP

中文分词有很多种，常见的比如有中科院计算所NLPIR、哈工大LTP、清华大学THULAC、斯坦福分词器、Hanlp分词器、jieba分词、IKAnalyzer等。
lanlantian123·2019-11-07 15:45

pycharm 安装JPype的教程

配置hanlp分词器时经常要用jpype，在这里记录一下，pychram中要成功调用hanlp分词器的过程我的hanlp文件已经有了，在hanlp文档中。
weixin_40793657·2019-08-08 11:55

hanlp分词工具应用案例：商品图自动推荐功能的应用

阅读更多本篇分享一个hanlp分词工具应用的案例，简单来说就是做一图库，让商家轻松方便的配置商品的图片，最好是可以一键完成配置的。
adnb34g·2019-08-07 11:00

hanlp分词工具应用案例：商品图自动推荐功能的应用

本篇分享一个hanlp分词工具应用的案例，简单来说就是做一图库，让商家轻松方便的配置商品的图片，最好是可以一键完成配置的。
左手中的倒影·2019-08-07 11:07

hanlp分词工具应用案例：商品图自动推荐功能的应用

本篇分享一个hanlp分词工具应用的案例，简单来说就是做一图库，让商家轻松方便的配置商品的图片，最好是可以一键完成配置的。
adnb34g·2019-08-07 10:20

hanlp分词工具应用案例：商品图自动推荐功能的应用

原文链接：https://blog.csdn.net/linlongdeng/article/details/93342691本篇分享一个hanlp分词工具应用的案例，简单来说就是做一图库，让商家轻松方便的配置商品的图片
adnb34g·2019-08-07 10:49

HanLP分词工具中的ViterbiSegment分词流程

阅读更多本篇文章将重点讲解HanLP的ViterbiSegment分词器类，而不涉及感知机和条件随机场分词器，也不涉及基于字的分词器。因为这些分词器都不是我们在实践中常用的，而且ViterbiSegment也是作者直接封装到HanLP类中的分词器，作者也推荐使用该分词器，同时文本分类包以及其他一些自然语言处理任务包中的分词器也都间接使用了ViterbiSegment分词器。今天的文章还会介绍各分词
adnb34g·2019-08-05 10:00

HanLP分词工具中的ViterbiSegment分词流程

本篇文章将重点讲解HanLP的ViterbiSegment分词器类，而不涉及感知机和条件随机场分词器，也不涉及基于字的分词器。因为这些分词器都不是我们在实践中常用的，而且ViterbiSegment也是作者直接封装到HanLP类中的分词器，作者也推荐使用该分词器，同时文本分类包以及其他一些自然语言处理任务包中的分词器也都间接使用了ViterbiSegment分词器。今天的文章还会介绍各分词词典文件
adnb34g·2019-08-05 09:03

HanLP分词工具中的ViterbiSegment分词流程

原文链接：https://zhuanlan.zhihu.com/p/75361590本篇文章将重点讲解HanLP的ViterbiSegment分词器类，而不涉及感知机和条件随机场分词器，也不涉及基于字的分词器。因为这些分词器都不是我们在实践中常用的，而且ViterbiSegment也是作者直接封装到HanLP类中的分词器，作者也推荐使用该分词器，同时文本分类包以及其他一些自然语言处理任务包中的分词
adnb34g·2019-08-05 09:14

HanLP分词研究

这篇文章主要是记录HanLP标准分词算法整个实现流程。HanLP的核心词典训练自人民日报2014语料，语料不是完美的，总会存在一些错误。这些错误可能会导致分词出现奇怪的结果，这时请打开调试模式排查问题:HanLP.Config.enableDebug();那什么是语料呢？通俗的理解，就是HanLP里面的二个核心词典。假设收集了人民日报若干篇文档，通过人工手工分词，统计人工分词后的词频：①统计分词后
hapjin·2019-07-27 15:00

Spring MVCD框架中调用HanLP分词的方法

阅读更多项目简要：关于javaweb的一个项目，用的SpringMVCd框架。鉴于参与此次项目的人中并不是所人都做的Spring，为了能够提高效率，建议大家是先抛开SPring来写自己负责的模块，最后再把各个模块在Spring里面集成。项目里有一个文本分析的模块是一个同学用hanlp写的，由于在最后集成的时候直接使用maven添加的依赖，但最终测试时无法通过。后经分析发现她坐了实体识别，是自己改了
adnb34g·2019-07-10 10:00

Spring MVCD框架中调用HanLP分词的方法

阅读更多项目简要：关于javaweb的一个项目，用的SpringMVCd框架。鉴于参与此次项目的人中并不是所人都做的Spring，为了能够提高效率，建议大家是先抛开SPring来写自己负责的模块，最后再把各个模块在Spring里面集成。项目里有一个文本分析的模块是一个同学用hanlp写的，由于在最后集成的时候直接使用maven添加的依赖，但最终测试时无法通过。后经分析发现她坐了实体识别，是自己改了
adnb34g·2019-07-10 10:00

Spring MVCD框架中调用HanLP分词的方法

项目简要：关于javaweb的一个项目，用的SpringMVCd框架。鉴于参与此次项目的人中并不是所人都做的Spring，为了能够提高效率，建议大家是先抛开SPring来写自己负责的模块，最后再把各个模块在Spring里面集成。项目里有一个文本分析的模块是一个同学用hanlp写的，由于在最后集成的时候直接使用maven添加的依赖，但最终测试时无法通过。后经分析发现她坐了实体识别，是自己改了hanl
adnb34g·2019-07-10 10:56
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他