hanlp

自然语言处理系列四十二》新词发现与短语提取》新词发现》代码实战

上一篇文章已经对新词发现做了详细介绍，下面展示代码，HanLP工具提
陈敬雷-充电了么-CEO兼CTO·2024-08-29 20:24

HanLP实战教程：离线本地版分词与命名实体识别

HanLP是一个功能强大的自然语言处理库，提供了多种语言的分词、命名实体识别等功能。然而，网上关于HanLP的说明往往比较混乱，很多教程都是针对很多年前的API用法。
Tim_Van·2024-02-20 13:58

pyhanlp最全安装和使用教程

文章目录pyhanlp介绍pyhanlp安装分词关键词提取文本摘要依存句法分析短语提取NER中国人名识别音译名识别简繁转换拼音转换pyhanlp可视化pyhanlp介绍HanLP是一个由中国开发者何晗(
Cachel wood·2024-02-20 10:02

NLP词典切分算法

2.1完全切分2.2正向最长匹配2.3逆向最长匹配2.4双向最长匹配3.速度测评词的定义在语言学上，词语的定义是具备独立意义的最小单位在基于词典的中文分词中，词典中的字符串就是词词的性质一、词典的加载加载HanLP
卡拉比丘流形·2024-02-09 02:19

hanlp中的N最短路径分词

N-最短路径是中科院分词工具NLPIR进行分词用到的一个重要算法，张华平、刘群老师在论文《基于N-最短路径方法的中文词语粗分模型》中做了比较详细的介绍。该算法算法基本思想很简单，就是给定一待处理字串，根据词典，找出词典中所有可能的词，构造出字串的一个有向无环图，算出从开始到结束所有路径中最短的前N条路径。因为允许相等长度的路径并列，故最终的结果集合会大于或等于N。根据算法思想，当我们拿到一个字串后
lanlantian123·2024-02-03 17:02

汉语言处理包 HanLP v1.3.5，新功能、优化与维护

HanLPv1.3.5更新内容：大幅优化CRF分词和二阶HMM分词，重构CharacterBasedGenerativeModelSegment自定义词典支持热更新：#563，ngram模型支持热加载：
lanlantian123·2024-02-03 02:04

ElasticSearch分词器应用

,新建一个索引article并且指定字段使用的分词器PUTarticle{"mappings":{"properties":{"content":{"type":"text","analyzer":"hanlp_index
qq_44209563·2024-02-01 11:50

ElasticSearch 集群 7.9.0 linux （CentOS 7部署）包含Mysql动态加载同义词、基础词、停用词，Hanlp分词器，ik分词器，x-pack）

linux服务器配置要求：/etc/sysctl.conf文件最后添加一行vm.max_map_count=262144/sbin/sysctl-p验证是否生效修改文件/etc/security/limits.conf，最后添加以下内容。*softnofile65536*hardnofile65536*softnproc32000*hardnproc32000*hardmemlockunlimit
SunForYou·2024-01-31 02:00

各种中文分词工具的使用方法

诸神缄默不语-个人CSDN博文目录本文将介绍jieba、HanLP、LAC、THULAC、NLPIR、spacy、stanfordcorenlp、pkuseg等多种中文分词工具的简单使用方法。
诸神缄默不语·2024-01-30 17:30

【3-1】实验——hanlp和jieba常用方法

一.下载pyhanlp1.打开conda使用如下语句condainstall-cconda-forgeopenjdkpython=3.8jpype1=0.7.0-ypipinstallpyhanlp附：
铁盒薄荷糖·2024-01-30 17:59

NLP学习------HanLP使用实验

在之前的实验中得到了不在词向量里的词与分词结果，结果有500多个词不在词向量里，解决方案就是重新分词，或再追加训练这些词到词向量里。但后者相对麻烦且目前样本量不大。我跟据词向量的作者[6]所使用的分词工具来分词，会比不同工具（jieba）的效果要好，因为都是同一模式的分词，分出来的词应该都会存在于大型语料库中。实验证明思路是对的，最后结果是只有60几个词不在词向量里，其中大部分为名词，还有些为因语
lanlantian123·2024-01-28 06:51

可能会绕过RNN了

我会尽量使用hanlp（这个库已经能够较好完成以上的需求）。因为Allenlp是基于pytorch，有可能还要看pytorch。进一步还会仔细拆一下transformer，
我的昵称违规了·2024-01-27 10:50

自然语言处理--概率最大中文分词

常用的中文分词工具包括jieba、HanLP等。二、算法描述本文实现概率最大中文分词算法，具体算法描述如
Java之弟·2024-01-24 12:03

大数据毕业设计：python高校微博舆情分析可视化系统 NLP情感分析 可视化 Flask框架 爬虫（源码）✅

1、项目介绍技术栈：Flask框架、vue前端框架、Echarts可视化、requests爬虫、snownlp自然语言情绪值分析、hanlp
q_3548885153·2024-01-21 23:22

hanlp,pkuseg,jieba,cutword分词实践

总结：只有jieba,cutword,baidulac成功将色盲色弱成功分对,这两个库字典应该是最全的hanlp[持续更新中]https://github.com/hankcs/HanLP/blob/doc-zh
回到工作狂状态·2024-01-19 13:08

使用Hanlp加载大字典

问题因为需要加载一个近1G的字典到Hanlp中，一开始使用了CustomDictionay.add()方法来一条条的加载，果然到了中间，维护DoubleArraTre的成本太高，添加一个节点，都会很长时间
lanlantian123·2024-01-17 12:10

java调用Hanlp分词器获取词性；自定义词性字典

一、配置pom，导包：com.hankcshanlpportable-1.6.8二、java代码实现分词：/****hanlp分词*@paraminput*/publicstaticMapgetOut(
你好龙卷风！！！·2024-01-16 21:08

自然语言处理 one-hot编码

one-hot编码的优劣势：优势：操作简单，容易理解.劣势：完全割裂了词与词之间的联系，而且在大语料集下，每个向量的长度过大，占据大量内存.importtorchfrompyhanlpimport*fromsklearn.preprocessingimportOneHotEncoderimportnumpyasnpcontent
<编程路上>·2024-01-05 22:54

Java实现汉字拼音转换和关键字分词（pinyin4j、hanlp）

文章目录pinyin4jhanlp关键字分词pinyin4j添加maven依赖com.belerwebpinyin4j2.5.0获取文本拼音/***获取文本拼音*@paramcontext文本内容*@paramexistNotPinyin
少爷晚安。·2024-01-05 09:00

Java中将繁体中文文本转换为简体中文

首先，你需要添加HanLP的依赖。
weixin_43652507·2023-12-29 05:56

SpringBoot集成opencc4j实现繁体中文转为简体中文

有很多现成的工具和库可以实现这个功能，比如OpenCC、HanLP等。
Heartsuit·2023-12-23 20:47

使用HanLP增强Elasticsearch分词功能

hanlp-ext插件源码地址：http://git.oschina.net/hualongdata/hanlp-ext或https://github.com/hualongdata/hanlp-extElasticsearch
lanlantian123·2023-12-18 12:19

SpringBoot进行自然语言处理，利用Hanlp进行文本情感分析

#前言本文主要是SpringBoot进行自然语言处理，利用Hanlp进行文本情感分析，如果有什么需要改进的地方还请大佬指出⛺️作者简介：大家好，我是青衿☁️博客首页：CSDN主页放风讲故事每日一句：努力一点
放风讲故事·2023-12-18 03:45

Hanlp自然语言处理如何再Spring Boot中使用

一、HanLPHanLP(Hankcs'NLP)是一个自然语言处理工具包，具有功能强大、性能高效、易于使用的特点。
Crhy、Y·2023-12-15 17:25

Python环境中HanLP安装与使用

根据github最新官方文档整理文章目录1在Terminal使用pip安装2第一个hanlpdemo2.1示例Demo:3Demo方法解释3.1计算句子数3.2获取所有以指定前缀开头的元素3.3美丽化输出语言
程序终结者·2023-12-02 10:23

elasticsearch安装ik中文分词器

中文的分词器现在大家比较推荐的就是IK分词器，当然也有些其它的比如smartCN、HanLP。这里只讲如何使用IK做为中文分词。
shykevin·2023-12-02 07:13

文本情感分类

基于情感词典输入句子，预处理文本分词训练情感词典（积极消极词汇、否定词、程度副词等）判断规则（算法模型）情感分类文本预处理使用正则表达式，过滤掉我们不需要的信息（如Html标签等）句子自动分词jieba中文分词HanLp
dreampai·2023-11-30 06:13

[nlp] tokenizer

词粒度的切分就跟人类平时理解文本原理一样，可以用一些工具来完成，例如英文的NLTK、SpaCy，中文的jieba、HanLP等。词粒度Toke
心心喵·2023-11-29 09:45

HanLP《自然语言处理入门》笔记--6.条件随机场与序列标注

文章目录6.条件随机场与序列标注6.1机器学习的模型谱系6.2条件随机场6.3条件随机场工具包6.4HanLP中的CRF++API6.5GitHub笔记转载于GitHub项目：https://github.com
mantchs·2023-11-25 20:37

一文了解 StandardTokenizer 分词器，分词原理

StandardTokenizer是HanLP中的一个分词器，也是默认的标准分词器。它基于词典和规则的方式对中文文本进行分词，将输入的句子切分成一个个独立的词语。
大家都说我身材好·2023-11-25 08:41

FoolNLTK 及 HanLP使用

个人接触的分词器安装调用jieba“结巴”中文分词：做最好的Python中文分词组件https://github.com/fxsjy/jieba清华大学THULAC：一个高效的中文词法分析工具包https://github.com/thunlp/THULAC-PythonFoolNLTK可能不是最快的开源中文分词，但很可能是最准的开源中文分词https://github.com/rockyzhen
水...琥珀·2023-11-18 23:26

句法分析工具 LTP HanLP

pyltp.readthedocs.io/zh_CN/latest/api.htmlhttps://pypi.python.org/pypi/pyltphttps://github.com/hankcs/HanLP
lanlantian123456·2023-11-18 23:50

Python 实战 | 进阶中文分词之 HanLP 词典分词（下）

更多内容点击查看Python实战|进阶中文分词之HanLP词典分词（下）Python教学专栏，旨在为初学者提供系统、全面的Python编程学习体验。
企研数据·2023-11-16 13:02

自然语言处理

主要内容总揽2.知名NLP服务系统与开源组件简介2.1单一服务提供商2.1.1汉语分词系统ICTCLAS2.1.2哈工大语言云（LanguageTechnologyPlatform，LTP）2.1.3HanLP2.1.4BosonNLP2.2
橙子味的狸·2023-10-30 10:28

NLP自然语言处理之AI深度学习实战-分词:jieba/Stanford NLP/Hanlp-01

分词、词性标注及命名实体识别介绍及应用分词中文分词(ChineseWordSegmentation)指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。中文/n分词/n是/v其他/p中文/n(信息,n)处理/v的基础，搜索引擎、机器翻译（MT）、语音合成、自动分类、自动摘要、自动校对等等，都需要用到分词。词性标注词性标注（Part-of-Spee
gemoumou·2023-10-27 16:30

SparkCore系列-7、SougoQ日志分析

传送门：大数据系列文章目录官方网址：http://spark.apache.org/、https://databricks.com/spark/about目录回顾介绍业务需求准备工作HanLP中文分词样例类
技术武器库·2023-10-23 05:27

大数据Spark对SogouQ日志分析

目录1业务需求2准备工作2.1HanLP中文分词2.2样例类SogouRecord3业务实现3.1读取数据3.2搜索关键词统计3.3用户搜索点击统计3.4搜索时间段统计3.5完整代码1业务需求使用搜狗实验室提供
赵广陆·2023-10-23 05:56

Maven管理jar包的springBoot项目使用Hanlp自定义词典分词

因项目需要，使用到了Hanlp中文分词，该分词工具分词效果挺好，这里对于分词效果不展开赘述。
weixin_45666979·2023-10-23 01:06

spring boot对接hanlp的对接示例（推荐的一种实践方式）

经过选型，我们选择了一款免费版的hanlp工具，当然你也可以选择市面上的其他工具，如
天草二十六_简村人·2023-10-23 01:06

自然语言处理工具包 HanLP在 Spring Boot中的应用

概述HanLP是基于Java开发的NLP工具包，由一系列模型与算法组成，目标是普及自然语言处理在生产环境中的应用。
CodeSheep程序羊·2023-10-23 01:05

[HanLP]SpringBoot2.3整合HanLP1.7.7

二、使用技术HanLP+SpringBoot三、设计思路流程图下载：https://download.csdn.net/download/qq_36254699/13119828四、具体实现pom引入jarcom.hankcshanlp1.7.7com.hankcshanlp-s
一杯糖不加咖啡·2023-10-23 01:35

Spring Boot中对自然语言处理工具包hanlp的调用详解

概述HanLP是基于Java开发的NLP工具包，由一系列模型与算法组成，目标是普及自然语言处理在生产环境中的应用。
adnb34g·2023-10-23 01:02

HanLP集成到Springboot及使用自定义词典

前言HanLP集成到Springboot及使用自定义词典文章目录前言简介集成Springboot扩展使用自定义词典路径易错问题简介开源工具包，提供词法分析、句法分析、文本分析和情感分析等功能，具有功能完善
芒果-橙·2023-10-23 01:31

python 分词工具训练_Python中文分词工具大合集：安装、使用和测试

首先介绍之前测试过的8款中文分词工具，这几款工具可以直接在AINLP公众号后台在线测试，严格的说，它们不完全是纯粹的中文分词工具，例如SnowNLP,Thulac,HanLP，LTP，CoreNLP都是很全面的
weixin_39695323·2023-10-20 12:46

NLP学习------HanLP使用实验

学习内容在之前的实验中得到了不在词向量里的词与分词结果，结果有500多个词不在词向量里，解决方案就是重新分词，或再追加训练这些词到词向量里。但后者相对麻烦且目前样本量不大。我跟据词向量的作者[6]所使用的分词工具来分词，会比不同工具（jieba）的效果要好，因为都是同一模式的分词，分出来的词应该都会存在于大型语料库中。实验证明思路是对的，最后结果是只有60几个词不在词向量里，其中大部分为名词，还有
gladosAI·2023-10-18 12:03

在Hanlp词典和jieba词典中手动添加未登录词

在使用Hanlp词典或者jieba词典进行分词的时候，会出现分词不准的情况，原因是内置词典中并没有收录当前这个词，也就是我们所说的未登录词，只要把这个词加入到内置词典中就可以解决类似问题，如何操作呢，下面我们来看一下
lanlantian123·2023-10-14 04:51

AttributeError: module ‘hanlp.utils.rules‘ has no attribute ‘tokenize_english‘

附原文链接：http://t.csdnimg.cn/wVLibimporthanlptokenizer=hanlp.utils.rules.tokenize_englishtokenizer('Mr.Hankcsboughthankcs.comfor1.5thousanddollars
轲乐夹欣糖·2023-10-12 20:25

HanLP作者出品|推荐一本自然语言处理入门书籍|包邮送5本

1.NLP如火如荼皇冠上的明珠涌入大批粉丝语言，对，就是我们每个正常人类每天说的话，写的字，以及其他各种以语言形式记录的内容，理解这些玩意，对于我们人类似乎是自然而然的，甚至不费吹灰之力。然而，目前对于“万能”的计算机系统来说是个老大难问题。例如，"晒下我被子，我感觉很潮"，这个晒到底是晒太阳还是晒朋友圈呢？这个潮到底是潮湿还是新潮呢？这句话的理解不仅涉及词义消歧，还涉及到有关人类社会的背景知识和
文文学霸·2023-10-09 11:55

ElasticSearch7.7.1安装分词器——ik分词器和hanlp分词器

此处就以中文分词为例以下说到的分词指的就是中文分词，ES本身默认的分词是将每个汉字逐个分开，具体如下，自然是很弱的，无法满足业务需求，那么就需要把那些优秀的分词器融入到ES中来，业界比较好的中文分词器排名如下，hanlp
╭⌒若隐_RowYet——大数据·2023-10-07 12:42

【深度学习】实验18 自然语言处理

文章目录自然语言处理分词技术1.正向最大匹配算法2.HanLP常用方法3.Jieba常用方法构建词向量1.基于sklearn构建One-hot词向量2.基于gensim构建word2vec词向量附：系列文章自然语言处理自然语言处理
Want595·2023-09-30 16:36
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他