hanlp中文分词

Lucene 学习资料

另外，如果是在选择全文引擎，现在也许是试试Sphinx的时候了：相比Lucene速度更快，有中文分词的支持，而且内置了对简单的分布式检索的支持；基于Java的全文索引/检索引擎——LuceneLucene
雷霄骅·2022-12-29 07:00

【Python深度学习】循环神经网络RNN中文分词实战（附源码）

需要全部代码请点赞关注收藏后评论区留言私信~~~长期依赖问题以基本单元为基础构建的循环神经网络具备记忆性，虽然能够处理有关联的序列数据问题，但是因为梯度消散和爆炸问题的存在，不能有效利用间距过长的信息，效果有限，称之为长期依赖（Long-TermDependencies）问题。长短时记忆网络是在普通循环神经网络基本单元的基础上，在隐层各单元间传递时通过几个可控门（遗忘门、输入门、候选门、输出门），
showswoller·2022-12-28 14:59

当下流行的中文分词模块jieba

当前流行的中文分词模块包括Jieba分词：Jieba是用Python实现的开源中文分词库，支持三种分词模式：精确模式、全模式和搜索引擎模式，并且支持自定义词典。
Mr数据杨·2022-12-27 22:51

python中中文分词模块_Python分词模块推荐：结巴中文分词

就是前面说的中文分词，这里需要介绍的是一个分词效果较好，使用起来像但方便的Python模块：结巴。
我不记得怎么办·2022-12-27 22:51

条件随机场（Conditional random fields，CRFs）文献阅读指南

与最大熵模型相似，条件随机场（Conditionalrandomfields，CRFs）是一种机器学习模型，在自然语言处理的许多领域（如词性标注、中文分词、命名实体识别等）都有比较好的应用效果。
GarfieldEr007·2022-12-26 22:34

中文分词基础原则及正向最大匹配法、逆向最大匹配法、双向最大匹配法的分析（转载）...

转载：http://blog.sina.com.cn/s/blog_53daccf401011t74.html分词算法设计中的几个基本原则：1、颗粒度越大越好：用于进行语义分析的文本分词，要求分词结果的颗粒度越大，即单词的字数越多，所能表示的含义越确切，如：“公安局长”可以分为“公安局长”、“公安局长”、“公安局长”都算对，但是要用于语义分析，则“公安局长”的分词结果最好（当然前提是所使用的词典中
sungang1120·2022-12-26 10:33

文本分类从入门到精通各种模型的学习——Jieba分词。

结巴中文分词Python中文分词组件四种分词模式精确模式：试图把句子最精确的切开，适合文本分析。
big_matster·2022-12-26 09:02

gephi生成网络关系图_用python分析小说人物关系——实战篇

作者：罗炎培来源：人工智能学习圈用到的工具jiebajieba分词，最好用的开源中文分词工具。他最主要的两个功能是分词和关键词的抽取。在这里我们需要用他的分词功能来提取文本中的人名。
weixin_39906906·2022-12-26 07:57

自然语言处理实验代码

实验一，基于规则的分词算法frompyhanlpimport*defload_dictionary():IOUtil=JClass('com.hankcs.hanlp.corpus.io.IOUtil'
山上有强强·2022-12-26 07:57

【中文分词】最大熵马尔可夫模型MEMM

Xue&Shen'2003[2]用两种序列标注模型——MEMM(MaximumEntropyMarkovModel)与CRF(ConditionalRandomField)——用于中文分词；看原论文感觉作者更像用的是
bye那夏末·2022-12-26 07:13

基于机器学习的人民日报和微博等与疫情有关话题数据两极情感分析

spm=1001.2014.3001.5503目录1.中文分词ChineseWordSegmentation1.1中文分词问题1.2常用中文分词方法1.3开源免费的分词软件2.特征提取FeatureExtraction3
biyezuopin·2022-12-25 08:30

中文分词工具jieba使用-高频热词提取

目录一、概念二、使用1.基本分词2.词性标注3.实战-高频热词提取一、概念近年来，随着NLP技术的日益成熟，开源实现的分词工具越来越多，如Ansj、盘古分词等。本文选择的是更易上手的Jieba做简单介绍。原理：Jieba分词结合了基于规则和基于统计这两类方法。首先基于前缀词典进行词图扫描，前缀词典是指词典中的词按照前缀包含的顺序排列，例如词典中出现了“上”，之后以“上”开头的词都会出现在这一部分，
左岸Jason·2022-12-24 20:51

中文自动分词技术

这就要求在对中文文本进行自动分析前，先将整句切割成小的词汇单元，即中文分词。用具体的例子来说明，就是如何把“我的爸爸是李刚”这样连续书写的语句切分为“我”
weixin_30580341·2022-12-24 07:01

使用Java调用Stanford CoreNLP 进行中文分词

StanfordCoreNLP进行中文分词中文分词的工具有很多，使用斯坦福的CoreNLP进行分词的教程网上也不少，本篇博客是记录自己在使用StanfordCoreNLP进行中文分词的学习笔记。
MeteorMan99·2022-12-24 07:31

python中文分词：结巴分词

http://www.cnblogs.com/kaituorensheng/p/3595879.html特点1，支持三种分词模式：a,精确模式，试图将句子最精确地切开，适合文本分析；b,全模式，把句子中所有的可以成词的词语都扫描出来,速度非常快，但是不能解决歧义；c,搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。2，支持繁体分词3，支持自定义词典安装1，Pyt
tianbwin2995·2022-12-24 07:00

用stanfordCoreNLP进行中文命名实体识别时，出现一直运行不报错，或者报错json编码错误的解决方案

解决方法总结前言提示：这里可以添加本文要记录的大概内容：本文主要解决使用"stanfordcorenlp"包时遇到到的2个问题：问题1：一直运行,但是不报错问题2：用stanfordCoreNLP进行中文分词或者命名实体识别等工作时
romantickai·2022-12-24 07:26

基于python的知识图谱Web应用技术栈初步调研

应用技术栈初步调研1、pythonweb开发技术栈2、python的自然语言处理工具3、知识图谱相关技术结论：对于知识图谱应用的开发，可能会采用python+Django+VUE+Neo4j+Ubuntu操作系统+HanLP
长安山南君·2022-12-23 21:46

Python中文分词及词频统计

Python中文分词及词频统计中文分词中文分词(ChineseWordSegmentation)，将中文语句切割成单独的词组。
lishuaics·2022-12-23 19:52

【NLP】jieba分词

2.3添加用户自定义词典2.4使用停用词2.5统计切分结果中的词频3.文章关键词提取3.1extract_tags()3.2textrank（）1.jieba简介jieba库是一款优秀的Python第三方中文分词库
WarmOrange丨·2022-12-22 15:22

从jieba分词到BERT-wwm——中文自然语言处理（NLP）基础分享系列（3）

常见的基于中文分词算法有：正向最大匹配法、
moronism189·2022-12-22 13:40

理论：NLP学习路径（三）：NLP中文分词技术

1、中文分词简介难点：分词歧义方法：1）规则分词：人工建立词库，按一定方式匹配切分。缺点：对新词很难进行处理。2）统计分词：利用机器学习技术。缺点：过于依赖语料的质量。
zmjames2000·2022-12-22 06:03

自然语言处理系列十三》中文分词》机器学习统计分词》隐马尔可夫模型HMM分词

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《分布式机器学习实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列十三中文分词隐马尔可夫模型HMM
陈敬雷-充电了么-CEO兼CTO·2022-12-22 06:02

Python隐形马尔科夫实战_Python实现HMM（隐马尔可夫模型）

1.前言隐马尔科夫HMM模型是一类重要的机器学习方法，其主要用于序列数据的分析，广泛应用于语音识别、文本翻译、序列预测、中文分词等多个领域。
weixin_39611546·2022-12-22 06:30

hmm 流程图_一种基于HMM的中文分词方法与流程

本发明涉及一种基于HMM的中文分词方法，属于信息处理技术领域。背景技术：现代社会，中文分词在信息检索、机器翻译、信息过滤等信息处理中起着重要的作用，是信息处理的关键技术与难点。
純樂·2022-12-22 06:00

python自然语言处理—HMM模型实战

中文分词—HMM模型实战importosimportpickleclassHMM(object):def__init__(self,model_file):#存取算法中间结果，不用每次都训练模型self.model_file
诗雨时·2022-12-22 06:00

基于Hmm模型和Viterbi算法的中文分词和词性标注

使用python实现基于Hmm模型和Viterbi算法的中文分词及词性标注；使用最大概率算法进行优化。
xuzf-cs·2022-12-22 06:59

Ubuntu下CRF++中文分词实验（一）文档阅读 工具安装

概念入门二、CRF++文档简要阅读CRF++的官方文档Introduction（介绍）Download（下载链接）Installation（安装说明）介绍1、实验内容实验内容：应用CRF++工具，进行中文分词任务工具
夏至夏至520·2022-12-22 06:58

【Python机器学习】隐马尔可夫模型讲解及在中文分词中的实战（附源码和数据集）

需要源码和数据集请点赞关注收藏后评论区留言私信~~~隐马尔可夫模型（HMM）是关于时序的概率模型，它可用于标注等问题中基本思想假设一个盒子里可以装两个骰子，骰子的种类有四面的和六面的两种。现在进行猜骰子实验，该实验由实验者和分析者完成。实验者每次随机从盒子中取出一个骰子，然后补入一个另外种类的骰子。实验者记录下每次实验后盒子中不同种类骰子的数量，可得到一个盒子状态的序列。实验者在每次实验后掷一次骰
showswoller·2022-12-22 06:25

【jieba分词】中文分词工具jieba

本文介绍了中文分词原理以及分词工具jieba，最后利用它进行词性标注以及关键词提取首先，我们要理解为什么要中文分词？因为我们要通过词量化文本，让计算机能够理解文本。那么，什么是中文分词呢？
Minor0218·2022-12-22 06:55

基于隐马尔科夫模型(HMM)的中文分词(CWS)（附代码以及注释）

我是一个刚入门的菜鸟，刚学习了HMM算法以及BiLSTM+CRF进行中文分词，记录下学习过程，欢迎大家讨论。本文以模型使用为导向，介绍如何一步步使用HMM算法进行中文分词。
白给菜鸟·2022-12-22 06:55

基于隐马科夫模型，HMM用于中文分词

HMM用于中文分词一、在分词、分句前用规则处理句子#在分词前用规则处理句子defpreprocess(oriSentence):#删除后缀oriSentence=deleteTMword(oriSentence
陈Yang·2022-12-22 06:54

基于HMM模型实现中文分词

本案例在前文将说明常用分词库及其简单应用，之后会通过中文分词的例子介绍和实现一个基于统计的中文分词方法——HMM模型，该模型能很好地处理歧义和未登录词问题，应用在jieba等分词器中。
数学是算法的灵魂·2022-12-22 06:23

【Python机器学习】条件随机场模型CRF及在中文分词中实战（附源码和数据集）

需要源码请点赞关注收藏后评论区留言私信~~~基本思想假如有另一个标注序列（代词动词名词动词动词），如何来评价哪个序列更合理呢？条件随机场的做法是给两个序列“打分”，得分高的序列被认为是更合理的。既然要打分，那就要有“评价标准”，称为特征函数。例如，可以定义相邻两个词的词性的关系为一个特征函数，那么对于“语言处理”来说，上文提到的两个序列分别标注为“名词动词”和“动词动词”。从语言学的知识可知，“动
showswoller·2022-12-22 06:53

实战三十七：基于HMM模型实现中文分词

本案例在前文将说明常用分词库及其简单应用，之后会通过中文分词的例子介绍和实现一个基于统计的中文分词方法——HMM模型，该模型能很好地处理歧义和未登录词问题，应用在jieba等分词器中。
甜辣uu·2022-12-22 06:53

LSTM中文分词

预处理及训练过程：代码：#-*-coding:utf-8-*-fromtensorflow.python.keras.modelsimportModel,load_modelfromtensorflow.python.keras.layersimportInput,Dense,Dropout,LSTM,Embedding,TimeDistributed,Bidirectionalfromtenso
我只有三天不想上班·2022-12-21 14:59

隐马尔可夫模型HMM笔记——HMM原理介绍、python hmmlearn库的使用

中文分词、词性标注以及命名实体识别，都可以转化为序列标注问题。本文按照隐马尔
音无八重·2022-12-20 07:30

[已解决]python36+tensorflow-gpu2.3.0+hanlp[full]安装方法

python比较保险condainstall--nameforNLPpython=3.62.记得添加清华或其他国内镜像（老生常谈，略3.安装tensorflow-gpuGPU需要装2.3.0的版本，因为后面hanlp
Shawn向陽·2022-12-19 16:23

HanLP基本用法

选择汉语言处理包HanLP实现这一目标，本文将梳理了基于python的HanLP工具包的一些基本用法，便于日后需要时的查找使用。
Duwr·2022-12-19 16:51

pip install hanlp[full]无法安装

如果最近不能使用hanlp或是版本问题解决方案:1.pipinstallhanlp[full]2.如果出现权限问题:sudopipinstallhanlp[full]如果在安装过程中出现zsh不兼容:nomatchesfound
Tony-tg·2022-12-19 16:19

windows或linux使用pip安装Hanlp[full]，安装 fasttext 时失败，安装fasttext教程

问题描述在进行人工智能的开发时，尤其是nlp的开发，我们可能会用到jieba分词工具，或者是另一个很强大的hanlp，现在都是安装hanlp2.X版本，一般的安装是pipinstallhanlp，但是这样安装以后
小奶狗先生·2022-12-19 15:17

自然语言学习笔记之——hanlp环境配置

hanlp的环境配置还是比较简单的，这里我主要配置了两个环境，一个是java环境和python,具体如下：目录anaconda安装hanLpidea安装NLPanaconda安装hanLp1指定清华镜像
坤坤子的世界·2022-12-19 15:16

安装Hanlp2.1报错探索

hanlp安装需要tensorflow本机环境anaconda：python3.6tensorflow2.1.01.直接安装：pipinstallhanlp使用hanlp.load(“CTB6_CONVSEG
像夏天一样热·2022-12-19 15:16

python 3.7 下 安装和调用 HanLP

python调用java需要jpype库第一步：安装pyhanlp:pipinstallpyhanlp若报错，安装VisualC++打开控制面板（可以win+Q，在小娜的搜索框里直接搜索），在“程序”中找到已经安装的程序
huangjiajia123·2022-12-19 15:13

jieba&hanlp（分词、命名实体识别、词性标注）

jieba分词：按照字序列的一定顺序重新组合作用：帮助人更好的理解文字的意思jieba通常有三种用法：精确模式，全模式，搜索引擎模式importjieba#jieba.cutl如果不给参数，默认是精确模式content="工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作"#jieba.cut(content,cut_all=False)#返回一个生成器对象,cut_all
海滩上的那乌克丽丽·2022-12-19 15:12

NLP入门工具hanlp就好——python版本和java版本安装提示

hanlp安装提示Hanlp项目介绍直接见Github开源介绍：.HanLP项目主页：https://github.com/hankcs/HanLPHanLP下载地址：https://github.com
明天,今天,此时·2022-12-19 15:40

HanLP安装与使用-python版和java版

HanLP是一系列模型与算法组成的NLP工具包，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。
机智翔学长·2022-12-19 15:39

自然语言处理 hanlp

hanlp安装这个安装很离谱，在网站https://pypi.org/project/hanlp/#description上有显示对应的版本及适用情况。
幽影相随·2022-12-19 15:38

【一】头歌平台实验-基于jieba的中文分词实战

Jieba是目前最好的Python中文分词组件。本实训主要介绍Jieba模块的使用，并通过示例与实战，帮助大家掌握使用Jieba的方法。
霜淮子·2022-12-18 11:17

Python文本分析（NLTK,jieba,snownlp）

近些年，NLP在中文分词、词性标注、词汇语义、句法解析方面均获得了很大的突破。大量的技术都应用于商业实践，并在商业
数据攻城小狮子·2022-12-17 13:05

学习笔记（6）——感知机分类与序列标注

线性分类模型三、感知机算法四、基于感知机的人名性别分类五、结构化预测问题1定义2结构化预测与学习流程六、线性模型的结构化感知机算法1结构化感知机算法2与感知机算法比较3结构化感知机与序列标注七、基于结构化感知机的中文分词隐马弥可夫模型能捕捉的特征仅限于两种
StriveQueen·2022-12-17 08:04
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他