bilstmcrf词性标注

NLP入门（六）pyltp的介绍与使用

它提供的功能包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等。  pyltp是LTP的Python封装，同时支持Python2和Python3版本。
jclian91·2019-01-31 00:00

香侬科技提出中文字型的深度学习模型Glyce，横扫13项中文NLP记录

香侬科技近期提出Glyce，首次在深度学习的框架下使用中文字形信息（Glyph），横扫13项中文自然语言任务记录，其中包括：(1)字级别语言模型(2)词级别语言模型(3)中文分词(4)命名实体识别(5)词性标注
Paper_weekly·2019-01-30 09:44

jieba-基于TextRank关键词提取的实现

jieba-基于TextRank关键词提取的实现对每个句子进行分词和词性标注处理过滤掉除指定词性外的其他单词，过滤掉出现在停用词表的单词，过滤掉长度小于2的单词将剩下的单词中循环选择一个单词，将其与其后面
Atishoo_13·2019-01-23 19:39

NLP序列标注&命名实体识别相关算法

序列标注维特比算法（一）维特比算法（二）CRF算法简介入门TensorFlow教程——Bi-LSTM+CRF进行序列标注（代码浅析）自然语言处理PPT笔记-NLP数学基础Tensorflow进行POS词性标注
Scarlett_ma·2019-01-22 14:05

TensorFlow实现Word2Vec

进而对其他自然语言处理，比如文本分类、词性标注、机器翻译等。在自然语言的Word2Vec处理之前，通常将字词转换为离散的单独的符号，这就是One-
IMWTJ·2019-01-18 21:43

NLP-分词、词性标注及命名实体识别（一）：概念及jieba使用解析

二、词性标注词性标注（Part-of-Speechtagging或POStagging），又称词类标注或简称标注，是指分词结果中的每个单词标注一个正确的词性的程序，也即确定每个词是名词、动词、形容词或其他词性的过程
Merlin17Crystal33·2019-01-17 13:06

jieba——分词、添加词典、词性标注、Tokenize

jieba——分词、添加词典、词性标注、Tokenize1.分词jieba.cut方法接受三个输入参数:需要分词的字符串；cut_all参数用来控制是否采用全模式；HMM参数用来控制是否使用HMM模型jieba.cut_for_search
Atishoo_13·2019-01-16 21:53

词性标注调研

原文引用http://heshenghuan.github.io/2016/03/23/词性标注调研/定义词性用来描述一个词在上下文中的作用。
彭强兵·2019-01-08 15:39

pyhanlp 中文词性标注与分词简介

阅读更多pyhanlp实现的分词器有很多，同时pyhanlp获取hanlp中分词器也有两种方式第一种是直接从封装好的hanlp类中获取，这种获取方式一共可以获取五种分词器，而现在默认的就是第一种维特比分词器1.维特比(viterbi)：效率和效果的最佳平衡。也是最短路分词，HanLP最短路求解采用Viterbi算法2.双数组trie树(dat)：极速词典分词，千万字符每秒（可能无法获取词性，此处取
adnb34g·2019-01-07 13:00

pyhanlp 中文词性标注与分词简介

pyhanlp中文词性标注与分词简介pyhanlp实现的分词器有很多，同时pyhanlp获取hanlp中分词器也有两种方式第一种是直接从封装好的hanlp类中获取，这种获取方式一共可以获取五种分词器，而现在默认的就是第一种维特比分词器
adnb34g·2019-01-07 10:18

浅谈分词算法（5）基于字的分词方法（bi-LSTM）

前面几篇博文中我们已经阐述了不论分词、词性标注亦或NER，都可以抽象成一种序列标注模型，seq2seq，就是将一个序列映射到另一个序列，这在NLP领域是非常常见的
xlturing·2019-01-06 22:00

NLP面试

如kaggle的quoraquestionpairs比赛；翻译问题：文本翻译；结构化预测：将一段文本转化为结构化的输出序列，如将文本中的词进行词性标注，语法树生成；人机对话：建模为马尔科夫决策过程，当前要采取的动作和上一个状态和动作有关
Bai_Yin·2019-01-05 21:32

在Windows下离线安装pyhanlp

HanLP是一款优秀的中文自然语言处理工具，可以实现包括分词、词性标注、实体识别在内容诸多功能，详情见其项目主页。
SunJW_2017·2018-12-20 11:07

自然语言处理学习（一）之概述小结

问题：语法解析：大规模的中文分析、词性标注系统已基本达到商用，但是句法解析方面还存在精度问题。语义解析:命
皮的开心·2018-12-19 22:23

自然语言处理（4）——从文本中提取信息

这个流程图中的左边部分其实就是前面几节提到的内容，当我们拿到一个字符串文本，要先对数据进行预处理，即先对句子进行分割，然后再对句子进行分词，接着给分词进行词性标注，再接着就是这节内容提到的实体识别，实体识别其实就是对已标注的词汇进行分块
Rise*3·2018-12-16 00:48

在Python中调用Java扩展包HanLP测试记录

阅读更多最近在研究中文分词及自然语言相关的内容，关注到JAVA环境下的HanLP，HanLP是一个致力于向生产环境普及NLP技术的开源Java工具包，支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注
adnb34g·2018-12-12 16:00

在Python中调用Java扩展包HanLP测试记录

阅读更多最近在研究中文分词及自然语言相关的内容，关注到JAVA环境下的HanLP，HanLP是一个致力于向生产环境普及NLP技术的开源Java工具包，支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注
adnb34g·2018-12-12 16:00

在Python中调用Java扩展包HanLP测试记录

阅读更多最近在研究中文分词及自然语言相关的内容，关注到JAVA环境下的HanLP，HanLP是一个致力于向生产环境普及NLP技术的开源Java工具包，支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注
adnb34g·2018-12-12 16:00

LTP与jieba词性标注对比

词性标注对比¶LTP使用的是863词性标注集，其各个词性含义如下表。
野路子的数据科学·2018-12-12 16:46

LTP与jieba词性标注对比

词性标注对比¶LTP使用的是863词性标注集，其各个词性含义如下表。
野路子的数据科学·2018-12-12 16:46

【转】用IDCNN和CRF做端到端的中文实体识别

因为同是序列标注问题，除去实体识别之外，相同的技术也可以去解决诸如分词、词性标注等不同的自然语言处理问题。说到序列标注
imsuhxz·2018-12-10 16:51

NLP基础之分词、向量化、词性标注

基于HMM（隐马尔可夫模型）的分词方法基本部分状态值序列B：Begin；M：Middle；E：End；S：Single；观察值序列待切分的词；初始化概率BMES这四种状态在第一个字的概率分布情况；状态转移矩阵HMM中，假设当前状态只与上一状态相关，则此关系可用转移矩阵表示；条件概率矩阵HMM中，观察值只取决与当前状态值（假设条件），条件概率矩阵主要建模在BMES下各个词的不同概率，和初始化概率、状
村雨1943·2018-12-07 10:57

Python import 导入模块的时候为什么引用不了子模块?

问题描述比如导入结巴分词,代码如下:importjieba#引入母模块然后直接使用结巴的子模块posseg来标注词性,代码如下:jieba.posseg.cut('中文词性标注')这句报异常AttributeError
dta0502·2018-12-05 15:10

HanLP中人名识别分析详解

先看几遍论文《基于角色标注的中国人名自动识别研究》关于命名识别的一些问题，可参考下列一些issue:l·名字识别的问题#387l·机构名识别错误l·关于层叠HMM中文实体识别的过程HanLP参考博客：词性标注层叠
adnb34g·2018-12-05 11:00

NLP第8课：从自然语言处理角度看 HMM 和 CRF

近几年在自然语言处理领域中，HMM（隐马尔可夫模型）和CRF（条件随机场）算法常常被用于分词、句法分析、命名实体识别、词性标注等。
米饭超人·2018-12-02 21:00

中文 NLP（6）-- stanford 训练词性标注模型

在第一节发布的样本中，修改类StanfordPOSTagger如下，增加训练模型文件方法：#词性标注classStanfordPOSTagger(StanfordCoreNLP):...以上代码略，增加如下方法
ouprince·2018-11-30 10:24

自然语言处理(一)NLP概述

对人类特有的书面形式和口头形式的自然语言的信息进行各种类型处理和加工的技术.NLP内容结构NLP基础技术词法分析词法分析目的是从句子中分出单词，找出词汇的各个词素，从中获得单词的语言学信息并确定单词的词性.词法分析是很多中文信息处理任务的必要步骤.自动分词命名实体识别词性标注句法分析句法分析是对句子和短语结构进行分析
JN_rainbow·2018-11-27 22:10

自然语言处理基础技术之词性标注实战

https://www.zhihu.com/people/yuquanle/columns公众号：StudyForAICSDN地址：http://blog.csdn.net/m0_37306360jieba词性标注
yuquanle·2018-11-26 18:18

百度开源 FAQ 问答系统（AnyQ）|问题分析模块（Analysis）

该模块所完成的主要功能有：1.对句子进行分词；2.对分词后的每个单词进行词性标注（POS）；3.将每个单词进行词向量表示；4.命名实体识别（NER）。
nopSled·2018-11-24 16:41

基于特定语料库生成HMM转移概率分布和发射概率分布用于词性标注 Python

那么如何使用特定语料库通过HMM算法进行词性标注呢？我们可以从HMM的五元组入手。
不愿透露姓名的广外男子·2018-11-17 19:59

基于HMM+Viterbi算法的词性标注 Python

1概述隐含马尔可夫模型（HMM）被认为是解决大多数自然语言处理问题最快速、有效的方法；20世纪70年代被应用在语音处理上，后被广泛应用在汉语自动分词、词性标注、统计机器翻译等方面。
不愿透露姓名的广外男子·2018-11-16 20:07

pyhanlp 停用词与用户自定义词典功能详解

阅读更多hanlp的词典模式之前我们看了hanlp的词性标注，现在我们就要使用自定义词典与停用词功能了，首先关于HanLP的词性标注方式具体请看HanLP词性标注集。
adnb34g·2018-11-16 10:00

pyhanlp 停用词与用户自定义词典

hanlp的词典模式之前我们看了hanlp的词性标注，现在我们就要使用自定义词典与停用词功能了，首先关于HanLP的词性标注方式具体请看HanLP词性标注集。
lanlantian123·2018-11-15 13:43

Python【jieba】词性标注表

文章目录jieba词性标注表（0.39版）读取jieba词库，生成词性标注表，保存为excel带词性的分词词与词性间映射en2cn字典映射补充nltk词性标注表百度AI词性标注表用于【句法分析】用于【词法分析
基基伟·2018-11-12 19:59

结巴分词+词性标注（电子病历数据）

结巴分词+词性标注方法一：只使用python中的jieba分词以及词性标注工具示例文本：加入自定义词典代码importjiebaimportjieba.possegaspsegimportrefilename
Gemini7721·2018-11-12 16:08

《Speech and Language Processing》读书笔记——词性标注（pos-tagging）\HMM模型原理

词性标注与HMM模型原理1.摘要本章主要介绍了：英语中的词性分类、标注集词性标注的意义及方法（基于规则、基于HMM、基于规则转换）词性标注的评估和误差分析关于词性标注的一些前沿话题（多标注词性和合成词的分割问题
Kevin照墨·2018-11-08 22:27

传统机器学习算法解决NLP问题

分类模型：文本分类、意图识别、情感分类LogisticsRegressionBayesModelSVMDecisionTree序列标注模型：分词、词性标注、命名实体标注隐马尔科夫模型（HMM）最大熵模型
dt_lizhen·2018-11-08 15:46

HanLP自然语言处理包开源

中文分词只是第一步；HanLP从中文分词开始，覆盖词性标注、命名实体识别、句法分析、文本分类等常用任务，提供了丰富的API。
weixin_34119545·2018-11-07 14:29

Mac下载安装nlp处理工具pyltp及其python实现

该工具提供了分词，词性标注，命名实体识别，依存句法分析，语义角色标注的功能,关于各个模块任务的介绍可以查阅这里的介绍。
风弦鹤·2018-11-05 01:05

【自然语言处理】论述自然语言处理的技术范畴

文章目录论述自然语言处理的技术范畴一、前言二、主要技术范畴1、语音合成(SpeechSynthesis)2、语音识别(SpeechRecognition)3、中文自动分词4、词性标注5、句法分析6、文本分类
贾继康·2018-11-05 00:43

Stanford-corenlp 英文词性标注

一、环境配置1.下载官网的NLP相关包将下载下来的stanford-corenlp-full-2018-02-27解压并将下载英文的jar文件stanford-english-corenlp-2018-02-27-models.jar放到该目录下。网址：https://stanfordnlp.github.io/CoreNLP/index.html2.确保电脑里要已经安装java环境3.在Pyth
黄鑫huangxin·2018-11-03 10:22

python调用Hanlp做命名实体识别以及词性标注

之前需要做一个中文命名实体识别的api，看完了一些相关论文以后觉得短时间内自己实现不大现实，于是找了一些开源工具，其中哈工大的LTP效果是很好的，但是免费使用限流量，需要给钱才行；NLPIR的pynlpir似乎还不能支持命名实体识别等复杂工作，只能做一些分词之类；最后还剩下Hanlp，感谢Hanlp的作者hancks无私的将代码开源，还提供了那么详细的文档。pyhanlp只有少数功能，其他复杂一点
lanlantian123·2018-11-02 16:38

HanLP用户自定义词典源码分析详解

官方文档及参考链接l关于词典问题Issue，首先参考：FAQl自定义词典其实是基于规则的分词，它的用法参考这个issuel如果有些数量词、字母词需要分词，可参考:P2P和C2C这种词没有分出来，希望加到主词库l关于词性标注
adnb34g·2018-11-02 10:04

HanLP中的人名识别分析详解

先看几遍论文《基于角色标注的中国人名自动识别研究》关于命名识别的一些问题，可参考下列一些issue:uu名字识别的问题#387uu机构名识别错误uu关于层叠HMM中文实体识别的过程HanLP参考博客：词性标注层叠
adnb34g·2018-10-29 10:00

snownlp语意感情训练

snownlp关于训练现在提供训练的包括分词，词性标注，情感分析，而且都提供了我用来训练的原始文件以分词为例分词在snownlp/seg目录下fromsnownlpimportsegseg.train(
作小寒·2018-10-28 23:48

2018-10-22

1、为工业专有名词添加词性标注-nin*（1）在不修改源码的基础上，对工业名字词典添加词性、词频，以及如下内容始##始begin2324388末##末end2324388未##串x130296未##人nr607718nrf113445
无尾君·2018-10-22 18:04

Python自然语言处理入门--利用NLTK自带方法完成NLP基本任务

NLTK是Python很强大的第三方库，可以很方便的完成很多自然语言处理（NLP）的任务，包括分词、词性标注、命名实体识别（NER）及句法分析。
cq1042713261·2018-10-22 11:46

End-To-End Memory Network 学习整理

一、什么是端到端相对于深度学习，传统机器学习的流程往往由多个独立的模块组成，比如在一个典型的自然语言处理（NaturalLanguageProcessing）问题中，包括分词、词性标注、句法分析、语义分析等多个独立步骤
gyx1549624673·2018-10-20 16:21

【自然语言处理】词性标注（北大，宾州）

文章目录词性标注规范前言北大词性标注集宾州词性标注集词性标注规范前言词性标注在中文领域暂无统一的标注标准，最常见较为主流的是北大和宾州词性标注集。
贾继康·2018-10-14 19:02

半监督 Semi-NER-CRF-KNN

模型现有的分词、词性标注、NER工具解决非正式语言占主导的tweet时常常会失效，得不到令人满意的结果，而twitter作为一种主流的社交媒体，有着丰富的语料和非常高的研究价值。
南七小僧·2018-10-11 17:46
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他