E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Viterbi
隐 马尔科夫 维特比
viterbi
算法
算法讲解见https://www.zhihu.com/question/20136144/answer/239971177,细节不过多赘述。核心思想:一种搜索算法,为避免穷举,使用概率优化:一、使用前一状态与本次观察推断本次状态。二、对于每一个时间t,保留概率最大的隐状态剪枝,用于后续计算。最终得到T*state形状的路径矩阵。三、将最后一个时刻中概率最大的隐状态作为最后一个时刻的最优状态,上一时
杜沐清
·
2019-05-02 10:33
算法
马尔科夫
维特比
viterbi
隐马尔可夫模型(HMM)及
Viterbi
算法
本文将通过具体形象的例子来引入该模型,并深入探究隐马尔可夫模型及
Viterbi
算法,希望能对大家有所启发。
风骚的小柴犬
·
2019-04-23 13:00
维特比(
viterbi
)算法与中文词性标注(三)
viterbi
算法用于中文词性标注维特比(
viterbi
)算法与中文词性标注(一)——隐含马尔科夫模型维特比(
viterbi
)算法与中文词性标注(二)——维特比算法任务简述中文词性标注是在中文分词器将文本划分为逐个词汇的基础上
CoSineZxc
·
2019-04-20 12:14
机器学习
维特比(
viterbi
)算法与中文词性标注(三)
viterbi
算法用于中文词性标注维特比(
viterbi
)算法与中文词性标注(一)——隐含马尔科夫模型维特比(
viterbi
)算法与中文词性标注(二)——维特比算法任务简述中文词性标注是在中文分词器将文本划分为逐个词汇的基础上
CoSineZxc
·
2019-04-20 12:14
机器学习
【NLP】隐马尔可夫模型三个基本问题相关算法实现
前言 隐马尔可夫模型详解,本篇详细介绍了隐马尔可夫模型的相关理论知识,为了进一步的理解它,本篇将通过具体的计算例子,通过代码实现解决三个基本问题的算法,前向-后向算法、Baum-Welch算法、
Viterbi
Daycym
·
2019-04-12 13:18
NLP
【NLP】隐马尔可夫模型三个基本问题相关算法实现
前言 隐马尔可夫模型详解,本篇详细介绍了隐马尔可夫模型的相关理论知识,为了进一步的理解它,本篇将通过具体的计算例子,通过代码实现解决三个基本问题的算法,前向-后向算法、Baum-Welch算法、
Viterbi
Daycym
·
2019-04-12 13:18
NLP
维特比(
viterbi
)算法与中文词性标注(二)
维特比(
viterbi
)算法对于HMM模型的相关简介:维特比(
viterbi
)算法与中文词性标注(一)——隐马尔科夫模型问题描述针对HMM模型的第二类问题,根据模型及输出序列,判断状态序列;使用的方法即为维特比
CoSineZxc
·
2019-04-11 23:48
机器学习
维特比(
viterbi
)算法与中文词性标注(二)
维特比(
viterbi
)算法对于HMM模型的相关简介:维特比(
viterbi
)算法与中文词性标注(一)——隐马尔科夫模型问题描述针对HMM模型的第二类问题,根据模型及输出序列,判断状态序列;使用的方法即为维特比
CoSineZxc
·
2019-04-11 23:48
机器学习
维特比(
viterbi
)算法与中文词性标注(一)
隐马尔可夫模型(HiddenMarkovModel,HMM)马尔科夫假设随机过程中各个状态StS_tSt的概率分布,只与它的前一个状态St−1S_{t-1}St−1有关,即P(St∣S1,S2,S3,…,St−1)=P(St∣St−1)P(S_t|S_1,S_2,S_3,…,S_{t-1})=P(S_t|S_{t-1})P(St∣S1,S2,S3,…,St−1)=P(St∣St−1)对于一些实际情
CoSineZxc
·
2019-04-11 23:39
机器学习
维特比(
viterbi
)算法与中文词性标注(一)
隐马尔可夫模型(HiddenMarkovModel,HMM)马尔科夫假设随机过程中各个状态StS_tSt的概率分布,只与它的前一个状态St−1S_{t-1}St−1有关,即P(St∣S1,S2,S3,…,St−1)=P(St∣St−1)P(S_t|S_1,S_2,S_3,…,S_{t-1})=P(S_t|S_{t-1})P(St∣S1,S2,S3,…,St−1)=P(St∣St−1)对于一些实际情
CoSineZxc
·
2019-04-11 23:39
机器学习
语音识别
Viterbi
解码
语音识别解码过程使用的是
Viterbi
算法,本质上是一种动态规划算法,能够得到全局最优解。
期望最大化
·
2019-03-13 17:32
不看手机的 20 个小时
大体看了看讲NaiveBayes/Hmm/MEM/CRF的论文,参加了leetcode的周赛(做了四个题),重写了
viterbi
算法,写了两个影评,做了50个俯卧撑,喝了两盒牛奶,吃了五六个面包,收拾了房间
CY_TEC
·
2019-03-10 19:44
人生
不看手机的 20 个小时
大体看了看讲NaiveBayes/Hmm/MEM/CRF的论文,参加了leetcode的周赛(做了四个题),重写了
viterbi
算法,写了两个影评,做了50个俯卧撑,喝了两盒牛奶,吃了五六个面包,收拾了房间
CY_TEC
·
2019-03-10 19:44
隐马尔可夫模型(HMM)及
Viterbi
算法
♚作者: jclian,本人从事Python已一年多,是Python爱好者,喜欢算法,热爱分享,希望能结交更多志同道合的朋友,一起在学习Python的道路上走得更远!HMM简介 对于算法爱好者来说,隐马尔可夫模型的大名那是如雷贯耳。那么,这个模型到底长什么样?具体的原理又是什么呢?有什么具体的应用场景呢?本文将会解答这些疑惑。 本文将通过具体形象的例子来引入该模型,并深入探究隐马尔可夫模型及V
Python中文社区
·
2019-01-18 08:00
pyhanlp 中文词性标注与分词简介
pyhanlp实现的分词器有很多,同时pyhanlp获取hanlp中分词器也有两种方式第一种是直接从封装好的hanlp类中获取,这种获取方式一共可以获取五种分词器,而现在默认的就是第一种维特比分词器1.维特比(
viterbi
adnb34g
·
2019-01-07 13:00
pyhanlp
pyhanlp 中文词性标注与分词简介
pyhanlp实现的分词器有很多,同时pyhanlp获取hanlp中分词器也有两种方式第一种是直接从封装好的hanlp类中获取,这种获取方式一共可以获取五种分词器,而现在默认的就是第一种维特比分词器1.维特比(
viterbi
adnb34g
·
2019-01-07 10:18
pyhanlp
中文词性标注
分词
自然语言处理
深度学习中,必须要懂的4个信息论的概念
一些来自信息论或相关领域的AI概念的例子:常用的交叉熵损失函数基于最大信息增益构建决策树
Viterbi
算法广泛应用于NLP和语音编码器-解码器的概念,广泛用于机器翻译的RNNs和各种其他类型的模型ClaudeShannon
LoveChris_LL
·
2019-01-06 17:03
python 结巴分词学习
分词算法使用了基于前缀词典实现高效的词图扫描,生成句子中汉字所有可能生成词情况所构成的有向无环图(DAG),再采用了动态规划查找最大概率路径,找出基于词频的最大切分组合,对于未登录词,采用了基于汉字成词能力的HMM模型,使用了
Viterbi
人生苦短丨我爱python
·
2019-01-06 15:26
HanLP中人名识别分析详解
基于角色标注的中国人名自动识别研究》关于命名识别的一些问题,可参考下列一些issue:l·名字识别的问题#387l·机构名识别错误l·关于层叠HMM中文实体识别的过程HanLP参考博客:词性标注层叠HMM-
Viterbi
adnb34g
·
2018-12-05 11:00
hanlp
人名识别
JuJu团队12月1号工作汇报
团队成员今日工作剩余任务困难于达修改generator函数优化代码不熟悉julia婷婷和金华一起调试main.jl继续调试金华实现的BiLSTM参数无法使用save存入恩升实现维特比译码统一接口形式HMM与
viterbi
Julia_AI_123
·
2018-12-02 11:00
基于特定语料库生成HMM转移概率分布和发射概率分布用于词性标注 Python
上篇文章我们以Brown语料库中的一个特例讲解了HMM和
Viterbi
算法。那么如何使用特定语料库通过HMM算法进行词性标注呢?我们可以从HMM的五元组入手。
不愿透露姓名的广外男子
·
2018-11-17 19:59
自然语言处理
基于HMM+
Viterbi
算法的词性标注 Python
本次文章将介绍基于HMM和
Viterbi
算法进行词性标注。
不愿透露姓名的广外男子
·
2018-11-16 20:07
自然语言处理
简版
P(O)image.png前向-后向算法的核心是构建【递推】image.pngimage.pngimage.png第二个问题:学习image.pngimage.png无监督:EM第三个问题:预测做法:
viterbi
z_1900
·
2018-11-06 18:01
python 中文分词(规则分词实现,HMM+
Viterbi
实现统计分词,jieba分词应用)
参考书目:python自然语言处理实战——核心技术与算法规则分词顾名思义,直接靠规则来进行分词,这种方法是一种机械的分词方法,主要手段就是通过将语句的每个字符串与词表进行匹配,找到就分,找不到就不分。词表:天气真好今天伤心冬瓜汤句子:今天天气真好结果:今天/天气/真好按照匹配的方式,规则分词主要有正向最大匹配法,逆向最大匹配法以及双向最大匹配法正向最大匹配法基本思想:先以词典中的最长的词长x作为初
沃·夏澈德
·
2018-11-05 11:00
自然语言处理
HanLP中的人名识别分析详解
基于角色标注的中国人名自动识别研究》关于命名识别的一些问题,可参考下列一些issue:uu名字识别的问题#387uu机构名识别错误uu关于层叠HMM中文实体识别的过程HanLP参考博客:词性标注层叠HMM-
Viterbi
adnb34g
·
2018-10-29 10:00
人名识别
Tensorflow 中 crf_decode 和
viterbi
_decode 的使用
Tensorflow中crf_decode和
viterbi
_decode的使用tf.contrib.crf势函数(potential):训练过程(参数估计问题)解码过程(序列问题)tf.contrib.crf
泰迪宝宝
·
2018-10-26 00:21
tensorflow
自然语言处理
Python
Hanlp实战HMM-
Viterbi
角色标注中国人名识别
阅读更多这几天写完了人名识别模块,与分词放到一起形成了两层隐马模型。虽然在算法或模型上没有什么新意,但是胜在训练语料比较新,对质量把关比较严,实测效果很满意。比如这句真实的新闻“签约仪式前,秦光荣、李纪恒、仇和等一同会见了参加签约的企业家。”,分词结果:[签约/v,仪式/n,前/f,,/w,秦光荣/nr,、/w,李纪恒/nr,、/w,仇和/nr,等/u,一同/d,会见/v,了/ul,参加/v,签约
adnb34g
·
2018-10-22 14:00
Hanlp实战HMM-
Viterbi
角色标注中国人名识别
这几天写完了人名识别模块,与分词放到一起形成了两层隐马模型。虽然在算法或模型上没有什么新意,但是胜在训练语料比较新,对质量把关比较严,实测效果很满意。比如这句真实的新闻“签约仪式前,秦光荣、李纪恒、仇和等一同会见了参加签约的企业家。”,分词结果:[签约/v,仪式/n,前/f,,/w,秦光荣/nr,、/w,李纪恒/nr,、/w,仇和/nr,等/u,一同/d,会见/v,了/ul,参加/v,签约/v,的
adnb34g
·
2018-10-22 09:01
中国人名识别
hanlp
自然语言处理
pyhanlp 分词与词性标注
pyhanlp实现的分词器有很多,同时pyhanlp获取hanlp中分词器也有两种方式第一种是直接从封装好的hanlp类中获取,这种获取方式一共可以获取五种分词器,而现在默认的就是第一种维特比分词器维特比(
viterbi
Font Tian
·
2018-09-20 19:49
#
【自然语言处理】
基础
#
【自然语言处理】HanLP
剑指汉语自然语言处理
FPGA数字信号处理(27)卷积编码器与
Viterbi
译码器设计
卷积编码与译码信号在信道间传输主要会受到三个方面的影响:信道本身对信号产生衰落,这是由于信道本身的频率响应特性就不理想,对信号造成破坏;信道中的各种噪声,叠加在信号上改变了信号的幅度、相位、频率,造成解调错误;多径效应,信号在传输过程中的反射、折射、沿不同路径传播造成的叠加效应。通常会采用信道编码,在发送端插入一些冗余码元,接收端利用这些冗余码元检测并纠正信号在传输过程中产生的错误。目前常用的有卷
FPGADesigner
·
2018-09-18 12:46
FPGA
数字信号处理
维特比算法(
viterbi
)python实现
维特比算法(
viterbi
)python实现importnumpyasnpstate_transfer=np.array([[0.5,0.2,0.3],[0.3,0.5,0.2],[0.2,0.3,0.5
mingyueyanguang
·
2018-08-31 11:10
维特比算法(
Viterbi
)及python实现样例
维特比算法(
Viterbi
)维特比算法维特比算法shiyizhong动态规划算法用于最可能产生观测时间序列的-维特比路径-隐含状态序列,特别是在马尔可夫信息源上下文和隐马尔科夫模型中。
我们都是大好青年
·
2018-07-30 15:00
隐马尔科夫模型-HMM和
Viterbi
算法
由于最近初学,故写下此笔记我们在讲解隐马模型之前,先了解一下马尔科夫模型:每个状态只依赖之前有限个状态:N阶马尔科夫:依赖之前n个状态1阶马尔科夫:仅仅依赖之前一个状态马尔科夫模型重要的三类参数:状态初始概率状态转移概率那么其中状态状态转移概率怎么计算得到:p(St+1=l|St=k)=l紧跟k出现的次数/k出现的总次数,我们可以这样理解:转移概率由一个状态到另外一个状态的转移概率,前一个字和后面
木易哥
·
2018-07-25 11:42
HMM
jieba分词实例
对于未登陆词,jieba使用了基于汉字成词的HMM模型,采用
viterbi
算法进行推到。
lilong117194
·
2018-07-19 22:06
NLP
HMM——
viterbi
算法
对于一个特殊的隐马尔科夫模型(HMM)及一个相应的观察序列,我们常常希望能找到生成此序列最可能的隐藏状态序列。1.穷举搜索我们使用下面这张网格图片来形象化的说明隐藏状态和观察状态之间的关系:我们可以通过列出所有可能的隐藏状态序列并且计算对于每个组合相应的观察序列的概率来找到最可能的隐藏状态序列。最可能的隐藏状态序列是使下面这个概率最大的组合:Pr(观察序列|隐藏状态的组合)例如,对于网格中所显示的
audiocool
·
2018-07-06 16:40
机器学习
语音识别WFST-based dynamic decoders
目前语音识别主流是基于WFST解码器,WFST中的优化操作如Determinization,Minimization,WeightPushing使得
Viterbi
解码速度大大加快。
fengzhou_
·
2018-06-27 21:00
语音识别
语音识别算法原理文档整理(六)
Viterbi
算法(解码)解码的过程就是在给定声学特征的情况下,找到最可能对应的词组的过程,再次看如下求解目的的公式:其中似然概率是在一系列给定声学frame情况下,计算每个对应的分类器得分,然后相乘得出的概率
风口上的传奇
·
2018-06-23 20:24
智能识别
语音识别算法原理文档整理(五)
三个主流算法:概率计算问题即模型评价问题——前向算法和后向算法学习问题即参数估计问题——Baum-Welch算法预测问题即解码问题——
Viterbi
算法前向算法与后向算法首先引入前向变量αt(i):在时间
风口上的传奇
·
2018-06-22 20:22
智能识别
机器学习笔记4:隐马尔科夫模型HMM(二)使用
Viterbi
算法推断出最有可能的隐变量的状态
本文转自http://www.cnblogs.com/pinard/p/6991852.html1.HMM最可能隐藏状态序列求解概述2.
Viterbi
算法概述3.
Viterbi
算法流程总结4.求解实例:
zhuzuwei
·
2018-06-03 20:59
机器学习
HM
隐马尔科夫模型
Viterbi算法
从语音识别的HMM模型的解码 到
Viterbi
算法的Token Passing实现
1从语音识别说起语音识别是什么,通俗来说,就是输入音频,输出识别文字结果。基本方程如下:识别结果W:任一单词(以孤立词举例说明)O:输入的语音序列(ObservationSequence)上述方程的变换应用了BayesRule.等式右边是两项乘积,P(W)来自语言模型(LanguageModel,LM),常用的模型有N-gram。P(O|W)来自于声学模型(AcousticModel,AM),传统
永无乡
·
2018-05-31 12:06
语音识别
语音识别笔记 (六) 多遍解码、三音子模型
第六讲多通道解码(Multi-passDecoding)在上一讲中,我们介绍了基于
Viterbi
算法的解码方案。但在实际中的应用,它有两个主要的限制。
Pelhans
·
2018-04-19 10:15
ASR
Jiebe学习笔记:
viterbi
算法
词性标注:Jieba的词性标注模块仍然采用基于HMM模型的
viterbi
算法,在状态的描述上应用({BMES},词性)二元对。
Alice_liqian
·
2018-04-17 10:59
NLP
通信原理--信道编码--卷积码--
Viterbi
译码
Viterbi
译码卷积码的译码可分为代数译码和概率译码,其中代数译码包括门限译码,概率译码包括
Viterbi
译码和序贯译码等。
DengFengLai123
·
2018-04-07 15:39
通信原理--信道编码--卷积码--
Viterbi
译码
Viterbi
译码卷积码的译码可分为代数译码和概率译码,其中代数译码包括门限译码,概率译码包括
Viterbi
译码和序贯译码等。
DengFengLai123
·
2018-04-07 15:39
自然语言处理中常用的维特比算法
上述中,t时刻的状态和t-1时刻的状态称之为隐状态,也是需要求出的状态,可观察的状态为显状态
Viterbi
算法解决的问题是:通过显状态序列**求出最有可能的隐状态序列**显状态:有限个隐状态:有限个且较少怎么求
江小林
·
2018-03-21 16:40
PyTorch Exercise: A new loss function for discriminative tagging
学习PyTorch教程,其中biLSTM-CRF中给出了Exercise,此处解决方案为:在classBiLSTM_CRF中添加成员函数neg_log_likelihood2(),使用
viterbi
译码的得分与
CrazyBull2012
·
2018-02-27 11:39
pytorch
tutorial
统计学习方法第11章条件随机场(CRF)的
Viterbi
算法例题11.3代码实践
统计学习方法第11章条件随机场(CRF)的
Viterbi
算法例题11.3代码实践:fromnumpyimport*'''这里定义T为转移矩阵列代表前一个y(ij)代表由状态i转到状态j的概率,Tx矩阵x
GrinAndBearIt
·
2018-02-01 17:05
统计学习方法例题代码实践
2014年以前的成果展示
Miscellaneousdescription:2014年以前的成果展示keywords:url:https://lichao890427.github.io/https://github.com/lichao890427/卷积码
viterbi
超哥__
·
2018-01-19 23:55
自然语言处理之维特比(
Viterbi
)算法
维特比算法(Viterbialgorithm)是机器学习中应用非常广泛的动态规划算法,在求解隐马尔科夫、条件随机场的预测以及seq2seq模型概率计算等问题中均用到了该算法。实际上,维特比算法不仅是很多自然语言处理的解码算法,也是现代数字通信中使用最频繁的算法。在介绍维特比算法之前,先回顾一下隐马尔科夫模型,进而介绍维特比算法的计算步骤。以下为一个简单的隐马尔科夫模型,如下图所示:其中x=(x1,
lovive
·
2017-12-04 19:07
算法
机器学习
自然语言处理
自然语言处理技术
“我是如何收集校友的”之利用基于HMM-
Viterbi
的HanLP进行人名提取
我们当前进度:3爬虫程序——抓取全百度百科与“伯明翰大学”相关的数据数据去重——用pandas去掉抓取相同的URL或相同的名称提取人名——利用HMM-
Viterbi
进行人名筛选与提取下载器——下载所有数据库中数据清洗过的
yfgeek
·
2017-11-16 13:07
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他