kaiyuan_sjtu

概率图模型笔记（二）隐马尔科夫模型（Hidden Markov Model）

写在前面

隐马尔科夫模型（Hidden Markov Model，以下简称HMM）是比较经典的机器学习模型了，它在语言识别，自然语言处理，模式识别等领域得到广泛的应用。最近入坑NLP，看到好多算法都涉及到HMM。那么什么样的问题需要HMM模型来解决，一般有以下两个特征：（1）我们的问题是基于序列的，比如时间序列，或者状态序列。（２）我们的问题中有两类数据，一类序列数据是可以观测到的，即观测序列；而另一类数据是不能观察到的，即隐藏状态序列，简称状态序列。

一、HMM模型基础

首先，我们要了解下什么是马尔科夫模型。Markov Model很大，主要有四个细分领域。

这里最基础的就是Markov chain，这也是我们这篇博客的基础知识。那么什么是马尔科夫链模型呢？马尔科夫链是一种离散的随机过程，可以将其看成是一种有限自动机，但是其状态之间的转移并不是依赖于外界的输入，而是依赖于每个状态之间的转移概率。结合下面这个图可能比较好理解，图中每条边上的权重表示状态转移的概率。

而HMM是马尔科夫过程的一种扩展，除了一组观测序列，我们还有相对应的一组隐藏序列，还是用图来表示

对于HMM 模型，假设Q是所有可能的隐藏状态的集合，V是所有可能的观察状态的集合，

$Q=\left\{q_{1}, q_{2}, \ldots, q_{N}\right\}, V=\left\{v_{1}, v_{2}, \ldots v_{M}\right\}$

对于一个长度为T的序列，I对应状态序列，O对应观察序列，

$I=\left\{i_{1}, i_{2}, \ldots, i_{T}\right\}, O=\left\{o_{1}, o_{2}, \ldots o_{T}\right\}$

其中，任意一个隐藏状态 i 属于集合Q，任意一个观察状态 o 属于集合V，如上图

HMM模型两个重要的假设：

1） 齐次马尔科夫链假设。即任意时刻的隐藏状态只依赖于它前一个隐藏状态。当然这样假设有点极端，因为很多时候我们的某一个隐藏状态不仅仅只依赖于前一个隐藏状态，可能是前两个或者是前三个。但是这样假设的好处就是模型简单，便于求解（但同时也限制了HMM模型的效果）。如果在时刻t的隐藏状态是it=qi,在时刻t+1的隐藏状态是it+1=qj, 则从时刻t到时刻t+1的HMM状态转移概率aij可以表示为：

$a_{i j}=P\left(i_{t+1}=q_{j} | i_{t}=q_{i}\right)$

这样aij可以组成马尔科夫链的状态转移矩阵A:

$A=\left[a_{i j}\right]_{N \times N}$

2） 观测独立性假设。即任意时刻的观察状态只仅仅依赖于当前时刻的隐藏状态，这也是一个为了简化模型的假设。如果在时刻t的隐藏状态是it=qj, 而对应的观察状态为ot=vk, 则该时刻观察状态vk在隐藏状态qj下生成的概率为bj(k),满足：

$b_{j}(k)=P\left(o_{t}=v_{k} | i_{t}=q_{j}\right)$

这样bj(k)可以组成观测状态生成的概率矩阵B:

$B=\left[b_{j}(k)\right]_{N \times M}$

除此之外，还需要一组在时刻t=1的隐藏状态概率分布Π:

$\Pi=[\pi(i)]_{N}$

一个HMM模型，可以由隐藏状态初始概率分布Π, 状态转移概率矩阵A和观测状态概率矩阵B决定。Π,A决定状态序列，B决定观测序列。因此，HMM模型可以由一个三元组λ表示如下：

$\lambda=(A, B, \Pi)$

HMM属于典型的生成式模型，即我们需要从训练数据中学到数据的分布，也就是上面介绍的HMM五要素：隐藏状态集合I，观测状态集合O，初始隐状态概率分布Π，转移概率矩阵A以及发射概率矩阵B

二、HMM观测序列的生成

那么HMM观测序列是怎么生成的呢？

输入：HMM模型参数 $\lambda=(A, B, \Pi)$ ，观测序列的长度T

输出：经HMM模型的观测序列 $O=\left\{o_{1}, o_{2}, \ldots o_{T}\right\}$

流程：

1）根据初始状态概率分布生成隐藏状态 $i_{1}$ ；

2）for t from 1 to T：

a). 按照隐藏状态 $i_{t}$ 的观测状态分布B生成观测状态 $o_{t}$ ;

b). 按照隐藏状态 $i_{t}$ 的状态转移概率分布A生成隐藏状态 $i_{t+1}$

所有的 $o_{t}$ 一起组合形成观测序列 $O=\left\{o_{1}, o_{2}, \ldots o_{T}\right\}$

三、HMM模型的三个问题

3.1 概率计算问题。

即给定模型λ=(A,B,Π)和观测序列O={o1,o2,...oT}，计算在模型λ下观测序列O出现的概率P(O|λ)。这个问题的求解需要用到前向后向算法。这个问题是HMM模型三个问题中最简单的。

（1）直接计算法

直观地，我们只要知道模型参数，就可以按照概率公式计算出给定观测序列的出现概率。虽然这种方式理论上可行但是最后计算量太大，不过我们可以通过了解这个过程来理解HMM是怎么运行的。

首先明确问题，我们最后要求得是P（O|λ）,于是可以写成下列等式：

$P(O, I | \lambda)=P(I | \lambda) P(O | I, \lambda)=\pi_{i_{1}} b_{i_{1}}\left(o_{1}\right) a_{i_{1} i_{2}} b_{i_{2}}\left(o_{2}\right) \dots a_{i_{T-1}} b_{i_{T}} b_{i_{T}}\left(o_{T}\right)$

其中，右侧第一项是通过转移矩阵求一个隐藏状态序列的概率公式，右侧第二项是通过发射矩阵求由隐藏序列到最后观测序列的概率，因为隐藏状态有I种，所以最后需要把所有可能情况进行加和求解。也就是：

$P(O | \lambda)=\sum_{I} P(O, I | \lambda)=\sum_{i_{1}, i_{2}, \ldots i_{T}} \pi_{i_{1}} b_{i_{1}}\left(o_{1}\right) a_{i_{1} i_{2}} b_{i_{2}}\left(o_{2}\right) \dots a_{i_{T-1}} i_{T} b_{i T}\left(o_{T}\right)$

但是利用上述过程求解计算量非常大，是O(TN^T)阶的，这种算法不可行。

（2）前向算法

首先定义前项概率 αk(i)：

给定HMM模型λ，定义到时刻t时部分观测序列为O1,O2,,,Ot，且隐藏状态为qi，即

$\alpha_{t}(i)=P\left(o_{1}, o_{2}, \cdots, o_{t}, i_{t}=q_{i} | \lambda\right)$

前向算法流程：

输入：HMM模型和观测序列；

输出：观测序列概率P（O|λ）

上面的公式可能不太好理解，结合下面的图：

解释一下算法流程中递推的那一部分，可以理解为在k时刻隐藏状态为S1到Sn中的任意一个，可以根据转移矩阵将它们在k时刻无论是哪一种状态都可以计算出在k+1时刻状态为Sj的概率，也就是 $\left[\Sigma_{i} \alpha_{k}(i) a_{i j}\right]$ ，得到这个概率之后自然就可以根据发射概率来求出k+1时刻的观测状态。前向算法的复杂度为O(kN^2).

（3）后向算法

跟前向算法类似，只不过是这里定义了一个后向概率

$\beta_{\mathrm{k}}(\mathrm{i})=\mathrm{P}\left(\mathrm{o}_{\mathrm{k}+1} \mathrm{O}_{\mathrm{k}+2} \ldots \mathrm{O}_{\mathrm{K}} | \mathrm{q}_{\mathrm{k}}=\mathrm{S}_{\mathrm{i}}\right)$

后向算法流程：

3.2 模型参数学习问题

即给定观测序列O={o1,o2,...oT}，估计模型λ=(A,B,Π)的参数，使该模型下观测序列的条件概率P(O|λ)最大。这个问题的求解需要用到基于EM算法的鲍姆-韦尔奇算法。这个问题是HMM模型三个问题中最复杂的。

根据训练数据是包括观测序列和对应的隐藏序列还是只有观测序列可以分为有监督学习和非监督学习

（1）监督学习

给定数据集 $\left\{\left(O_{1}, I_{1}\right),\left(O_{2}, I_{2}\right), \cdots,\left(O_{S}, I_{S}\right)\right\}$

其实就是根据三元组参数的定义去数词的频数。。。

转移概率

$\hat{a}_{i j}=\frac{A_{y}}{\sum_{j=1}^{N} A_{i j}}, \quad i=1,2, \cdots, N ; j=1,2, \cdots, N$

观测概率

$\hat{b}_{j}(k)=\frac{B_{j k}}{\sum_{k=1}^{M} B_{j k}}, \quad j=1,2, \cdots, N_{i}=1,2, \cdots, M$

初始状态概率

$\Pi=\pi(i)=\frac{C(i)}{\sum_{s=1}^{N} C(s)}$

（2）非监督学习

可见有监督学习情况求解模型的参数还是比较直观简单的，但是在很多时候，我们无法得到观测序列对应的隐藏状态序列，此时求解HMM模型的参数就会复杂一些，就会用到Baum-Welch算法，其实也就EM算法，只不过那个时代EM算法还没有提出概念。

我们的训练数据为： $\left\{\left(O_{1}, I_{1}\right),\left(O_{2}, I_{2}\right), \ldots\left(O_{D}, I_{D}\right)\right\}$ ，对于任意一个样本d，观测序列 $O_{d}=\left\{o_{1}^{(d)}, o_{2}^{(d)}, \ldots o_{T}^{(d)}\right\}$ ，其对应的未知的隐藏状态序列为： $I_{d}=\left\{i_{1}^{(d)}, i_{2}^{(d)}, \ldots i_{T}^{(d)}\right\}$

Baum-Welch算法第一步（EM算法的E步）：求Q函数

$Q(\lambda, \overline{\lambda})=\sum_{I} P(I | O, \overline{\lambda}) \log P(O, I | \lambda)$

其中 $\overline{\lambda}$ 表示HMM模型参数的当前估计值。

在M步我们要极大化上式。由于 $P(I | O, \overline{\lambda})=P(I, O | \overline{\lambda}) / P(O | \overline{\lambda})$ ，而分母是常数，因此我们要极大化的式子等价于：

$\overline{\lambda}=\arg \max _{\lambda} \sum_{I} P(O, I | \overline{\lambda}) \log P(O, I | \lambda)$

我们又有联合分布：

$P(O,I|\lambda) = \prod_{d=1}^D\pi_{i_1^{(d)}}b_{i_1^{(d)}}(o_1^{(d)})a_{i_1^{(d)}i_2^{(d)}}b_{i_2^{(d)}}(o_2^{(d)})...a_{i_{T-1}^{(d)}i_T^{(d)}}b_{i_T^{(d)}}(o_T^{(d)})$

将其代入上述需要极大化的式子：

$\overline{\lambda}=\arg \max _{\lambda} \sum_{d=1}^{D} \sum_{I} P(O, I | \overline{\lambda})\left(\log \pi_{i_{1}}+\sum_{t=1}^{T-1} \log a_{i, i_{t+1}}+\sum_{t=1}^{T} b_{i_{t}}\left(o_{t}\right)\right)$

Baum-Welch算法第二步（EM算法的M步）：极大化Q函数，求模型参数A， B， PAI

对模型参数PAI求导

由于PAI只在上式括号里的第一项出现，因此对PAI的极大化式子为：

$\overline{\pi_{i}}=\arg \max _{\pi_{i_{1}}} \sum_{I} P(O, I | \overline{\lambda}) \log \pi_{i_{1}}=\arg \max _{\pi_{i}} \sum_{d=1}^{D} \sum_{i=1}^{N} P\left(O, i_{1}^{(d)}=i | \overline{\lambda}\right) \log \pi_{i}$

同时注意到 $\pi_i$ 还满足条件 $\sum\limits_{i=1}^N\pi_i =1\left$ ，因此根据拉格朗日乘子法，可以写出关于 $\pi_i$ 的拉格朗日函数为：

$\arg \max _{\pi_{i}} \sum_{d=1}^{D} \sum_{i=1}^{N} P\left(O, i_{1}^{(d)}=i | \overline{\lambda}\right) \log \pi_{i}+\gamma\left(\sum_{i=1}^{N} \pi_{i}-1\right)$

求导得到：

$\sum_{d=1}^{D} P\left(O, i_{1}^{(d)}=i | \overline{\lambda}\right)+\gamma \pi_{i}=0$

令i分别从1到N，上式可以得到N个式子，然后把这N个式子相加和得到：

$\sum_{d=1}^{D} P(O | \overline{\lambda})+\gamma=0$

这样我们就得到了 $\pi_i$ 的表达式：

$\pi_i =\frac{\sum\limits_{d=1}^DP(O,i_1^{(d)} =i|\overline{\lambda})}{\sum\limits_{d=1}^DP(O|\overline{\lambda})} = \frac{\sum\limits_{d=1}^DP(O,i_1^{(d)} =i|\overline{\lambda})}{DP(O|\overline{\lambda})} = \frac{\sum\limits_{d=1}^DP(i_1^{(d)} =i|O, \overline{\lambda})}{D} = \frac{\sum\limits_{d=1}^DP(i_1^{(d)} =i|O^{(d)}, \overline{\lambda})}{D}$

对模型参数A和B也是同样的思路求解。

Baum-Welch算法流程：

输入：D个观测序列样本 $\left\{\left(O_{1}\right),\left(O_{2}\right), \ldots\left(O_{D}\right)\right\}$

输出：HMM模型参数

流程：

1）随机初始化所有的参数 $\pi_i, a_{ij},b_{j}(k)$

2）对于每个样本 $d=1,2, \ldots D$ ，用前向后向算法计算 $\gamma_{t}^{(d)}(i), \xi_{t}^{(d)}(i, j), t=1,2 \ldots T$

3）更新模型参数：

$\pi_{i}=\frac{\sum_{d=1}^{D} \gamma_{1}^{(d)}(i)}{D}$

$a_{i j}=\frac{\sum_{d=1}^{D} \sum_{t=1}^{T-1} \xi_{t}^{(d)}(i, j)}{\sum_{d=1}^{D} \sum_{t=1}^{T-1} \gamma_{t}^{(d)}(i)}$

$b_{j}(k)=\frac{\sum_{d=1}^{D} \sum_{t=1, o_{l}^{(i)}=v_{k}}^{T} \gamma_{t}^{(d)}(j)}{\sum_{d=1}^{D} \sum_{t=1}^{T} \gamma_{t}^{(d)}(j)}$

4）如果参数值已经收敛，则算法迭代结束，否则继续从第二部开始迭代

3.3 预测问题，也称为解码问题。

即给定模型λ=(A,B,Π)和观测序列O={o1,o2,...oT}，求给定观测序列条件下，最可能出现的对应的状态序列 $I^*= \{i_1^*,i_2^*,...i_T^*\}$ ，这个问题的求解需要用到基于动态规划的维特比算法。这个问题是HMM模型三个问题中复杂度居中的算法。

维特比算法概述

需要注意的是维特比算法并不是HMM所独有的，它是一种通用的解码算法，是基于动态规划的来求序列最短路径的方法。

首先定义两个变量

第一个是在时刻t隐藏状态为i所有可能的状态转移路径中的概率最大值，记为 $\delta_t(i)$ ：

$\delta_{t}(i)=\max _{i_{1}, i_{2}, \ldots i_{t-1}} P\left(i_{t}=i, i_{1}, i_{2}, \ldots i_{t-1}, o_{t}, o_{t-1}, \ldots o_{1} | \lambda\right), i=1,2, \ldots N$

由 $\delta_t(i)$ 的定义可以得到 $\delta_t(i)$ 的递推表达式：

$\begin{aligned} \delta_{t+1}(i) &=\max _{i_{1}, i_{2}, \ldots . i_{t}} P\left(i_{t+1}=i, i_{1}, i_{2}, \ldots i_{t}, o_{t+1}, o_{t}, \ldots o_{1} | \lambda\right) \\ &=\max _{1 \leq j \leq N}\left[\delta_{t}(j) a_{j i}\right] b_{i}\left(o_{t+1}\right) \end{aligned}$

第二个变量是由第一个拒不状态递推得到。我们定义在时刻t隐藏状态为i的所有单个状态转移路径中概率最大的转移路径中的第t-1个节点的隐藏状态为 $\Psi_t(i)$ ，其递推表达式为：

$\Psi_{t}(i)=\arg \max _{1 \leq j \leq N}\left[\delta_{t-1}(j) a_{j i}\right]$

有了这两个局部状态，我们就可以从时刻0一直递推到时刻T，然后利用 $\Psi_t(i)$ 记录的前一个最可能的状态节点回溯，直到找到最优的隐藏状态序列。

维特比算法流程

输入：HMM模型蚕食，观测序列

输出：最有可能的隐藏状态序列

流程：

1）初始化局部状态：

$\delta_{1}(i)=\pi_{i} b_{i}\left(o_{1}\right), i=1,2 \ldots N$

$\Psi_{1}(i)=0, i=1,2 \ldots N$

2）进行动态规划递推时刻t的局部状态：

$\delta_{t}(i)=\max _{1 \leq j \leq N}\left[\delta_{t-1}(j) a_{j i}\right] b_{i}\left(0_{t}\right), i=1,2 \ldots N$

$\Psi_{t}(i)=\arg \max _{1 \leq j \leq N}\left[\delta_{t-1}(j) a_{j i}\right], i=1,2 \ldots N$

3）计算时刻T最大的 $\delta_t(i)$ ，即为最有可能的隐藏状态序列的概率。计算时刻T最大的 $\Psi_t(i)$ ，即为时刻T最优可能的隐藏状态

$P *=\max _{1 \leq j \leq N} \delta_{T}(i)$

$i_{T}^{*}=\arg \max _{1 \leq j \leq N}\left[\delta_{T}(i)\right]$

4）利用局部状态 $\Psi_t(i)$ 开始回溯，得到每个时刻的最优状态

$i_{t}^{*}=\Psi_{t+1}\left(i_{t+1}^{*}\right)$

最终得到最优路径，即最有可能的隐藏状态序列 $I^{*}=\left\{i_{1}^{*}, i_{2}^{*}, \ldots i_{T}^{*}\right\}$

以上~

负载均衡中四层和七层协议区别 LeonNo11 nginx 负载均衡运维
https://www.cnblogs.com/liuzhongkun/p/17046936.html在负载均衡（LoadBalancing）中，四层（L4）负载均衡和七层（L7）负载均衡是两种常见的方式，它们的区别主要体现在工作层级、处理方式、功能特性等方面。1.L4（四层）负载均衡基于TCP/UDP传输层的负载均衡协议层：工作在OSI模型的第4层（传输层）。工作方式：主要依据IP地址和端口号进
零基础小白如何系统学习Spring Boot Victoria Zhu 学习 spring boot 后端
零基础小白如何系统学习SpringBoot一、学习前的准备1.必备基础知识✅Java基础：掌握Java8+的核心语法（类/对象/集合/异常处理）✅Maven/Gradle：理解依赖管理工具的基本使用（pom.xml配置）✅HTTP协议：了解RESTfulAPI设计理念（GET/POST/PUT/DELETE）环境要求公式环境要求公式环境要求公式推荐配置：JDK≥11,IDE=IntelliJIDE
前台实时获取数据爱吃虾的五花肉前端 ajax websocket javascript 前端
实现网站实时通信·四种方式，第二三四种方式需要服务器端做操作的写计时器进行Ajax轮询//每秒调用一次http请求setInterval(function(){varxhr=newXMLHttpRequest();xhr.open('POST','url',true);xhr.setRequestHeader('Content-Type','application/json');xhr.send(
classfinal加密失败，踩坑了，不妨进来看看行云的逆袭 classfinal springboot jar包加密踩坑加密失败
最近在使用classfinal加密springboot，执行成功了，但是反编译后还是能看到源码，很郁闷！加密之后，反编译还是能看到源码，头疼我采用的加密方式是插件方式，放上配置net.roseboyclassfinal-maven-plugin${classfinal.version}#org.springxingyunapplication.yml,application-dev.yml,app
利用python 执行统计模型: 渔好学 python
利用python执行统计模型:http://www.statsmodels.org/stable/index.html
HarmonyNext深度解析：ArkUI 3.0声明式开发与高性能渲染实践披光人 harmonyOS harmonyos
第一章鸿蒙声明式UI架构演进与技术优势1.1从命令式到声明式的范式迁移HarmonyNext的ArkUI3.0标志着鸿蒙开发生态的重大革新，其核心在于采用声明式UI编程范式。相较于传统Android的XML+Java/Kotlin命令式开发模式，声明式UI具有以下技术特征：状态驱动视图：UI呈现完全由数据状态决定，开发者只需描述"UI应该是什么样子"，无需手动操作DOM元素单向数据流：采用Stat
Python多版本环境管理UV 坐吃山猪 Python python uv 开发语言
Python多版本环境管理UV1-参考网址Python虚拟环境UV管理工具-官网Python虚拟环境UV管理工具-快速开始pyproject.toml使用指导2-核心知识点1）python项目维护requirements.txt2）python机器学习环境Anaconda3）python轻量级环境管理uv4）uvx快速上手使用3-上手实操1-安装UV虚拟环境管理工具UV官网安装教程#Windows
vue处理接口返回EventStream数据并进行展示 zuo-yiran vue学习笔记 js vue.js 前端 javascript
1、在Vue组件中连接外部SSE接口HTML：来自本地文件的SSE流数据：-----+++++JS：mounted(){//http://localhost:3001/sse-stream为返回EventStream数据的地址consteventSource=newEventSource('http://localhost:3001/sse-stream');//监听消息事件eventSource
【python】flask-Web 应用程序框架 3L_csdn #python flask python 前端 python web框架 http
目录简介一、简单示例二、Flask详细使用总结1、HTML转义2、路由2.1、使用route()装饰器将函数绑定到URL。2.2、变量规则2.3、唯一的URLs/重定向行为2.4、网址构建2.5、HTTP方法2.5、有json体返回的HTTPGET请求示例(请求中不带参数)2.6、有json体返回的HTTPGET请求示例(请求中带参数)简介Flask是一个轻量级的WSGIWeb应用程序框架。它旨在
使用flask快速搭建web应用 alex190824 flask 前端 python echarts
文章目录前言一、Flask是什么？二、使用步骤1.引入包2.简单的服务端应用程序3.添加用于显示折线图代码4.在templates目录下，创建用于渲染的line-simple.html页面5.完整的代码结构前端代码后端代码总结前言在数据处理分析过程中，有快速搭建数据展示的应用场景需求，此时可以使用Flask快速进行web应用环境构建。本示例演示创建web应用及显示渲染echart折线图。一、Fla
【Springboot知识】开发属于自己的中间件健康监测HealthIndicate 问道飞鱼微服务相关技术 spring boot 中间件后端 HealthIndicate
文章目录**一、技术栈****二、项目结构****三、依赖配置(pom.xml)****四、配置文件(application.yml)****五、自定义健康检查实现****1.Redis健康检查****2.Elasticsearch健康检查****3.Kafka健康检查****4.MySQL健康检查****六、自定义健康检查接口(可选)****七、测试与验证****八、高级功能扩展****九、部署
springboot新手入门搭建项目 stayhungerstayflush spring boot 后端 java
SpringBoot新手入门指南：从原理到实践一、SpringBoot简介SpringBoot是基于Spring框架的快速开发脚手架，通过约定优于配置的设计理念，简化了Spring应用的初始化搭建和开发过程。主要优势包括：内嵌Web服务器（Tomcat/Jetty）自动配置Spring和第三方库提供生产级监控端点无需XML配置二、核心概念解析1.自动配置（Auto-Configuration）@S
【测试语言篇四】Python进阶篇之json模块 m0_37135615 编程语言 python php 开发语言
一、json模块介绍JSON（JavaScript对象表示法）是一种轻量级数据格式，用于数据交换。在Python中具有用于编码和解码JSON数据的内置json模块。只需导入它，就可以使用JSON数据了：importjsonJSON的一些优点：JSON作为“字节序列”存在，在我们需要通过网络传输（流）数据的情况下非常有用。与XML相比，JSON小得多，可转化为更快的数据传输和更好的体验。JSON非常
Web三要素：HTML之ARIA可访问性(3) 双囍菜菜前端随记前端 html 服务器 ARIA
ARIA：为Web构建数字盲道的技术革命文章目录ARIA：为Web构建数字盲道的技术革命一、屏幕背后的黑暗世界：一个被忽视的用户群体1.1触目惊心的现实案例1.2法律合规的达摩克利斯之剑二、ARIA技术体系的三重维度2.1角色（Roles）：定义元素身份常用角色分类2.2属性（Properties）：描述元素特征关键属性矩阵2.3状态（States）：反映动态变化状态同步机制三、ARIA实战：构建
数据标注工具及其对预训练模型性能的影响 AGI大模型与大数据研究院 DeepSeek R1 &大数据AI人工智能计算科学神经计算深度学习神经网络大数据人工智能大型语言模型 AI AGI LLM Java Python 架构设计 Agent RPA
1.背景介绍1.1预训练模型的崛起近年来，预训练模型（Pre-trainedModels）在自然语言处理（NLP）领域取得了显著的成功。这些模型通过在大规模无标注文本数据集上进行预训练，学习到丰富的语言知识和语义表示，并在下游任务中展现出优异的性能。BERT、GPT-3等预训练模型的出现，标志着NLP领域进入了一个新的时代。1.2数据标注的重要性尽管预训练模型展现出强大的能力，但它们仍然需要针对特
基于k3s部署Nginx、MySQL、SpringBoot和Redis的详细教程
1.安装k3s集群1.1单节点快速部署#使用root或sudo权限执行curl-sfLhttps://get.k3s.io|sh-#验证安装sudokubectlgetnodes#输出应为Ready状态sudosystemctlstatusk3s1.2配置kubectl权限（可选）mkdir-p~/.kubesudocp/etc/rancher/k3s/k3s.yaml~/.kube/config
odoo-040 odoo17前端的js方法调用后端py方法action报错 Sapphire～ Odoo 总结前端 javascript odoo
文章目录问题描述梳理写法xml写法前端方法后端action的写法错误解释问题描述在前端的kanban视图上添加了几个自定义按钮，按钮点击可以跳转到对应的tree视图，在写按钮调用方法的时候报错如下：前端调用后端action报错：action.views=[...action.views.map((v)=>[v[0],v[1]==="tree"?"list":v[1]])];//manipulate
Qt常用控件之Layout总篇 laimaxgg qt 开发语言 c++qt5 qt6.3
Layout总篇1.Layout介绍Layout是一类布局管理器，它能够将Layout内部的控件都按照某种方式布局，简单高效地使代码更美观。在Qt中内置的layout有四种：QVBoxLayout（垂直布局）、QHBoxLayout（水平布局）、QGridLayout（网格布局）、QFormLayout（表单布局）。在代码中创建的layout，本质上就只创建了一个layout。但在ui中创建的la
MySQL的双主互备 zhz5214 数据同步 mysql 数据库
参考：Windows下mysql双主搭建https://www.cnblogs.com/chenyixun/p/13810156.htmlMySQL的双机互备（又称为MySQL高可用）是一种数据库系统部署策略，可以实现在两台服务器之间实现高可用性和容错能力。具体而言，MySQL的双机互备将MySQL数据库部署在两台服务器上，其中一台作为主服务器（Master），另一台作为备用服务器（Slave）。
kettle数据同步 zhz5214 数据同步 java etl big data 数据仓库运维开发
Kettle是一个强大的数据集成工具，可以用来实现各种数据同步的需求。以下是一些常见的Kettle数据同步的实现方法：数据库之间的同步：使用Kettle中的数据库连接组件，可以连接多个不同的数据库，并通过数据抽取、转换和加载步骤实现数据同步。文件之间的同步：Kettle可以读取和写入各种类型的文件，包括CSV、Excel、JSON和XML等格式。因此，可以通过读取源文件、转换数据格式，并将其写入目
内网通改修对话框左侧聊天列表宽度支持未来开源
使用内网通，由于组织要求，大家名称都加了前缀，最后导致大家名字都显示不全。内网通还无法动态调整这个宽度。可以通过改修内网通安装的文件来改修这个长度1，找到内网通安装目录\Nwt\res\ShiYeLine\layout\ChatDialog.xml2，编辑这个文件2-1.ChatListViewLayoutWidth="150"改宽2-2.SkinLineAlignParentLeft="149"
Java通过Apache POI操作Excel IT__learning 数据分析 java apache excel
1、添加依赖org.apache.poipoi3.9org.apache.poipoi-ooxml3.9joda-timejoda-time2.10.12、读EXCELpublicstaticvoidread()throwsException{FileInputStreamstream=newFileInputStream("D:\\Test\\file.xlsx");//1.创建工作簿对象,并指
简单的网页链接爬虫笑颜218 爬虫 python 简单
fromurllib.requestimporturlopenfromurllib.parseimporturljoinfromhtml.parserimportHTMLParser#自定义HTML解析器classLinkParser(HTMLParser):def__init__(self,base_url):super().__init__()self.base_url=base_url#基础
SpringBoot整合MinIO实现文件的上传下载以及获取预览URL .晚安. spring boot 后端 java web
SpringBoot整合MinIO实现文件的上传下载以及获取预览URLJDK17SpringBoot3参考https://min.io/docs/minio/linux/developers/java/API.html?ref=docs-redirect#uploadObject源码https://gitee.com/Uncommen/easy-min-io引入依赖在pom.xml中添加主要的依赖
Azkaban上传项目提示错误 sunyaox Azkaban Azkaban上传项目错误 html python
Azkabanupload错误错误提示：basic.flow错误提示：ValidatorDirectoryFlowreportserrors:Errorloadingflowyamlfilebasic.flow:whilescanningforthenexttokenfoundcharacter‘\t(TAB)’thatcannotstartanytoken.(Donotuse\t(TAB)for
Python学习-----项目设计1.0（设计思维和ATM环境搭建） Fitz& Python学习学习 python
目录前言：项目开发流程MVC设计模式什么是MVC设计模式？ATM项目要求ATM项目的环境搭建前言：我个人学习Python大概也有一个月了，在这一个月中我发布了许多关于Python的文章，建立了一个Python学习起步的专栏（https://blog.csdn.net/m0_73633088/category_12186491.html），在这里我非常感谢各位的一路陪伴，你们的支持是我创作的不竭动力
计算机毕业设计Java河南省农村多元化养老服务管理系统设计与实现(源码+系统+mysql数据库+lw文档) 山逸网络数据库 java mysql
计算机毕业设计Java河南省农村多元化养老服务管理系统设计与实现(源码+系统+mysql数据库+lw文档)计算机毕业设计Java河南省农村多元化养老服务管理系统设计与实现(源码+系统+mysql数据库+lw文档)本源码技术栈：项目架构：B/S架构开发语言：Java语言开发软件：ideaeclipse前端技术：Layui、HTML、CSS、JS、JQuery等技术后端技术：JAVA运行环境：Win1
MyBatis-Plus接入和简单使用测试开发小白变怪兽服务端 mybatis
如何接入https://baomidou.com/getting-started/简单使用方法使用MyBatis-Plus时，大多数场景下不需要编写XML和SQL，因为它提供了强大的通用CRUD操作和条件构造器。但以下情况可能需要手动编写SQL：1.不需要写XML/SQL的场景(1)通用CRUD操作MyBatis-Plus的BaseMapper接口已经内置了通用的增删改查方法，例如：userMap
无网络entos7报错ImportError: /lib64/libm.so.6: version `GLIBC_2.27‘ not found更新glibc 夏离网络
最近在尝试使用sklearn的升级版cuml，因为是一台没有连接互联网的gpu机器，所以构建cuml环境过程很坎坷，需要各种将各种whl包在线下载后上传到服务器中。当我终于解决完包的互相依赖问题后，在importcuml时候遇到一个错误：ImportError:/lib64/libm.so.6:version`GLIBC_2.27’notfound(requiredby/anaconda3/env
使用 UML 设计 XML 模式 langzhufeng uml xml extension schema string encoding
使用UML设计XML模式统一建模语言（UnifiedModelingLanguage,UML）是一种业界标准，当以面向对象的方法构建软件系统时，用它来对业务概念建模。就信息和命令的传输方面而言，近来XML已经愈发成为实现这些系统的关键因素。XML模式用于定义和限制被交换XML的本质，因此它成为了人们注意的焦点。本文讨论了UML在设计XML模式方面的用法，并为使用UML框架创建XML词汇表提供了一种
Nginx负载均衡 510888780 nginx 应用服务器
Nginx负载均衡一些基础知识: nginx 的 upstream目前支持 4 种方式的分配 1)、轮询（默认）每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。 2)、weight 指定轮询几率，weight和访问比率成正比
RedHat 6.4 安装 rabbitmq bylijinnan erlang rabbitmq redhat
在 linux 下安装软件就是折腾，首先是测试机不能上外网要找运维开通，开通后发现测试机的 yum 不能使用于是又要配置 yum 源，最后安装 rabbitmq 时也尝试了两种方法最后才安装成功机器版本： [root@redhat1 rabbitmq]# lsb_release LSB Version: :base-4.0-amd64:base-4.0-noarch:core
FilenameUtils工具类 eksliang FilenameUtils common-io
转载请出自出处：http://eksliang.iteye.com/blog/2217081 一、概述这是一个Java操作文件的常用库，是Apache对java的IO包的封装，这里面有两个非常核心的类FilenameUtils跟FileUtils，其中FilenameUtils是对文件名操作的封装;FileUtils是文件封装，开发中对文件的操作，几乎都可以在这个框架里面找到。非常的好用。
xml文件解析SAX 不懂事的小屁孩 xml
xml文件解析:xml文件解析有四种方式， 1.DOM生成和解析XML文档(SAX是基于事件流的解析) 2.SAX生成和解析XML文档(基于XML文档树结构的解析) 3.DOM4J生成和解析XML文档 4.JDOM生成和解析XML 本文章用第一种方法进行解析，使用android常用的DefaultHandler import org.xml.sax.Attributes;
通过定时任务执行mysql的定期删除和新建分区，此处是按日分区酷的飞上天空 mysql
使用python脚本作为命令脚本，linux的定时任务来每天定时执行 #!/usr/bin/python # -*- coding: utf8 -*- import pymysql import datetime import calendar #要分区的表 table_name = 'my_table' #连接数据库的信息 host,user,passwd,db =
如何搭建数据湖架构？听听专家的意见蓝儿唯美架构
Edo Interactive在几年前遇到一个大问题：公司使用交易数据来帮助零售商和餐馆进行个性化促销，但其数据仓库没有足够时间去处理所有的信用卡和借记卡交易数据 “我们要花费27小时来处理每日的数据量，”Edo主管基础设施和信息系统的高级副总裁Tim Garnto说道：“所以在2013年，我们放弃了现有的基于PostgreSQL的关系型数据库系统，使用了Hadoop集群作为公司的数
spring学习——控制反转与依赖注入 a-john spring
控制反转（Inversion of Control，英文缩写为IoC）是一个重要的面向对象编程的法则来削减计算机程序的耦合问题，也是轻量级的Spring框架的核心。控制反转一般分为两种类型，依赖注入（Dependency Injection，简称DI）和依赖查找（Dependency Lookup）。依赖注入应用比较广泛。
用spool+unixshell生成文本文件的方法 aijuans xshell
例如我们把scott.dept表生成文本文件的语句写成dept.sql,内容如下: 　　set pages 50000; 　　set lines 200; 　　set trims on; 　　set heading off; 　　spool /oracle_backup/log/test/dept.lst; 　　select deptno||','||dname||','||loc
1、基础--名词解析(OOA/OOD/OOP) asia007 学习基础知识
OOA:Object-Oriented Analysis（面向对象分析方法）是在一个系统的开发过程中进行了系统业务调查以后，按照面向对象的思想来分析问题。OOA与结构化分析有较大的区别。OOA所强调的是在系统调查资料的基础上，针对OO方法所需要的素材进行的归类分析和整理，而不是对管理业务现状和方法的分析。　　OOA（面向对象的分析）模型由5个层次（主题层、对象类层、结构层、属性层和服务层）
浅谈java转成json编码格式技术百合不是茶 json编码 java转成json编码
json编码;是一个轻量级的数据存储和传输的语言在java中需要引入json相关的包,引包方式在工程的lib下就可以了 JSON与JAVA数据的转换（JSON 即 JavaScript Object Natation，它是一种轻量级的数据交换格式，非常适合于服务器与 JavaScript 之间的数据的交
web.xml之Spring配置(基于Spring+Struts+Ibatis) bijian1013 java web.xml SSI spring配置
指定Spring配置文件位置 <context-param> <param-name>contextConfigLocation</param-name> <param-value> /WEB-INF/spring-dao-bean.xml,/WEB-INF/spring-resources.xml, /WEB-INF/
Installing SonarQube（Fail to download libraries from server） sunjing Install Sonar
1. Download and unzip the SonarQube distribution 2. Starting the Web Server The default port is "9000" and the context path is "/". These values can be changed in &l
【MongoDB学习笔记十一】Mongo副本集基本的增删查 bit1129 mongodb
一、创建复本集假设mongod,mongo已经配置在系统路径变量上，启动三个命令行窗口，分别执行如下命令： mongod --port 27017 --dbpath data1 --replSet rs0 mongod --port 27018 --dbpath data2 --replSet rs0 mongod --port 27019 -
Anychart图表系列二之执行Flash和HTML5渲染白糖_ Flash
今天介绍Anychart的Flash和HTML5渲染功能 HTML5 Anychart从6.0第一个版本起，已经逐渐开始支持各种图的HTML5渲染效果了，也就是说即使你没有安装Flash插件，只要浏览器支持HTML5，也能看到Anychart的图形（不过这些是需要做一些配置的）。这里要提醒下大家，Anychart6.0版本对HTML5的支持还不算很成熟，目前还处于
Laravel版本更新异常4.2.8-> 4.2.9 Declaration of ... CompilerEngine ... should be compa bozch laravel
昨天在为了把laravel升级到最新的版本，突然之间就出现了如下错误： ErrorException thrown with message "Declaration of Illuminate\View\Engines\CompilerEngine::handleViewException() should be compatible with Illuminate\View\Eng
编程之美-NIM游戏分析-石头总数为奇数时如何保证先动手者必胜 bylijinnan 编程之美
import java.util.Arrays; import java.util.Random; public class Nim { /**编程之美 NIM游戏分析问题：有N块石头和两个玩家A和B，玩家A先将石头随机分成若干堆，然后按照BABA...的顺序不断轮流取石头，能将剩下的石头一次取光的玩家获胜，每次取石头时，每个玩家只能从若干堆石头中任选一堆，
lunce创建索引及简单查询 chengxuyuancsdn 查询创建索引 lunce
import java.io.File; import java.io.IOException; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Docume
[IT与投资]坚持独立自主的研究核心技术 comsci it
和别人合作开发某项产品....如果互相之间的技术水平不同,那么这种合作很难进行,一般都会成为强者控制弱者的方法和手段..... 所以弱者,在遇到技术难题的时候,最好不要一开始就去寻求强者的帮助,因为在我们这颗星球上,生物都有一种控制其
flashback transaction闪回事务查询 daizj oracle sql 闪回事务
闪回事务查询有别于闪回查询的特点有以下3个：（1）其正常工作不但需要利用撤销数据，还需要事先启用最小补充日志。（2）返回的结果不是以前的“旧”数据，而是能够将当前数据修改为以前的样子的撤销SQL（Undo SQL）语句。（3）集中地在名为flashback_transaction_query表上查询，而不是在各个表上通过“as of”或“vers
Java I/O之FilenameFilter类列举出指定路径下某个扩展名的文件游其是你 FilenameFilter
这是一个FilenameFilter类用法的例子，实现的列举出“c:\\folder“路径下所有以“.jpg”扩展名的文件。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
C语言学习五函数，函数的前置声明以及如何在软件开发中合理的设计函数来解决实际问题 dcj3sjt126com c
# include <stdio.h> int f(void) //括号中的void表示该函数不能接受数据，int表示返回的类型为int类型 { return 10; //向主调函数返回10 } void g(void) //函数名前面的void表示该函数没有返回值 { //return 10; //error 与第8行行首的void相矛盾 } in
今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Pl dcj3sjt126com centos
今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again 处理很简单，修改文件“/etc/yum.repos.d/epel.repo”，将baseurl的注释取消， mirrorlist注释掉。即可。 &n
单例模式 shuizhaosi888 单例模式
单例模式懒汉式 public class RunMain { /** * 私有构造 */ private RunMain() { } /** * 内部类，用于占位，只有 */ private static class SingletonRunMain { priv
Spring Security（09）——Filter 234390216 Spring Security
Filter 目录 1.1 Filter顺序 1.2 添加Filter到FilterChain 1.3 DelegatingFilterProxy 1.4 FilterChainProxy 1.5
公司项目NODEJS实践0.1 逐行分析JS源代码 mongodb nginx ubuntu nodejs
一、前言前端如何独立用nodeJs实现一个简单的注册、登录功能，是不是只用nodejs+sql就可以了？其实是可以实现，但离实际应用还有距离，那要怎么做才是实际可用的。网上有很多nod
java.lang.Math liuhaibo_ljf java Math lang
System.out.println(Math.PI); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1)); System.out.println(Math.abs(111111111)); System.out.println(Mat
linux下时间同步 nonobaba ntp
今天在linux下做hbase集群的时候，发现hmaster启动成功了，但是用hbase命令进入shell的时候报了一个错误 PleaseHoldException: Master is initializing，查看了日志，大致意思是说master和slave时间不同步，没办法，只好找一种手动同步一下，后来发现一共部署了10来台机器，手动同步偏差又比较大，所以还是从网上找现成的解决方
ZooKeeper3.4.6的集群部署 roadrunners zookeeper 集群部署
ZooKeeper是Apache的一个开源项目，在分布式服务中应用比较广泛。它主要用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步、集群管理、配置文件管理、同步锁、队列等。这里主要讲集群中ZooKeeper的部署。 1、准备工作我们准备3台机器做ZooKeeper集群，分别在3台机器上创建ZooKeeper需要的目录。数据存储目录
Java高效读取大文件 tomcat_oracle java
　　读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法：　　Files.readLines(new File(path), Charsets.UTF_8); 　　FileUtils.readLines(new File(path)); 　　这种方法带来的问题是文件的所有行都被存放在内存中，当文件足够大时很快就会导致
微信支付api返回的xml转换为Map的方法 xu3508620 xml map 微信api
举例如下： <xml> <return_code><![CDATA[SUCCESS]]></return_code> <return_msg><![CDATA[OK]]></return_msg> <appid><

概率图模型笔记（二） 隐马尔科夫模型（Hidden Markov Model）

写在前面

一、HMM模型基础

二、HMM观测序列的生成

三、HMM模型的三个问题

你可能感兴趣的:(ML算法总结,NLP)

概率图模型笔记（二）隐马尔科夫模型（Hidden Markov Model）