weixin_39943926
weixin_39943926

最大似然估计_最大似然估计与最大后验估计

最大似然估计_最大似然估计与最大后验估计_第1张图片

摘要

最大似然估计(Maximum Likelihood Estimation)与最大后验估计(Maximum A Posteriori)是机器学习中最常用的两种点估计参数估计方法. 最大似然估计以最大化观测数据集上的似然度为目标, 强调从观测数据集上拟合出产生观测数据集的分布, 常用的交叉熵损失(cross entropy loss)、 均方误差损失(Mean Square Error)都可以以最大似然估计作为其理论基础. 而最大后验估计则是贝叶斯推断的一个典型应用, 其强调将关于参数的先验知识带入到参数预估中, 以达到对参数不确定性的建模, 在机器学习理论中充当参数正则化的角色. 本文这两种机器学习中常用的点估计方法进行总结, 阐述其与信息论、均方误差损失、参数正则化之间的联系. 本文组织如下:

  1. 阐述最大似然估计及其与信息论之间的关联;
  2. 均方误差损失与最大似然估计的关联;
  3. 阐述贝叶斯推断与最大后验估计;
  4. 总结.

关键词: 最大似然估计, 最大后验估计, 贝叶斯推断, 机器学习

校对:

知乎专栏: 张同学讲机器学习

最大似然估计与信息论

假设我们有观测数据集

, 如果我们希望通过预估参数
来获得产生数据集
的近似分布
, 一个非常自然的想法是既然数据集
已经产生了, 何不让分布
最大化, 即使得分布
以最大概率产生观测数据集
中的数据, 这便是最大似然估计的指导思路. 具体地, 我们有

由于多个概率值进行连乘操作容易引起数值溢出的问题, 我们通常会求解等价问题

我们通常称(2)为负对数似然函数

(Negative Log Likelihood), 这在机器学习中是常用的损失函数. 如果我们将产生观测数据集
的分布记为
, 由大数定理
可知, 当
时, 独立同分布的随机变量所产生样本的算数平均值依概率收敛于期望, 故(2)可转化为

由(3)可知, 待估参数

的求解过程其实是对关于分布
的期望
求最值的过程. 那么这是怎么与信息论产生联系的呢? 信息论
是对信息进行量化与处理的一门学科, 其基本思想是
一个大概率会发生的事件所拥有的信息量应该非常少, 甚至为零. 反之, 一个小概率发生的事件其所拥有的信息量应该比较大. 同时, 两个独立事件的信息量具有可叠加性. 为了满足这些对信息量进行度量的特性, 信息论定义事件
发生的自信息(self-information)为

(4)度量了事件

发生的信息量, 而对于随机变量
所服从分布的总体信息量, 我们使用期望

我们称(5)为香农熵(Shannon entropy), 它描述了依据概率分布

进行发生的随机事件所含有的信息量的期望值. 既然我们现在可以度量一个概率分布所含有的信息量, 一个很自然的想法是, 我们可以对不同概率分布的香农熵进行比较, 从而描述不同概率分布之间的差异性. 具体地, 对于随机变量
所服从的两个不同的概率分布
和
, 我们使用 KL散度(Kullback-Leibler divergence)来对其差异性进行描述

KL散度只有当

和
完全一致时才会为零, 且其具有非负性, 这使得KL散度非常适合用来度量不同分布之间的距离. 需要注意的是, KL散度具有不对称性, 即
.
描述了使用分布
对分布
进行逼近时所需的额外信息量, 当这个额外信息量为零时,
就含有和
一样的信息量. 而(6)等号右边的第二项其实就是(3)中的期望, 第一项则为
的信息量取反为一个常量, 所以我们有

我们称

为分布
和
的交叉熵(Cross entropy), 当我们试图使用分布
去拟合分布
时, 只需要使得二者的交叉熵尽量小, 就能缩小其含有的信息量差异. 所以,
最大似然估计从信息论的角度来看, 是在最小化产生观测数据的分布
和模型分布
之间的交叉熵
, 即

均方误差损失与最大似然估计

在实际生产中, 我们经常使用MSE(Mean squared error, 均方误差损失)

作为损失函数来对数据之间的映射关系进行拟合, 具体地, 对于数据集
, 我们通过使用模型
学习一个从
到
的映射, 使得在数据集
上的MSE最小, 即

选择不同的拟合函数对应不同的模型, 如使用线性函数

进行拟合时, 便是常用的线性回归. 现在我们从条件概率分布的角度来看待这个拟合问题, 对于给定的随机变量
, 我们试图使条件似然函数
最大, 从而最大程度地利用已经观测到的数据集
来对参数
进行估计. 这在实际生产中是最为常用的建模方式, 大多数的有监督学习正是基于此范式. 当观测数据集足够大时, 对于给定的
, 我们可以观测到不同的
, 即给定随机变量
的值, 随机变量
服从条件概率分布
. 我们使用
来逼近
, 具体地, 当
时

由中心极限定理

, 我们不妨假设
为高斯分布, 即
. 当给定
时, 为了使得条件似然函数
尽量地大, 由高斯分布
的性质可知, 我们应该使
尽可能靠近高斯分布的均值, 所以我们使用模型
来作为高斯分布的均值, 即
, 从而使得参数
的估计过程直接影响
的取值(此处我们取
). 则由(10)我们有

由(10)(11)可得, 当我们取条件似然函数为高斯分布的概率密度函数时, 使用最大似然估计对参数

进行预估, 实际上是在使用 MSE 作为损失函数来对函数的映射关系进行拟合.

贝叶斯推断与最大后验估计

前文所阐述的最大似然估计是典型的点估计方法, 其承袭了频率学派的观点, 认为参数为确定的未知数, 参数估计就是找出未知数的过程. 贝叶斯学派的观点则更激进一些, 认为参数其实也是随机变量, 服从一定的分布. 我们可以将对参数的信念和经验用关于参数的先验分布进行建模, 并使用观测数据来对参数进行修正, 最后使用修正后的参数分布来进行推断, 这便是贝叶斯推断的大致过程. 具体地, 若观测数据集为

, 在使用分布
表示我们对参数
的先验和信念时, 我们希望通过数据集
来修正我们对
的预估, 由贝叶斯公式

由(12)可知, 先验的分布在观测数据不断加入到似然度后得到修正, 参数

会从不确定的值不断向部分确定的值靠拢, 使得先验从一个蕴含高度不确定性的高熵状态, 向其后验的低熵状态靠拢. 有了参数的后验分布, 就可以进行贝叶斯推断, 具体地, 对于新的数据

在预估新数据

的分布时, 贝叶斯推断把参数的所有可能性都考虑进去, 包括确定性较高的取值和确定性较低的取值, 充分地利用了所有参数的信息. 由(13)我们也可以发现, 贝叶斯推断时因为考虑所有参数分布的信息, 致使计算量相比最大似然估计这种点估计方式会增大很多, 在实际生产中难以应用. 例如, 当使用神经网络作为预估模型时, 贝叶斯推断在参数上进行积分意味着参数每变化一次, 神经网络便要做一次前向传播计算, 而这个代价非常地高. 所以我们退而求其次, 只使用后验概率最大的参数作为参数的点估计, 这样既能将对参数的先验信息代入到模型的推断中, 又能节省计算资源, 具体地

(14)便是最大后验估计的主要内容. 由(14)可知, 最大后验估计是在最大似然估计的基础上加上了参数

的先验信息. 当
的先验取均值为
, 协方差矩阵为
, 即
,
的先验正比于
, 此时的先验分布为一个
正则化项, 所以最大似然估计加上一个
正则化项可解释为最大后验估计的一个近似.

总结

本文总结了最大似然估计和最大后验估计的理论框架与计算范式, 其在现代机器学习技术和工业生产中有较强的理论指导意义, 理解并熟练掌握有助于对新技术的学习与使用.

引用

[1] Wikipedia contributors. (2019, June 4). Likelihood function. InWikipedia, The Free Encyclopedia. Retrieved 10:57, June 5, 2019, fromhttps://en.wikipedia.org/w/

[2] Wikipedia contributors. "大数定律." 维基百科, 自由的百科全书. 维基百科, 自由的百科全书, 19 May 2020. Web. 19 May 2020.‹https://zh.wikipedia.org/w/index.php?title=%E5%A4%A7%E6%95%B0%E5%AE%9A%E5%BE%8B&oldid=59719812›.

[3] Goodfellow, Ian et al. Deep Learning. 2016, pp. 65~68.

[4] Wikipedia contributors. (2020, June 18). Mean squared error. In Wikipedia, The Free Encyclopedia. Retrieved 15:41, August 9, 2020, from https://en.wikipedia.org/w/index.php?title=Mean_squared_error&oldid=963224523

[5] Zhang, L. (2019). 多元高斯分布完全解析. Retrieved from https://zhuanlan.zhihu.com/p/58987388

[6] Wikipedia contributors. (2020, August 7). Central limit theorem. In Wikipedia, The Free Encyclopedia. Retrieved 16:38, August 11, 2020, from https://en.wikipedia.org/w/index.php?title=Central_limit_theorem&oldid=971682692

[7] Wikipedia contributors. (2020, August 12). Bayes' theorem. In Wikipedia, The Free Encyclopedia. Retrieved 13:45, August 13, 2020, from https://en.wikipedia.org/w/index.php?title=Bayes%27_theorem&oldid=972578120

你可能感兴趣的:(最大似然估计)

  • 深度学习如何入门？ 科学的N次方 深度学习
    入门深度学习需要系统性的学习和实践经验积累，以下是一份详细的入门指南，包含了关键的学习步骤和资源：预备知识：•编程基础：熟悉Python编程语言，它是深度学习领域最常用的编程语言。确保掌握变量、条件语句、循环、函数等基本概念，并学习如何使用Python处理数据和文件操作。•数学基础：理解线性代数（矩阵运算、向量空间等）、微积分（导数、梯度求解等）、概率论与统计学（期望、方差、概率分布、最大似然估计
  • 九月二十六日总结 疯狂太阳花
    英语：2013年第三篇，我们的未来一片光明，第四篇，州政府的权利，联邦政府的权利，最高法院，三权分立，checkandbalance每日一句，信任的重要性时文精析数学：数理统计的初步，参数估计样本均值，样本方差，k阶原点矩，三个分布，卡方分布，t分布，F分布，正态总体点估计，矩估计法，最大似然估计结构力学：静定拱，三绞拱，拱轴线，拱趾，拱顶，跨度，拱高内力计算，合理拱轴线
  • Pixel Recurrent Neural Networks 和 autoregressive models 自回归模型 Longlongaaago 机器学习深度学习
    PixelRecurrentNeuralNetworkspixelrnn是生成模型的一种，基于autoregressivemodels。他的思想很简单，就是最大似然估计的方式去拟合图像数据。将二维的图像数据比作序列数据，以条件概率的方式，逐点预测和计算。并且每个像素点的预测都在[0-255]之间，（单通道情况下）如下图1所示：图1，autoregressivemodels在二维图片上的预测方式。其
  • 机器学习入门之基础概念及线性回归 StarCoder_Yue 算法机器学习学习笔记机器学习线性回归正则化人工智能算法数学
    任务目录什么是Machinelearning学习中心极限定理，学习正态分布，学习最大似然估计推导回归Lossfunction学习损失函数与凸函数之间的关系了解全局最优和局部最优学习导数，泰勒展开推导梯度下降公式写出梯度下降的代码学习L2-Norm，L1-Norm，L0-Norm推导正则化公式说明为什么用L1-Norm代替L0-Norm学习为什么只对w/Θ做限制，不对b做限制Question1：Wh
  • 机器学习 - 似然函数：概念、应用与代码实例 机器学习人工智能深度学习算法
    本文深入探讨了似然函数的基础概念、与概率密度函数的关系、在最大似然估计以及机器学习中的应用。通过详尽的定义、举例和Python/PyTorch代码示例，文章旨在提供一个全面而深入的理解。关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，项目管理专业人士，上亿营收AI产品研发负责人
  • 吴恩达机器学习笔记（2） python小白22
    一.逻辑回归1.什么是逻辑回归？逻辑回归是一种预测变量为离散值0或1情况下的分类问题，在逻辑回归中，假设函数。2.模型描述在假设函数中，，为实数，为Sigmoid函数，也叫Logistic函数。模型解释：，即就是对一个输入，的概率估计。损失函数的理解：所谓最大似然估计，就是我们想知道哪套参数组合对应的曲线最可能拟合我们观测到的数据，也就是该套参数拟合出观测数据的概率最大，而损失函数的要求是预测结果
  • 【最大似然估计】详解概率论之最大似然估计 程序遇上智能星空 深入浅出讲解自然语言处理机器学习概率论机器学习算法
    本文收录于《深入浅出讲解自然语言处理》专栏，此专栏聚焦于自然语言处理领域的各大经典算法，将持续更新，欢迎大家订阅！个人主页：有梦想的程序星空个人介绍：小编是人工智能领域硕士，全栈工程师，深耕Flask后端开发、数据挖掘、NLP、Android开发、自动化等领域，有较丰富的软件系统、人工智能算法服务的研究和开发经验。如果文章对你有帮助，欢迎关注、点赞、收藏、订阅。1、概率密度函数概率密度函数（Pro
  • NLP——数学基础 晴晴_Amanda 自然语言处理
    文章目录概率论基础概率(probability)最大似然估计(maximumlikelihoodestimation)条件概率(conditionalprobability)全概率公式(fullprobability)贝叶斯公式(Bayes’theorem)贝叶斯决策理论(Bayesiandecisiontheory)最小错误率贝叶斯决策最小风险贝叶斯决策二项式分布(binomialdistrib
  • 贝叶斯分类器 抄书侠
    总结本节从贝叶斯公式出发，通过最小化错误分类概率得到贝叶斯决策理论。进一步定义决策面和决策函数，基于正态分布讨论了贝叶斯分类的样子，但实际情况下，不一定是正态分布的，此时就需要对概率密度函数进行估计。最经典的，如果数据点都来自同一个分布，就是使用最大似然估计，如果数据点不是来自同一个分布，我们引入混合模型，采用EM算法来非线性迭代优化求解。之前都是假设属于某个分布来计算参数，但我们如果在没有假设基
  • 自然语言处理——5.2 语言模型（参数估计） SpareNoEfforts
    两个重要概念：训练语料(trainingdata)：用于建立模型，确定模型参数的已知语料。最大似然估计(maximumlikelihoodEvaluation,MLE):用相对频率计算概率的方法。最大似然估计求法对于n-gram，参数可由最大似然估计求得：其中，是历史串在给定语料中出现的次数，即,不管是什么。是在给定的条件下出现的相对频度，分子为与同出现的次数。举例例如，给定训练语料：“Johnr
  • 深度学习如何入门? dami_king 深度学习人工智能
    入门深度学习需要系统性的学习路径和实践经验。以下是一些建议的步骤来快速入门并逐步深入理解深度学习：1.基础知识准备数学基础：理解和掌握线性代数（矩阵运算、向量空间）、微积分（梯度、导数）、概率论与统计学（概率分布、最大似然估计、贝叶斯推断）是至关重要的。编程基础：至少掌握一种编程语言，如Python，并熟悉其科学计算库如NumPy、Pandas以及可视化库如Matplotlib。2.机器学习预备知
  • 机器学习数学基础 对许 基础理论机器学习概率论线性代数
    机器学习基础1、标量、向量、矩阵、张量2、概率函数、概率分布、概率密度、分布函数3、向量的线性相关性4、最大似然估计5、正态分布（高斯分布）6、向量的外积（叉积）7、向量的内积（点积）8、超平面（H）1、标量、向量、矩阵、张量标量、向量、矩阵和张量是线性代数中不同维度的数学对象，它们之间的区别在于维数和结构：标量（Scalar）：标量是一个数值，只有大小，没有方向。例如物理学中的时间、质量、温度等
  • 【通信系统】MIMO阵列信号来向DOA估计实现~含FOCUSS、OMP、贝叶斯学习(SBL)等稀疏重构法和常规、子空间法、空间平滑滤波法 sys_rst_n 仿真MIMO天线阵列波达方向DOA估计MATLAB仿真子空间算法压缩感知与稀疏恢复
    MIMO阵列目标信号来向估计原理与实现~基于常规法、子空间变换法和稀疏恢复法写在最前前言空间谱估计的历史发展仿真原理离散时间阵列信号模型波束形成矩阵(完备字典)回波生成空间平滑滤波传统方法CBF~常规波束成型Capon~最小方差无失真响应法ML~最大似然估计法子空间方法MUSIC~多重信号分类法ESPRIT~旋转不变子空间法最小二乘准则总体最小二乘准则稀疏恢复方法FOCUSS~欠定系统聚焦法OMP
  • 【机器学习】损失函数 惊雲浅谈天 机器学习机器学习人工智能
    L1平均绝对误差MAEL2均方误差MSE交叉熵CE用于度量两个概率分布之间的差异性信息。对交叉熵求最小值，也等效于求最大似然估计。在机器学习领域，我们令P(x)为预测集，Q(x)为真实数据集。
  • 多维高斯分布（多元正态分布）的概率密度函数和最大似然估计 Chen_Chance 概率论机器学习算法
    多元高斯分布的概率密度函数fμ,Σ(x)=1(2π)D/21∣Σ∣1/2exp{−12(x−μ)TΣ−1(x−μ)}f_{\mu,\Sigma}(x)=\frac{1}{(2\pi)^{D/2}}\frac{1}{|\Sigma|^{1/2}}exp\{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\}fμ,Σ(x)=(2π)D/21∣Σ∣1/21exp{−21(x
  • 二维正态分布的最大似然估计_最大似然估计-高斯分布 燕山美发 二维正态分布的最大似然估计
    前言：介绍了最简单的问题(这里都是玩具数据，为了方便理解才列出)0123456789101112X12344.24.44.64.85678y000011110000假设x=4.9用科学的办法估计y的分类。预备知识高斯分布的概率密度函数高斯分布的概率密度函数理解通常用「概率密度函数」代替概率，仅仅去比较大小。还有其他的分布，我也没有去深挖:)。而不是直接求出概率。这非常重要！！！求解问题写出这个数据
  • 扩散模型：Diffusion Model原理剖析 WindyChanChan DiffusionModel语言模型人工智能
    DiffusionModel视频Training第5行是唯一需要解释的地方，x0x_{0}x0是干净的图片，ϵθ\epsilon_{\theta}ϵθ是前面说的NoisePredictor，它的输入包括加噪声之后的图像（红色框）以及时序ttt，ϵ\epsilonϵ是训练的target也就是添加的噪声。它其实与前面我们提到的一步步加噪的过程不一样，而是一次就可以了。Inference最大似然估计倒数
  • 图像生成之变分自动编码器（VAE） Wilson_Hank 机器学习人工智能
    简要介绍“概率图模型+神经网络”、“EM算法、变分推断”自动编码器是一种无监督学习方法，将高维的原始数据映射到一个低维特征空间，然后从低维特征学习重建原始的数据。变分自编码器（VariationalAutoencoder，简称VAE）是一种生成模型，结合了自编码器和概率图模型的思想。VAE在建模生成模型时是显式地定义了条件概率分布，通过最大似然估计来学习生成模型的参数，使其能够生成与训练数据相似的
  • 逻辑回归（解决分类问题） Visual code AlCv 人工智能入门逻辑回归回归分类
    定义：逻辑回归是一种用于解决分类问题的统计学习方法。它通过对数据进行建模，预测一个事件发生的概率。逻辑回归通常用于二元分类问题，即将数据分为两个类别。它基于线性回归模型，但使用了逻辑函数（也称为S形函数）来将输出限制在0到1之间，表示事件发生的概率。逻辑回归可以通过最大似然估计或梯度下降等方法来进行参数估计，从而得到一个可以用于分类的模型。一、逻辑回归入门在分类肿瘤的例子中，我们将肿瘤分为恶性肿瘤
  • EM算法(expectation maximization algorithms)揭秘 アナリスト 算法机器学习人工智能聚类概率论
    EM算法篇EM算法简介EM算法，也叫expectationmaximizationalgorithms，是在包含隐变量(未观察到的潜在变量)的概率模型中寻找参数最大似然估计(也叫最大后验估计)的迭代算法。EM算法在期望(E步骤)和最大化(M步骤)之间交替执行，前者计算模型参数当前估计的对数似然期望函数，后者对E步骤中找到的预期对数似然计算最大化，然后使用参数新估计值来确定下一个E步骤中隐变量的分布
  • HMM算法(Hidden Markov Models)揭秘 アナリスト 算法机器学习自然语言处理语音识别语言模型
    序列数据机器学习的数据通常有两类，最常见的是独立同分布数据，其次就是序列数据。对于前者，一般出现在各种分类/回归问题中，其最大似然估计是所有数据点的概率分布乘积。对于后者，一般出现在各种时间序列问题中，比如在特定时间特定区域内的降雨量数据、每天的货币汇率数据，以及上下文相关的，如语音识别中的声学特征数据、文本的字符序列数据、生物领域如DNA数据等。需要指出，本文介绍的HMM模型适用于一切序列问题，
  • PLSA 和 LDA 对比？ 爱打网球的小哥哥一枚吖 信息检索人工智能机器学习
    PLSA和LDA都是主题模型，但PLSA是基于最大似然估计的生成式模型，而LDA是基于贝叶斯推断的生成式模型。LDA具有更好的泛化性能和对稀疏数据的建模能力，但计算复杂度较高。在实际应用中，可以根据具体需求选择适合的模型。
  • 最大似然估计与贝叶斯 冷水调画
    最大似然估计（maximumlikelihoodestimates，MLE）：一种确定模型参数值的方法。确定参数值的过程，是找到能最大化模型产生真实观察数据可能性的那一组参数。过程：通过观察数据分布（如8，9.5，11），预估一个模型（比如正态分布，这个判断通常来自于领域内专家），然后求出在该模型下发生此数据分布概率最大的模型（求参数组合-均值与方差），这样就确定了这个高斯模型（的参数组合），我们
  • Arxiv网络科学论文摘要6篇(2019-08-02) ComplexLY
    MIMO干扰信道的最大-最小公平性设计：最小化最大化方法;从媒体事件报告中监督学习全球风险网络激活;跨域网络表示;基于友谊悖论采样的幂律度分布的最大似然估计;网络上的采样：估计不完整图的特征向量中心性;用归一化集聚系数测量网络的集聚强度;MIMO干扰信道的最大-最小公平性设计：最小化最大化方法原文标题：Max-MinFairnessDesignforMIMOInterferenceChannels
  • 【手搓深度学习算法】用逻辑回归分类双月牙数据集-非线性数据篇 精英的英 天网计划算法深度学习逻辑回归
    用逻辑回归分类-非线性数据篇前言逻辑斯蒂回归是一种广泛使用的分类方法，它是基于条件概率密度函数的最大似然估计的。它的主要思想是将输入空间划分为多个子空间，每个子空间对应一个类别。在每个子空间内部，我们假设输入变量的取值与类别标签的概率成正比。在逻辑斯蒂回归中，我们首先通过数据进行线性回归，得到的结果再通过sigmoid函数转化为概率，这样就可以得到每个类别的概率。然后，我们可以通过设置一个阈值，如
  • 【手搓深度学习算法】用逻辑回归分类Iris数据集-线性数据篇 精英的英 天网计划算法深度学习逻辑回归
    用逻辑回归分类Iris数据集-线性数据篇前言逻辑斯蒂回归是一种广泛使用的分类方法，它是基于条件概率密度函数的最大似然估计的。它的主要思想是将输入空间划分为多个子空间，每个子空间对应一个类别。在每个子空间内部，我们假设输入变量的取值与类别标签的概率成正比。在逻辑斯蒂回归中，我们首先通过数据进行线性回归，得到的结果再通过sigmoid函数转化为概率，这样就可以得到每个类别的概率。然后，我们可以通过设置
  • 张宇1000题概率论与数理统计 第九章 参数估计与假设检验 古月忻 #概率论张宇考研其他
    目录AAA组6.设x1,x2,⋯ ,xnx_1,x_2,\cdots,x_nx1,x2,⋯,xn是来自总体X∼N(μ,σ2)X\simN(\mu,\sigma^2)X∼N(μ,σ2)（μ,σ2\mu,\sigma^2μ,σ2都未知）的简单随机样本的观测值，则σ2\sigma^2σ2的最大似然估计值为（  ）。(A)1n∑i=1n(xi−μ)2;(A)\cfrac{1}{n}\displaystyl
  • 自然语言处理学习笔记 追求科技的足球
    参考：http://fancyerii.github.io/books/word-embedding/1、语言要首先转换成词向量。2、one-hot向量将词转换为二进制且仅有一位为1。缺点：会导致词典非常大，且为一维数据，不容易衡量词义。3、N-Gram语言模型：计算概率和最大似然估计来估计参数4、Word2Vec:CBOW(ContinuousBag-of-Word)SG(Skip-Gram)5
  • 李宏毅机器学习第二十一周周报GAN理论 沽漓酒江 机器学习生成对抗网络人工智能
    文章目录week21TheorybehindGAN摘要Abstract一、李宏毅机器学习——TheorybehindGAN1.Generation2.最大似然估计3.Generator3.Discriminator二、文献阅读1.题目2.abstract3.网络架构3.1SequenceGenerativeAdversarialNets3.2SeqGANviaPolicyGradient3.3Th
  • 机器学习基础知识和常用名词解释 湖大李桂桂
    机器学习入门的基础知识，包括常见名词的解释（线性回归、容量、过拟合欠拟合、正则化、超参数和验证集、估计、偏差和方差、最大似然估计、KL散度、随机梯度下降）欢迎关注我的微信公众号“人小路远”哦，在这里我将会记录自己日常学习的点滴收获与大家分享，以后也可能会定期记录一下自己在外读博的所见所闻，希望大家喜欢，感谢支持！1、数值计算基础计算机求解问题的步骤：1、根据实际问题建立数学模型；（应用数学）2、由
  • Java实现的基于模板的网页结构化信息精准抽取组件：HtmlExtractor yangshangchuan 信息抽取HtmlExtractor精准抽取信息采集
    HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件，本身并不包含爬虫功能，但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。   HtmlExtractor是为大规模分布式环境设计的，采用主从架构，主节点负责维护抽取规则，从节点向主节点请求抽取规则，当抽取规则发生变化，主节点主动通知从节点，从而能实现抽取规则变化之后的实时动态生效。 如
  • java编程思想 -- 多态 百合不是茶 java多态详解
    一: 向上转型和向下转型 面向对象中的转型只会发生在有继承关系的子类和父类中（接口的实现也包括在这里）。父类：人    子类：男人向上转型： Person p = new Man() ; //向上转型不需要强制类型转化向下转型： Man man =
  • [自动数据处理]稳扎稳打,逐步形成自有ADP系统体系 comsci dp
          对于国内的IT行业来讲,虽然我们已经有了"两弹一星",在局部领域形成了自己独有的技术特征,并初步摆脱了国外的控制...但是前面的路还很长....       首先是我们的自动数据处理系统还无法处理很多高级工程...中等规模的拓扑分析系统也没有完成,更加复杂的
  • storm 自定义 日志文件 商人shang stormclusterlogback
    Storm中的日志级级别默认为INFO，并且，日志文件是根据worker号来进行区分的，这样，同一个log文件中的信息不一定是一个业务的，这样就会有以下两个需求出现： 1. 想要进行一些调试信息的输出 2. 调试信息或者业务日志信息想要输出到一些固定的文件中   不要怕，不要烦恼，其实Storm已经提供了这样的支持，可以通过自定义logback 下的 cluster.xml 来输
  • Extjs3 SpringMVC使用 @RequestBody 标签问题记录 21jhf
    springMVC使用 @RequestBody(required = false) UserVO userInfo 传递json对象数据，往往会出现http 415，400,500等错误，总结一下需要使用ajax提交json数据才行，ajax提交使用proxy，参数为jsonData，不能为params；另外，需要设置Content-type属性为json，代码如下： （由于使用了父类aaa
  • 一些排错方法 文强chu 方法
    1、java.lang.IllegalStateException: Class invariant violation at org.apache.log4j.LogManager.getLoggerRepository(LogManager.java:199)at org.apache.log4j.LogManager.getLogger(LogManager.java:228) at o
  • Swing中文件恢复我觉得很难 小桔子 swing
           我那个草了！老大怎么回事，怎么做项目评估的？只会说相信你可以做的，试一下，有的是时间！        用java开发一个图文处理工具，类似word，任意位置插入、拖动、删除图片以及文本等。文本框、流程图等，数据保存数据库，其余可保存pdf格式。ok,姐姐千辛万苦，
  • php 文件操作 aichenglong PHP读取文件写入文件
    1 写入文件 @$fp=fopen("$DOCUMENT_ROOT/order.txt", "ab"); if(!$fp){ echo "open file error" ; exit; } $outputstring="date:"." \t tire:".$tire."
  • MySQL的btree索引和hash索引的区别 AILIKES 数据结构mysql算法
    Hash 索引结构的特殊性，其 检索效率非常高，索引的检索可以一次定位，不像B-Tree 索引需要从根节点到枝节点，最后才能访问到页节点这样多次的IO访问，所以 Hash 索引的查询效率要远高于 B-Tree 索引。     可能很多人又有疑问了，既然 Hash 索引的效率要比 B-Tree 高很多，为什么大家不都用 Hash 索引而还要使用 B-Tree 索引呢
  • JAVA的抽象--- 接口 --实现 百合不是茶
    抽象 接口 实现接口   //抽象 类 ,方法   //定义一个公共抽象的类 ,并在类中定义一个抽象的方法体 抽象的定义使用abstract   abstract class A 定义一个抽象类 例如： //定义一个基类 public abstract class A{     //抽象类不能用来实例化，只能用来继承 //
  • JS变量作用域实例 bijian1013 作用域
    <script> var scope='hello'; function a(){ console.log(scope); //undefined var scope='world'; console.log(scope); //world console.log(b);
  • TDD实践（二） bijian1013 javaTDD
    实践题目：分解质因数 Step1： 单元测试： package com.bijian.study.factor.test; import java.util.Arrays; import junit.framework.Assert; import org.junit.Before; import org.junit.Test; import com.bijian.
  • [MongoDB学习笔记一]MongoDB主从复制 bit1129 mongodb
    MongoDB称为分布式数据库，主要原因是1.基于副本集的数据备份， 2.基于切片的数据扩容。副本集解决数据的读写性能问题，切片解决了MongoDB的数据扩容问题。   事实上，MongoDB提供了主从复制和副本复制两种备份方式，在MongoDB的主从复制和副本复制集群环境中，只有一台作为主服务器，另外一台或者多台服务器作为从服务器。 本文介绍MongoDB的主从复制模式，需要指明
  • 【HBase五】Java API操作HBase bit1129 hbase
    import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.ha
  • python调用zabbix api接口实时展示数据 ronin47
    zabbix api接口来进行展示。经过思考之后，计划获取如下内容：     1、  获得认证密钥     2、  获取zabbix所有的主机组     3、  获取单个组下的所有主机     4、  获取某个主机下的所有监控项  
  • jsp取得绝对路径 byalias 绝对路径
    在JavaWeb开发中，常使用绝对路径的方式来引入JavaScript和CSS文件，这样可以避免因为目录变动导致引入文件找不到的情况，常用的做法如下： 一、使用${pageContext.request.contextPath} 　　代码” ${pageContext.request.contextPath}”的作用是取出部署的应用程序名，这样不管如何部署，所用路径都是正确的。
  • Java定时任务调度：用ExecutorService取代Timer bylijinnan java
    《Java并发编程实战》一书提到的用ExecutorService取代Java Timer有几个理由，我认为其中最重要的理由是： 如果TimerTask抛出未检查的异常，Timer将会产生无法预料的行为。Timer线程并不捕获异常，所以 TimerTask抛出的未检查的异常会终止timer线程。这种情况下，Timer也不会再重新恢复线程的执行了;它错误的认为整个Timer都被取消了。此时，已经被
  • SQL 优化原则 chicony sql
    一、问题的提出 　在应用系统开发初期，由于开发数据库数据比较少，对于查询SQL语句，复杂视图的的编写等体会不出SQL语句各种写法的性能优劣，但是如果将应用系统提交实际应用后，随着数据库中数据的增加，系统的响应速度就成为目前系统需要解决的最主要的问题之一。系统优化中一个很重要的方面就是SQL语句的优化。对于海量数据，劣质SQL语句和优质SQL语句之间的速度差别可以达到上百倍，可见对于一个系统
  • java 线程弹球小游戏 CrazyMizzz java游戏
    最近java学到线程，于是做了一个线程弹球的小游戏，不过还没完善 这里是提纲 1.线程弹球游戏实现 1.实现界面需要使用哪些API类 JFrame JPanel JButton FlowLayout Graphics2D Thread Color ActionListener ActionEvent MouseListener Mouse
  • hadoop jps出现process information unavailable提示解决办法 daizj hadoopjps
    hadoop jps出现process information unavailable提示解决办法   jps时出现如下信息： 3019 -- process information unavailable3053 -- process information unavailable2985 -- process information unavailable2917 --
  • PHP图片水印缩放类实现 dcj3sjt126com PHP
    <?php class Image{ private $path; function __construct($path='./'){ $this->path=rtrim($path,'/').'/'; } //水印函数，参数：背景图，水印图，位置，前缀,TMD透明度 public function water($b,$l,$pos
  • IOS控件学习：UILabel常用属性与用法 dcj3sjt126com iosUILabel
    参考网站： http://shijue.me/show_text/521c396a8ddf876566000007 http://www.tuicool.com/articles/zquENb http://blog.csdn.net/a451493485/article/details/9454695 http://wiki.eoe.cn/page/iOS_pptl_artile_281
  • 完全手动建立maven骨架 eksliang javaeclipseWeb
    建一个 JAVA 项目 ： mvn archetype:create -DgroupId=com.demo -DartifactId=App [-Dversion=0.0.1-SNAPSHOT] [-Dpackaging=jar] 建一个 web 项目 ： mvn archetype:create -DgroupId=com.demo -DartifactId=web-a
  • 配置清单 gengzg 配置
    1、修改grub启动的内核版本 vi /boot/grub/grub.conf 将default 0改为1 拷贝mt7601Usta.ko到/lib文件夹 拷贝RT2870STA.dat到 /etc/Wireless/RT2870STA/文件夹 拷贝wifiscan到bin文件夹，chmod 775 /bin/wifiscan 拷贝wifiget.sh到bin文件夹，chm
  • Windows端口被占用处理方法 huqiji windows
    以下文章主要以80端口号为例，如果想知道其他的端口号也可以使用该方法..........................1、在windows下如何查看80端口占用情况?是被哪个进程占用?如何终止等.        这里主要是用到windows下的DOS工具,点击"开始"--"运行",输入&
  • 开源ckplayer 网页播放器， 跨平台(html5, mobile)，flv, f4v, mp4, rtmp协议. webm, ogg, m3u8 ！ 天梯梦 mobile
    CKplayer，其全称为超酷flv播放器，它是一款用于网页上播放视频的软件，支持的格式有：http协议上的flv,f4v,mp4格式，同时支持rtmp视频流格 式播放，此播放器的特点在于用户可以自己定义播放器的风格，诸如播放/暂停按钮，静音按钮，全屏按钮都是以外部图片接口形式调用，用户根据自己的需要制作 出播放器风格所需要使用的各个按钮图片然后替换掉原始风格里相应的图片就可以制作出自己的风格了，
  • 简单工厂设计模式 hm4123660 java工厂设计模式简单工厂模式
           简单工厂模式（Simple Factory Pattern）属于类的创新型模式，又叫静态工厂方法模式。是通过专门定义一个类来负责创建其他类的实例，被创建的实例通常都具有共同的父类。简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。简单工厂模式是工厂模式家族中最简单实用的模式，可以理解为是不同工厂模式的一个特殊实现。
  • maven笔记 zhb8015 maven
    跳过测试阶段： mvn package -DskipTests 临时性跳过测试代码的编译： mvn package -Dmaven.test.skip=true   maven.test.skip同时控制maven-compiler-plugin和maven-surefire-plugin两个插件的行为，即跳过编译，又跳过测试。   指定测试类 mvn test
  • 非mapreduce生成Hfile，然后导入hbase当中 Stark_Summer maphbasereduceHfilepath实例
    最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了好久，速度也才1w左右，都没有达到理想的那种速度，然后就想到了这种方式，但是网上多是用mapreduce来实现入库，而现在的需求是实时入库，不生成文件了，所以就只能自己用代码实现了，但是网上查了很多资料都没有查到，最后在一个网友的指引下，看了源码，最后找到了生成Hfile
  • jsp web tomcat 编码问题 王新春 tomcatjsppageEncode
    今天配置jsp项目在tomcat上，windows上正常，而linux上显示乱码，最后定位原因为tomcat 的server.xml 文件的配置，添加 URIEncoding 属性： <Connector port="8080" protocol="HTTP/1.1" connectionTi
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他