妖白

深入浅出卡尔曼滤波

转自知乎 https://www.zhihu.com/question/23971601 转载过来可能会图片乱码可以去看下答主前四个回答真的很好

最通俗理解的方法无公式

选自知乎大神 https://www.zhihu.com/question/23971601

假设你有两个传感器，测的是同一个信号。可是它们每次的读数都不太一样，怎么办？

取平均。

再假设你知道其中贵的那个传感器应该准一些，便宜的那个应该差一些。那有比取平均更好的办法吗？

加权平均。

怎么加权？假设两个传感器的误差都符合正态分布，假设你知道这两个正态分布的方差，用这两个方差值，（此处省略若干数学公式），你可以得到一个“最优”的权重。

接下来，重点来了：假设你只有一个传感器，但是你还有一个数学模型。模型可以帮你算出一个值，但也不是那么准。怎么办？

把模型算出来的值，和传感器测出的值，（就像两个传感器那样），取加权平均。

OK，最后一点说明：你的模型其实只是一个步长的，也就是说，知道x(k)，我可以求x(k+1)。问题是x(k)是多少呢？答案：x(k)就是你上一步卡尔曼滤波得到的、所谓加权平均之后的那个、对x在k时刻的最佳估计值。

于是迭代也有了。

这就是卡尔曼滤波。

（无公式）

作者：Kent Zeng

有了卡尔曼的认识，我们更加深入一些
转自知乎大神

好了下面进入正题，先从简单的说起：
考虑轨道上的一个小车，无外力作用，它在时刻t的状态向量只与相关：
（状态向量就是描述它的t=0时刻所有状态的向量，比如：
[速度大小5m/s, 速度方向右, 位置坐标0]，反正有了这个向量就可以完全预测t=1时刻小车的状态）

那么根据t=0时刻的初值，理论上我们可以求出它任意时刻的状态。

当然，实际情况不会这么美好。

这个递推函数可能会受到各种不确定因素的影响（内在的外在的都算，比如刮风下雨地震，小车结构不紧密，轮子不圆等等）导致并不能精确标识小车实际的状态。

我们假设每个状态分量受到的不确定因素都服从正态分布。

现在仅对小车的位置进行估计
请看下图：t=0时小车的位置服从红色的正态分布。

&lt;img src="https://pic3.zhimg.com/50/23619dc1894b5a099b7351e267bf7efe_hd.jpg" data-rawwidth="716" data-rawheight="191" class="origin_image zh-lightbox-thumb" width="716" data-original="https://pic3.zhimg.com/23619dc1894b5a099b7351e267bf7efe_r.jpg"&gt;
根据小车的这个位置，我们可以预测出t=1时刻它的位置：
&lt;img src="https://pic4.zhimg.com/50/003e9521ce6e69dfd8b7f601660795ad_hd.jpg" data-rawwidth="716" data-rawheight="137" class="origin_image zh-lightbox-thumb" width="716" data-original="https://pic4.zhimg.com/003e9521ce6e69dfd8b7f601660795ad_r.jpg"&gt;
分布变“胖”了，这很好理解——因为在递推的过程中又加了一层噪声，所以不确定度变大了。

为了避免纯估计带来的偏差，我们在t=1时刻对小车的位置坐标进行一次雷达测量，当然雷达对小车距离的测量也会受到种种因素的影响，于是测量结果告诉我们，小车t=1时的位置服从蓝色分布：

&lt;img src="https://pic3.zhimg.com/50/3bd423de2871befd8cce80c49803e460_hd.jpg" data-rawwidth="727" data-rawheight="164" class="origin_image zh-lightbox-thumb" width="727" data-original="https://pic3.zhimg.com/3bd423de2871befd8cce80c49803e460_r.jpg"&gt;
好了，现在我们得到两个不同的结果。前面有人提过加权，Kalman老先生的牛逼之处就在于找到了相应权值，使红蓝分布合并为下图这个 绿色的正态分布（啰嗦一句，这个绿色分布均值位置在红蓝均值间的比例称为Kalman增益(比如下图中近似0.8)，就是各种公式里的K(t)）
&lt;img src="https://pic3.zhimg.com/50/83666ee825877a07256bc1c8b0386f45_hd.jpg" data-rawwidth="733" data-rawheight="139" class="origin_image zh-lightbox-thumb" width="733" data-original="https://pic3.zhimg.com/83666ee825877a07256bc1c8b0386f45_r.jpg"&gt; 你问为什么牛逼？
绿色分布不仅保证了在红蓝给定的条件下，小车位于该点的概率最大，而且，而且，它居然还是一个正态分布！
正态分布就意味着，可以把它当做初值继续往下算了！这是Kalman滤波能够迭代的关键。

最后，把绿色分布当做第一张图中的红色分布对t=2时刻进行预测，算法就可以开始循环往复了。

你又要问了，说来说去绿色分布是怎么得出的呢？

其实可以通过多种方式推导出来。我们课上讲过的就有最大似然法、Ricatti方程法，以及上面参考文献中提及的直接对高斯密度函数变形的方法，这个不展开说了。

另外，由于我只对小车位移这个一维量做了估计，因此Kalman增益是标量，通常情况下它都是一个矩阵。而且如果估计多维量，还应该引入协方差矩阵的迭代，我也没有提到。如果楼主有兴趣，把我提及那篇参考文献吃透，就明白了。

Kalman滤波算法的本质就是利用两个正态分布的融合仍是正态分布这一特性进行迭代而已。

最后我们总体了解下卡尔曼

作者：米开朗基罗赵

卡尔曼滤波是如何工作的，图解

我必须要告诉你一些关于卡尔曼滤波的知识，因为这踏马的太牛B了。

奇怪的是很少有软件工程师或者科学家对它有所了解。这让我有点小失望，因为在一些含有不确定因素的场景里，如何去综合获取有效的信息，卡尔曼滤波是一个通用并且强有力的算法。有时候它提取精确信息的能力看上去就像是“见证奇迹的时刻”。如果看到这里你认为我说的话里有夸大的水分，你可以看下我开发的效果视频（http://www.bzarg.com/p/improving-imu-attitude-estimates-with-velocity-data）。在这个demo里我通过检测角速度来获取一个自由物体的姿态，效果奇佳。

什么是卡尔曼滤波？

你可以在任何含有不确定因素的动态系统里使用卡尔曼滤波，并且你应该可以通过一些数学建模对系统下一步动向做一个大概的预测。尽管系统总是会受到一些未知的干扰，但是卡尔曼滤波总是可以派上用场来提高系统预估的精确度，这样可以使你更加准确地清楚到底发生了什么事情。而且它可以有效利用多个粗糙数据之间的关系，而单独面对这些数据你可能都无从下手。

卡尔曼滤波尤其适合动态系统。它对于内存要求极低（它仅需要保留系统上一个状态的数据，而不是一段跨度很长的历史数据）。并且它运算很快，这使得它非常适合解决实时问题和应用于嵌入式系统。

如果你尝试谷歌去搜索相关资料，对于卡尔曼滤波的数学表达总是很枯燥并且难理解。这提高了大家的学习成本甚至打击了学习兴趣，因为卡尔曼滤波真的是超级简单，当然前提是你用正确的方式去理解它。因此这就形成了一个很有意义的学术话题，我将会通过很多清晰、漂亮的图片以及颜色标注来阐述这个话题。对学习者的预备知识要求很简单，你只需要对概率论和矩阵运算有一些简单的基础知识。

我们从一个简单的例子入手，看下卡尔曼滤波可以解决什么问题。如果你想直接看公式推导，可以跳过下一节。

利用卡尔曼滤波我们可以做什么？

我们举一个玩具的栗子：你开发了一款小型机器人，它可以在树林里自主移动，并且这款机器人需要明确自己的位置以便进行导航。

我们可以通过一组状态变量来描述机器人的状态，包括位置和速度：

注意这个状态仅仅是系统所有状态中的一部分，你可以选取任何数据变量作为观测的状态。在我们这个例子中选取的是位置和速度，它也可以是水箱中的水位，汽车引擎的温度，一个用户的手指在平板上划过的位置，或者任何你想要跟踪的数据。

我们的机器人同时拥有一个GPS传感器，精度在10m。这已经很好了，但是对我们的机器人来说它需要以远高于10m的这个精度来定位自己的位置。在机器人所处的树林里有很多溪谷和断崖，如果机器人对位置误判了哪怕只是几步远的距离，它就有可能掉到坑里。所以仅靠GPS是不够的。

同时我们可以获取到一些机器人的运动的信息：驱动轮子的电机指令对我们也有用处。如果没有外界干扰，仅仅是朝一个方向前进，那么下一个时刻的位置只是比上一个时刻的位置在该方向上远了一些。当然我们无法获取影响运动的所有信息：机器人可能会受到风力影响，轮子可能会打滑，或者碰到了一些特殊的路况；所以轮子转过的距离并不能完全表示机器人移动的距离，这就导致通过轮子转动预测机器人位置不会非常准确。

GPS传感器也会告知我们一些关于机器人状态的信息，但是会包含一些不确定性因素。我们通过轮子转动可以预知机器人是如何运动的，同样也有一定的不准确度。

如果我们综合两者的信息呢？可以得到比只依靠单独一个信息来源更精确的结果么？答案当然是YES，这就是卡尔曼滤波要解决的问题。

卡尔曼滤波如何看待你的问题

我们再来看下需要解决的问题，同样是上边的系统，系统状态包括位置和速度。

我们不知道位置和速度的准确值；但是我们可以列出一个准确数值可能落在的区间。在这个范围里，一些数值组合的可能性要高于另一些组合的可能性。

卡尔曼滤波假设所有的变量（在我们的例子中为位置和速度）是随机的且符合高斯分布（正太分布）。每个变量有一个平均值ｕ，代表了随机分布的中心值（也表示这是可能性最大的值），和一个方差，代表了不确定度。

在上图中位置和速度是无关联的，即系统状态中的一个变量并不会告诉你关于另一个变量的任何信息。

下图则展示了一些有趣的事情：在现实中，速度和位置是有关联的。如果已经确定位置的值，那么某些速度值存在的可能性更高。

假如我们已知上一个状态的位置值，现在要预测下一个状态的位置值。如果我们的速度值很高，我们移动的距离会远一点。相反，如果速度慢，机器人不会走的很远。

这种关系在跟踪系统状态时很重要，因为它给了我们更多的信息：一个测量值告诉我们另一个测量值可能是什么样子。这就是卡尔曼滤波的目的，我们要尽量从所有不确定信息中提取有价值的信息！

这种关系可以通过一个称作协方差的矩阵表述。简而言之，矩阵中的每个元素表示了第i个状态变量和第j个状态变量之间的关系。（你可能猜到了协方差矩阵是对称的，即交换下标i和j并无任何影响）。协方差矩阵通常表示为Σ，它的元素则表示为。。

利用矩阵描述问题

我们对系统状态的分布建模为高斯分布，所以在k时刻我们需要两个信息：最佳预估值（平均值，有些地方也表示为u），和它的协方差矩阵

(这里我们只记录了位置和速度，但是我们可以把任何数据变量放进我们的系统状态里)

下一步，我们需要通过k-1时刻的状态来预测k时刻的状态。请注意，我们不知道状态的准确值，但是我们的预测函数并不在乎。它仅仅是对k-1时刻所有可能值的范围进行预测转移，然后得出一个k时刻新值的范围。

我们可以通过一个状态转移矩阵来描述这个转换

把k-1时刻所有可能的状态值转移到一个新的范围内，这个新的范围代表了系统新的状态值可能存在的范围，如果k-1时刻估计值的范围是准确的话。

通过一个运动公式来表示这种预测下个状态的过程：

整理为矩阵:

我们现在有了一个状态转移矩阵，可以简单预测下个状态，但仍不知道如何更新协方差矩阵。

这里我们需要另一个公式。如果我们对每个点进行矩阵A转换，它的协方差矩阵Σ会发生什么变化呢？

Easy，直接告诉你结果。

结合（4）和（3）：

外界作用力

我们并没有考虑到所有影响因素。系统状态的改变并不只依靠上一个系统状态，外界作用力可能会影响系统状态的变化。

例如，跟踪一列火车的运动状态，火车驾驶员可能踩了油门使火车提速。同样，在我们机器人例子中，导航软件可能发出一些指令启动或者制动轮子。如果我们知道这些额外的信息，我们可以通过一个向量来描述这些信息，把它添加到我们的预测方程里作为一个修正。

假如我们通过发出的指令得到预期的加速度a，上边的运动方程可以变化为：

矩阵形式：

称作控制矩阵，称作控制向量（没有任何外界动力影响的系统，可以忽略该项）。

我们增加另一个细节，假如我们的预测转换矩阵不是100%准确呢，会发生什么？

外界不确定性

如果状态只会根据系统自身特性演变那将不会有任何问题。如果我们可以把所有外界作用力对系统的影响计算清楚那也不会有任何问题。

但是如果有些外力我们无法预测呢？假如我们在跟踪一个四轴飞行器，它会受到风力影响。如果我们在跟踪一个轮式机器人，轮子可能会打滑，或者地面上的突起会使它降速。我们无法跟踪这些因素，并且这些事情发生的时候上述的预测方程可能会失灵。

我们可以把“世界”中的这些不确定性统一建模，在预测方程中增加一个不确定项。

这样，原始状态中的每一个点可以都会预测转换到一个范围，而不是某个确定的点。可以这样描述：中的每个点移动到一个符合方差的高斯分布里。另一种说法，我们把这些不确定因素描述为方差为的高斯噪声。

这会产生一个新的高斯分布，方差不同，但是均值相同。

对简单叠加，可以拿到扩展的方差，这样就得到了完整的预测转换方程。

新的预测转换方程只是引入了已知的可以预测的外力影响因素。

新的不确定性可以通过老的不确定性计算得到，通过增加外界无法预测的、不确定的因素成分。

到这里，我们得到了一个模糊的估计范围，一个通过和描述的范围。如果再结合我们传感器的数据呢？

通过测量值精炼预测值

我们可能还有一些传感器来测量系统的状态。目前我们不用太关心所测量的状态变量是什么。也许一个测量位置一个测量速度。每个传感器可以提供一些关于系统状态的数据信息，每个传感器检测一个系统变量并且产生一些读数。

注意传感器测量的范围和单位可能与我们跟踪系统变量所使用的范围和单位不一致。我们需要对传感器做下建模：通过矩阵

我们可以得到传感器读数分布的范围：

卡尔曼滤波也可以处理传感器噪声。换句话说，我们的传感器有自己的精度范围，对于一个真实的位置和速度，传感器的读数受到高斯噪声影响会使读数在某个范围内波动。

我们观测到的每个数据，可以认为其对应某个真实的状态。但是因为存在不确定性，某些状态的可能性比另外一些可能性更高。

我们将这种不确定性的方差为描述为。读数的平均值为。

所以现在我们有了两个高斯斑，一个来自于我们预测值，另一个来自于我们测量值。

我们必须尝试去把两者的数据预测值（粉色）与观测值（绿色）融合起来。

所以我们得到的新的数据会长什么样子呢？对于任何状态( , )，我们有两个可能性：（1）传感器读数更接近系统真实状态（2）预测值更接近系统真实状态。

如果我们有两个相互独立的获取系统状态的方式，并且我们想知道两者都准确的概率值，我们只需要将两者相乘。所以我们将两个高斯斑相乘。

相乘之后得到的即为重叠部分，这个区域同时属于两个高斯斑。并且比单独任何一个区域都要精确。这个区域的平均值取决于我们更取信于哪个数据来源，这样我们也通过我们手中的数据得到了一个最好的估计值。

唔~这看上去像另一个高斯斑。

已经被证明，当你对两个均值方差都不相同的侧高斯斑进行相乘，你可以得到一个新的高斯斑。你可以自行推导：新高斯分布的均值和方差均可以通过老的均值方差求得。

高斯乘法

我们从一维数据开始，一维高斯（均值u,方差）被定义为：

我们想知道两个高斯分布相乘会发生什么。蓝色曲线代表了两个高斯分布的交集部分。

把（9）带入（10）然后做一些变换，可以得到

因式分解出一个部分，表示为k

注意你是如何将处理之前的预测值，仅仅是简单将两者叠加相乘就可以得到新的预测值。现在看下这个公式是多么简单。

如果是一个多维矩阵呢？我们将（12）与（13）表示为矩阵形式。Σ表示协方差矩阵，表示平均向量：

K被称为卡尔曼增益，待会会用到。

简单，我们快结束了。

综合所有信息

我们有两个独立的维度去估计系统状态：

预测值

测量值

将两者相乘带入（15）寻找他们的重叠区域：

从（14）可知，卡尔曼增益为

将（16）中的从两边约去，注意（17）中的K也包含。得到

至此，我们得到了每个状态的更新步骤是我们最佳的预测值，我们可以持续迭代（独立于）。

总结

以上所有公式，仅需要实现（7）（18）（19）

这使你可以对任何线性系统建模。对于非线性系统，可以使用扩展卡尔曼滤波，只是对观测值和预测值的平均值进行简单线性化。（我可能会对非线性卡尔曼再写一篇博客）

如果我可以利用卡尔曼解决我的问题，那么希望读者也可以认识到这有多酷，并且在某个新的领域将它实用。

更多参考资料可以去看http://www.cl.cam.ac.uk/~rmf25/papers/Understanding%20the%20Basis%20of%20the%20Kalman%20Filter.pdf 这里采用了相似的方法介绍卡尔曼。这里进行了更深层的介绍，如果你有兴趣的话。

你可能感兴趣的:(机器学习总结)

巴尔加瓦算法图解：K最近邻算法 Ashleyxxihf 码上行动：巴尔加瓦算法图解算法近邻算法
巴尔加瓦算法图解：K最近邻算法目录巴尔加瓦算法图解：K最近邻算法判断水果创建推荐系统1.判断相似程度练习回归（预测结果）机器学习总结本章内容❑学习使用K最近邻算法创建分类系统。❑学习特征抽取。❑学习回归，即预测数值，如明天的股价或用户对某部电影的喜欢程度。❑学习K最近邻算法的应用案例和局限性。判断水果判断这个水果是橙子还是柚子呢？一种办法是看它的邻居。来看看离它最近的三个邻居。在这三个邻居中，橙子
大数据开发之机器学习总结（一）闻香识代码大数据机器学习用户画像机器学习大数据算法
大数据开发之机器学习总结1.背景在大数据开发中，数据分析目的一般分为2大类，一个是基于已有数据，提炼出想要的数据汇总信息。一个是基于已有数据使用算法训练出模型，基于模型预测和分析未来的新数据。前者就是很多时候的大数据分析场景，后者则涉及到算法模型，机器学习的范畴。更进一步，人工智能，但机器学习和人工智能，本身其实技术上并没有非常严格的界限。2.机器学习概念机器学习，故名思意，让机器通过学习过去的经
机器学习总结净土_0342
朴素贝叶斯fromsklearnimportdatasetsiris=datasets.load_iris()fromsklearn.naive_bayesimportGaussianNBgnb=GaussianNB()y_pred=gnb.fit(iris.data,iris.target).predict(iris.data)支持向量机fromsklearnimportsvmX=[[0,0],
深度之眼-机器学习总结任嘉平生愿
为期三个月的西瓜书机器学习训练营结束，昨天听完了毕业典礼。我做了如下总结：校长讲话：定目标短时间自己的小团队闭环开环闭环----学习小部分就应用时间和努力的堆积打比赛应用人工智能的课题和方向资料tensorflow实战google深度学习框架和强者学习才会遇强则强博士讲话：1.坚持写博客2.github3.多练习4.英文原版的文章高级课程你目前的弱点是什么5.多读论文
机器学习总结 gridlayout 机器学习人工智能
对以下文章机器学习总结什么是深度学习?最易懂的机器学习入门文章-CSDN博客人工智能和机器学习之间的关系人工智能是一个最宽泛的概念，是一个研究领域，同时也是一个实现目标，而机器学习则是实现这一目标的一类方法。深度学习只是机器学习这一类方法中的一种。机器学习之前的建模方式对比:深度学习改变了很多领域算法的实现模式。在深度学习兴起之前，很多领域建模的思路是投入大量精力做特征工程，将专家对某个领域的“人
2023 Google开发者大会：你了解机器学习的新动向吗？ Mr.Winter` 前沿资讯机器学习人工智能 google 数据挖掘计算机视觉语音识别深度学习
目录0年度科技盛会1生成式机器学习2无障碍游戏体验3跨平台机器学习总结0年度科技盛会2023Google开发者大会在上海浦东举办，为开发者和科技爱好者们带来新技术、新产品、新动向可能很多同学对Google开发者大会还不熟悉，Google开发者大会是Google展示最新产品和平台的年度盛会，为开发者提供丰富的学习资源、实践操作和现场演示，提供与Google专家互动、与其他开发者交流的契机，助力开发提
【机器学习】许多仙机器学习算法支持向量机
说明：机器学习总结0、数据集1、贝叶斯分类器（一）计算题所有样本分为两类（c）：好瓜=是、好瓜=否（1）计算先验概率：P(c)（2）计算每个属性的条件概率：P(xi|c)（3）代入朴素贝叶斯公式：（4）结论：（5）拉普拉斯修正（平滑处理，可选）上面的公式中出现连乘现象，这会导致对于0特别敏感，比如出现一个0，就会直接导致最终结果直接为0其中：N——所有类别数，这里一个有两类，所以N=2Ni——第i
数字验证码识别新思路及对opencv支持向量机机器学习总结快乐的阿常艾念宝机器学习杂谈＆随想机器学习 opencv 支持向量机
验证码识别框架新问题最近遇到了数字验证码识别的新问题。由于这次的数字验证码图片有少量变形和倾斜，所以，可能需要积累更多的原始采样进行学习。但按照4个验证码10个数字的理论随机组合(暗含某种数字仅有少量变化，不然此组合数量还应更大)，也就是要采样差不多一万张图片；对每个图片适当分割后，那就差不多几万张图片了。想要对这些切割后的图片进行手工分类，成为基本数字的训练学习数据，手工工作量不小，也很无趣。当
机器学习总结（lecture 4）算法：逻辑回归Logistic Regression （LR）九方先生机器学习总结
lecture4：逻辑回归LogisticRegression目录lecture4逻辑回归LogisticRegression目录1分类和模型表示2逻辑回归1逻辑回归的代价函数的选取3过拟合和正则化1分类和模型表示先来谈谈二分类问题。课程中先给出了几个例子。邮件是垃圾邮件还是非垃圾邮件；网上交易是的欺骗性（YorN）；肿瘤是恶性的还是良性的。对于这些问题，我们可以通过输出值yϵ{0,1}来表示。注
朴素贝叶斯——机器学习总结古月哥欠666 机器学习算法
朴素贝叶斯基础知识概念优缺点一般过程利用python进行文本分类准备数据训练算法测试算法示例1：使用朴素贝叶斯过滤垃圾邮件一般步骤准备数据：切分文本测试算法：使用朴素贝叶斯进行交叉验证示例2：使用朴素贝叶斯分类器从个人广告中获取区域倾向一般步骤收集数据：导入RSS源RSS源分类器及高频词去除函数分析数据：显示地域相关的用词基础知识概念从简单的概率分类器开始，给出一些假设（条件独立性）学习朴素贝叶斯
Python-Level5-day07am:聚类的基于噪声密度/凝聚层次算法及评价指标及小结,机器学习补充练习,机器学习总结, dpq666dpq666 数据分析人工智能 python
之前讲解了基于中心聚类，采用kmeans聚类算法，下面讲解基于噪声密度聚类算法DBSACN与基于层次聚类算法（Agglomerative）算法2）噪声密度①算法定义噪声密度（Density-BasedSpatialClusteringofApplicationswithNoise，简写DBSCAN）随机选择一个样本做圆心，以事先给定的半径做圆，凡被该圆圈中的样本都被划为与圆心样本同处一个聚类，再以
机器学习总结-基于sklearn包 zaprily 总结 sklearn python 机器学习
流程集成学习数据预处理（特征工程）1.处理负值（oroutlier）标记有问题的特征，但是不删去defgetres1(row):returnlen([xforxinrow.valuesiftype(x)==intandx20,'neg1']=20#平滑处理2.填充缺失值缺失值也可以删去样本或者特征，不过在样本量比较少，特征不明确的情况下不建议直接删除特征。可以直接用fillna补充data['le
《吴恩达机器学习》18 机器学习总结 JockerWong 机器学习吴恩达机器学习课程总结
前言原机器学习最后一章的内容为图片文字识别，但是笔者在看了这一章的课程之后发现其内容可能实际应用性不大，课程讲的ocr识别的方法已经不适合目前主流的算法（目前主流使用CNN——卷积神经网络），故省略这一章节的笔记，改为对整个机器学习课程的总结。一、监督学习算法1、线性回归线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为hθ
吴恩达机器学习总结（三）——神经网络的反向传播 Anaconda_ 机器学习深度学习机器学习神经网络反向传播
神经网络的反向传播在上一篇博客中，利用神经网络对手写数字数据进行分类的结果虽然已经很高了，但和测试样本本身的输出值进行比较还是存在着一定的误差。这时我们需要使用这个误差值来调整神经网络本身，进而改变神经网络的输出值。误差传递我们知道在前向传播中，每个节点向下一层传递的信号所占权重不同。若只有一个节点的信号传递到输出节点，那调整神经网络输出值的方式将简单的多，只需要更新这个节点的权重即可。假如有多个
博客目标与内容 Geng Rain python
目标量化学习总结回测框架Backtrader量化机器人的搭建因子模型技术分析编程学习总结网络编程python基础数学学习总结高数线性代数概率论机器学习总结pytorch神经网络强化学习具体项目总结目标管理app打卡app学习方法总结学习方法
机器学习总结奋斗的海绵机器学习数据分析数据挖掘
（1）x（2）表示训练集中x的第二个训练数据，y(2)表示训练集中的y的第二个训练数据（2）需要注意的是对于一个模型构建出来的函数F，那么我们如何找出该模型的可以更好拟合训练数据的模型参数呢，我们通过使用代价函数（costfunction），通过计算不同的参数得到的预测值y和最终结果y之间的误差大小来最终确定应该如何选择最佳的参数。（3）梯度下降算法被用来寻找使得代价函数J的最小值，从而确定其此时
分布式机器学习总结 Liao_Wenzhe 机器学习与数据挖掘分布式数据研发大数据
目前主流的分布式架构包括：1.基于mapreduce模型的spark-mllib，采用数据分布式+同步的模式，缺点是对异步和模型分布式不支持，但是社区完善。2.基于参数服务器的Multiverso，既可实现数据分布式，也可实现模型分布式，同时支持异步和同步，也可实现大规模的参数更新。3.基于数据流图的tensorflow，可以和1，2结合组成复杂的分布式机器学习网络。4.3种模式的区别：5.各种框
百面机器学习总结笔记（第二章模型评估） Avery123123 算法岗面试笔试准备百面机器学习模型评估
百面机器学习总结笔记（第二章模型评估）百面机器学习总结笔记第二章模型评估第1节评估指标的局限性问题：准确率的局限性问题：精确率与召回率的权衡第2节ROC曲线问题：什么是ROC曲线？问题：如何绘制ROC曲线？问题：如何计算AUC？问题：ROC曲线相比于P-R有什么特点？第3节余弦距离的应用第4节A/B的陷阱第5节模型评估的方法问题：在模型评估中，有哪些主要的评估方法，他们的优缺点是什么？问题：在自助
机器学习总结 Bryant998 人工智能 python
均值、中值和众数从一组数字中我们可以学到什么？在机器学习（和数学）中，通常存在三中我们感兴趣的值：均值（Mean）-平均值中值（Median）-中点值，又称中位数众数（Mode）-最常见的值例如：我们已经登记了13辆车的速度：speed=[99,86,87,88,111,86,103,87,94,78,77,85,86]什么是平均，中间或最常见的速度值？均值均值就是平均值。要计算平均值，请找到所有
若特征的相关系数为0或接近0，就一定可以被过滤吗？相关系数的显著性检验也不一定可靠，如何判断？陈谦机器学习人工智能算法 python
系列文章目录添加机器学习总结提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、若特征的相关系数为0或接近0，就一定可以被过滤吗？二、验证步骤1.通过皮尔逊相关系数得出的结论，名称一样的特征排名靠后，反而在模型训练之后的特征重要性在中间。同样的模型得出的特征排名靠后反而皮尔逊相关系数靠前。总结前言若特征的相关系数为0或接近0，就一定可以被过滤吗？相关系数的显
周志华机器学习总结夜夜0810
Lecture3线性模型基本形式一般向量形式:优点:线性回归广义线性模型对数几率回归由对数几率函数确定$\boldsymbol{\omega}$和$b$线性判别分析(LDA)思想求解多分类任务多分类问题基本形式一般向量形式:f(x)=ωT∗x+bf(\boldsymbol{x})=\boldsymbol{\omega}^T*\boldsymbol{x}+bf(x)=ωT∗x+b优点:非线性模型可由
机器学习总结之——标准化与归一化的区别 Greatpanc 机器学习标准化归一化标准化与归一化过程缺失数据处理
机器学习总结之——标准化与归一化的区别1、标准化简单来说，标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下。标准化的前提是特征值服从正态分布，标准化后，其转换成标准正态分布。公式如下：x′=x−XS（其中X代表样本均值，S代表样本方差）x'=\frac{x-X}{S}（其中X代表样本均值，S代表样本方差）x′=Sx−X（其中X代表样本均值
李宏毅课程-机器学习总结张学义深度学习
李宏毅课程-机器学习总结迁移学习：TransferLearning1.什么是迁移学习呢？2.为什么用迁移学习3.迁移学习的概述3.1第一类迁移学习3.2第二类迁移学习3.3第三类迁移学习3.4第四类迁移学习大佬的笔记较好，拷贝留档学习学习网址https://aistudio.baidu.com/aistudio/education/group/info/1978迁移学习：TransferLearn
机器学习总结一：Bagging之决策树、随机森林原理与案例想考个研机器学习决策树随机森林
机器学习算法总结一、Bagging之决策树、随机森林原理与案例二、boosting之GBDT、XGBT原理推导与案例三、SVM原理推导与案例四、逻辑回归与反欺诈检测案例五、聚类之K-means一、Bagging之决策树、随机森林原理与案例1.决策树1.1简介决策树(DecisionTree)是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据种总结出决策规则，并利用树状图结构呈现这些规则
机器学习总结三：SVM原理推导与案例想考个研机器学习支持向量机算法
机器学习算法总结一、Bagging之决策树、随机森林原理与案例二、boosting之GBDT、XGBT原理推导与案例三、SVM原理推导与案例四、逻辑回归与反欺诈检测案例五、聚类之K-means三、SVM1.原理推导（硬间隔）1.1分类问题代数化**svm原理一句话概括：找出一个最优的直线(或超平面)去隔离不同类别样本数据，达到分类目的。**图1图2图1:找出一条直线将样本完美地划分成两类（注意这样
机器学习总结二：boosting之GBDT、XGBT原理公式推导想考个研机器学习算法 boosting
一、Bagging之决策树、随机森林原理与案例二、boosting之GBDT、XGBT原理推导与案例三、SVM原理推导与案例四、逻辑回归与反欺诈检测案例五、聚类之K-meansBoosting1.简介通过在数据上构建多个弱评估器，汇总所有弱评估器的建模结果，以取得比单个模型更好的分类或回归表现。加法模型，前向分步计算学习。2.基本元素弱评估器f(x)：一般为决策树(cart树)，不同boostin
机器学习总结四：逻辑回归与反欺诈检测案例想考个研机器学习逻辑回归算法
机器学习算法总结一、Bagging之决策树、随机森林原理与案例二、boosting之GBDT、XGBT原理推导与案例三、SVM原理推导与案例四、逻辑回归与反欺诈检测案例五、聚类之K-means四、逻辑回归1、概述由线性回归变化而来的，应用于分类问题中的广义回归算法。组成：回归函数z=w1x1+w2x2+...+wnxn+b=[w1w2wnb]∗[x1x2⋮xn1]=wTXz=w_1x_1+w_2x
吴恩达机器学习总结（二）——Logistic回归和简单的神经网络（附作业） Anaconda_ 机器学习机器学习逻辑回归神经网络
在线性回归模型中，输入和输出一般都是连续的，对于每个输入x，都有一个对应的输出y，模型的定义域和值域都可以是(−∞,+∞)(-∞,+∞)(−∞,+∞)。而对于分类模型来说，其输入可以是连续的，但它的输出是离散的，即只有有限个输出y。例如，其值域可以只有两个值{0,1}，这两个值可以表示对样本的某种分类，高/低、患病/健康、阴性/阳性等，这就是最常见的二分类问题。二、Logistic回归逻辑回归带有
机器学习总结（三）——梯度下降详解时代&信念机器学习
梯度下降通俗解释机器学习的问题中，线性回归问题是一个特殊的情况，线性回归可以直接求解，但是其他问题不行！举一个通俗的例子针对我们的问题，我们想要找到loss最小值所对应的θ值。我们“下山”的路有很多条，哪一条下山最快呢？那必定是对应点处的切线方向啊，也叫对应点的梯度反方向。每下降一步（或者叫“下山”一步），对应的点都会改变，所以对应的梯度方向也会改变。我们每次走一步，一步应该多大呢？步长应该小一些
机器学习总结（二）时代&信念机器学习机器学习 python 人工智能
独立同分布的意义在机器学习中很重要的一点：误差是独立同分布的，并且服从均值为0，方差为⊖2\ominus^2⊖2的高斯分布。解释一下：什么是独立？就是数据样本之间互相独立（互相不影响），例如：张三来银行贷款，他贷款多少并不影响李四的贷款金额和情况。两个数据是相互独立的。什么是同分布？样本数据得满足相同的分布。不能是这个数据满足正太分布，这个数据满足泊松分布。例如：咋们研究的是，根据年龄和月薪，预测
Spring4.1新特性——Spring MVC增强 jinnianshilongnian spring 4.1
目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
mysql 性能查询优化 annan211 java sql 优化 mysql 应用服务器
1 时间到底花在哪了？ mysql在执行查询的时候需要执行一系列的子任务，这些子任务包含了整个查询周期最重要的阶段，这其中包含了大量为了检索数据列到存储引擎的调用以及调用后的数据处理，包括排序、分组等。在完成这些任务的时候，查询需要在不同的地方花费时间，包括网络、cpu计算、生成统计信息和执行计划、锁等待等。尤其是向底层存储引擎检索数据的调用操作。这些调用需要在内存操
windows系统配置 cherishLC windows
删除Hiberfil.sys ：使用命令powercfg -h off 关闭休眠功能即可： http://jingyan.baidu.com/article/f3ad7d0fc0992e09c2345b51.html 类似的还有pagefile.sys msconfig 配置启动项 shutdown 定时关机 ipconfig 查看网络配置 ipconfig /flushdns
人体的排毒时间 Array_06 工作
======================== || 人体的排毒时间是什么时候？|| ======================== 转载于： http://zhidao.baidu.com/link?url=ibaGlicVslAQhVdWWVevU4TMjhiKaNBWCpZ1NS6igCQ78EkNJZFsEjCjl3T5EdXU9SaPg04bh8MbY1bR
ZooKeeper cugfy zookeeper
Zookeeper是一个高性能，分布式的，开源分布式应用协调服务。它提供了简单原始的功能，分布式应用可以基于它实现更高级的服务，比如同步，配置管理，集群管理，名空间。它被设计为易于编程，使用文件系统目录树作为数据模型。服务端跑在java上，提供java和C的客户端API。 Zookeeper是Google的Chubby一个开源的实现，是高有效和可靠的协同工作系统，Zookeeper能够用来lea
网络爬虫的乱码处理随意而生爬虫网络
下边简单总结下关于网络爬虫的乱码处理。注意，这里不仅是中文乱码，还包括一些如日文、韩文、俄文、藏文之类的乱码处理，因为他们的解决方式是一致的，故在此统一说明。网络爬虫，有两种选择，一是选择nutch、hetriex，二是自写爬虫，两者在处理乱码时，原理是一致的，但前者处理乱码时，要看懂源码后进行修改才可以，所以要废劲一些；而后者更自由方便，可以在编码处理
Xcode常用快捷键张亚雄 xcode
一、总结的常用命令：隐藏xcode command+h 退出xcode command+q 关闭窗口 command+w 关闭所有窗口 command+option+w 关闭当前
mongoDB索引操作 adminjun mongodb 索引
一、索引基础： MongoDB的索引几乎与传统的关系型数据库一模一样，这其中也包括一些基本的优化技巧。下面是创建索引的命令： > db.test.ensureIndex({"username":1}) 可以通过下面的名称查看索引是否已经成功建立： &nbs
成都软件园实习那些话 aijuans 成都软件园实习
无聊之中，翻了一下日志，发现上一篇经历是很久以前的事了，悔过~~ 　　断断续续离开了学校快一年了，习惯了那里一天天的幼稚、成长的环境，到这里有点与世隔绝的感觉。不过还好，那是刚到这里时的想法，现在感觉在这挺好，不管怎么样，最要感谢的还是老师能给这么好的一次催化成长的机会，在这里确实看到了好多好多能想到或想不到的东西。　　都说在外面和学校相比最明显的差距就是与人相处比较困难，因为在外面每个人都
Linux下FTP服务器安装及配置 ayaoxinchao linux FTP服务器 vsftp
检测是否安装了FTP [root@localhost ~]# rpm -q vsftpd 如果未安装：package vsftpd is not installed 安装了则显示：vsftpd-2.0.5-28.el5累死的版本信息安装FTP 运行yum install vsftpd命令，如[root@localhost ~]# yum install vsf
使用mongo-java-driver获取文档id和查找文档 BigBird2012 driver
注：本文所有代码都使用的mongo-java-driver实现。在MongoDB中，一个集合（collection）在概念上就类似我们SQL数据库中的表（Table），这个集合包含了一系列文档（document）。一个DBObject对象表示我们想添加到集合（collection）中的一个文档（document），MongoDB会自动为我们创建的每个文档添加一个id，这个id在
JSONObject以及json串 bijian1013 json JSONObject
一.JAR包简介要使程序可以运行必须引入JSON-lib包，JSON-lib包同时依赖于以下的JAR包： 1.commons-lang-2.0.jar 2.commons-beanutils-1.7.0.jar 3.commons-collections-3.1.jar &n
[Zookeeper学习笔记之三]Zookeeper实例创建和会话建立的异步特性 bit1129 zookeeper
为了说明问题，看个简单的代码， import org.apache.zookeeper.*; import java.io.IOException; import java.util.concurrent.CountDownLatch; import java.util.concurrent.ThreadLocal
【Scala十二】Scala核心六：Trait bit1129 scala
Traits are a fundamental unit of code reuse in Scala. A trait encapsulates method and field definitions, which can then be reused by mixing them into classes. Unlike class inheritance, in which each c
weblogic version 10.3破解 ronin47 weblogic
版本：WebLogic Server 10.3 说明：%DOMAIN_HOME%：指WebLogic Server 域(Domain）目录例如我的做测试的域的根目录 DOMAIN_HOME=D:/Weblogic/Middleware/user_projects/domains/base_domain 1.为了保证操作安全，备份%DOMAIN_HOME%/security/Defa
求第n个斐波那契数 BrokenDreams
今天看到群友发的一个问题：写一个小程序打印第n个斐波那契数。自己试了下，搞了好久。。。基础要加强了。 &nbs
读《研磨设计模式》-代码笔记-访问者模式-Visitor bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.List; interface IVisitor { //第二次分派，Visitor调用Element void visitConcret
MatConvNet的excise 3改为网络配置文件形式 cherishLC matlab
MatConvNet为vlFeat作者写的matlab下的卷积神经网络工具包，可以使用GPU。主页： http://www.vlfeat.org/matconvnet/ 教程： http://www.robots.ox.ac.uk/~vgg/practicals/cnn/index.html 注意：需要下载新版的MatConvNet替换掉教程中工具包中的matconvnet： http
ZK Timeout再讨论 chenchao051 zookeeper timeout hbase
http://crazyjvm.iteye.com/blog/1693757 文中提到相关超时问题，但是又出现了一个问题，我把min和max都设置成了180000，但是仍然出现了以下的异常信息： Client session timed out, have not heard from server in 154339ms for sessionid 0x13a3f7732340003
CASE WHEN 用法介绍 daizj sql group by case when
CASE WHEN 用法介绍 1. CASE WHEN 表达式有两种形式 --简单Case函数 CASE sex WHEN '1' THEN '男' WHEN '2' THEN '女' ELSE '其他' END --Case搜索函数 CASE WHEN sex = '1' THEN
PHP技巧汇总:提高PHP性能的53个技巧 dcj3sjt126com PHP
PHP技巧汇总:提高PHP性能的53个技巧　　用单引号代替双引号来包含字符串，这样做会更快一些。因为PHP会在双引号包围的字符串中搜寻变量，　　单引号则不会，注意：只有echo能这么做，它是一种可以把多个字符串当作参数的函数译注：　　PHP手册中说echo是语言结构，不是真正的函数，故把函数加上了双引号)。　　1、如果能将类的方法定义成static，就尽量定义成static，它的速度会提升将近4倍
Yii框架中CGridView的使用方法以及详细示例 dcj3sjt126com yii
CGridView显示一个数据项的列表中的一个表。表中的每一行代表一个数据项的数据,和一个列通常代表一个属性的物品(一些列可能对应于复杂的表达式的属性或静态文本)。　　CGridView既支持排序和分页的数据项。排序和分页可以在AJAX模式或正常的页面请求。使用CGridView的一个好处是,当用户浏览器禁用JavaScript,排序和分页自动退化普通页面请求和仍然正常运行。实例代码如下：
Maven项目打包成可执行Jar文件 dyy_gusi assembly
Maven项目打包成可执行Jar文件在使用Maven完成项目以后，如果是需要打包成可执行的Jar文件，我们通过eclipse的导出很麻烦，还得指定入口文件的位置，还得说明依赖的jar包，既然都使用Maven了，很重要的一个目的就是让这些繁琐的操作简单。我们可以通过插件完成这项工作，使用assembly插件。具体使用方式如下： 1、在项目中加入插件的依赖： <plugin>
php常见错误 geeksun PHP
1. kevent() reported that connect() failed (61: Connection refused) while connecting to upstream, client: 127.0.0.1, server: localhost, request: "GET / HTTP/1.1", upstream: "fastc
修改linux的用户名 hongtoushizi linux change password
Change Linux Username 更改Linux用户名，需要修改4个系统的文件： /etc/passwd /etc/shadow /etc/group /etc/gshadow 古老/传统的方法是使用vi去直接修改，但是这有安全隐患（具体可自己搜一下），所以后来改成使用这些命令去代替： vipw vipw -s vigr vigr -s 具体的操作顺
第五章常用Lua开发库1-redis、mysql、http客户端 jinnianshilongnian nginx lua
对于开发来说需要有好的生态开发库来辅助我们快速开发，而Lua中也有大多数我们需要的第三方开发库如Redis、Memcached、Mysql、Http客户端、JSON、模板引擎等。一些常见的Lua库可以在github上搜索，https://github.com/search?utf8=%E2%9C%93&q=lua+resty。 Redis客户端 lua-resty-r
zkClient 监控机制实现 liyonghui160com zkClient 监控机制实现
直接使用zk的api实现业务功能比较繁琐。因为要处理session loss，session expire等异常，在发生这些异常后进行重连。又因为ZK的watcher是一次性的，如果要基于wather实现发布/订阅模式，还要自己包装一下，将一次性订阅包装成持久订阅。另外如果要使用抽象级别更高的功能，比如分布式锁，leader选举
在Mysql 众多表中查找一个表名或者字段名的 SQL 语句 pda158 mysql
在Mysql 众多表中查找一个表名或者字段名的 SQL 语句：　　方法一：SELECT table_name, column_name from information_schema.columns WHERE column_name LIKE 'Name'; 　　方法二：SELECT column_name from information_schema.colum
程序员对英语的依赖 Smile.zeng 英语程序猿
1、程序员最基本的技能，至少要能写得出代码，当我们还在为建立类的时候思考用什么单词发牢骚的时候，英语与别人的差距就直接表现出来咯。 2、程序员最起码能认识开发工具里的英语单词，不然怎么知道使用这些开发工具。 3、进阶一点，就是能读懂别人的代码，有利于我们学习人家的思路和技术。 4、写的程序至少能有一定的可读性，至少要人别人能懂吧... 以上一些问题，充分说明了英语对程序猿的重要性。骚年
Oracle学习笔记(8) 使用PLSQL编写触发器 vipbooks oracle sql 编程活动 Access
时间过得真快啊，转眼就到了Oracle学习笔记的最后个章节了，通过前面七章的学习大家应该对Oracle编程有了一定了了解了吧，这东东如果一段时间不用很快就会忘记了，所以我会把自己学习过的东西做好详细的笔记，用到的时候可以随时查找，马上上手！希望这些笔记能对大家有些帮助！这是第八章的学习笔记，学习完第七章的子程序和包之后

深入浅出 卡尔曼滤波

你可能感兴趣的:(机器学习总结)

深入浅出卡尔曼滤波