在手撕机器学习系列文章的上一篇，我们详细讲解了线性回归的问题，并且最后通过梯度下降算法拟合了一条直线，从而使得这条直线尽可能的切合数据样本集，已到达模型损失值最小的目的。

原标题：【MATLAB机器学习系列】——主成份分析(PCA)在量化投资中的应用编辑部我们会再接再厉1PAC核心思想PCA算法也叫主成分分析(principalcomponentsanalysis)，用来减少数据集的维数

机器学习系列文章目录文章目录机器学习系列文章目录第九节一个例子算法原理算法的优缺点优点缺点关于K的选取尝试动手总结第十节一个例子算法原理算法的优缺点几个版本的决策树的比较优点缺点关于剪枝尝试动手扩展内容总结十一节一个例子算法原理如何处理连续值关于平滑算法的优缺点优点缺点尝试动手扩展内容总结第九节你好

一、贝叶斯公式推导1.条件概率设是任意两个事件，已知发生的条件下，发生的条件概率为：2.全概率公式设为有限或无限个事件，他们两两互斥，即：被称为一个完备事件群。对于一个事件，可以得出：因为两两互斥，所以也两两互斥，由加法定理可知：根据条件概率：,代入上式可得：上式即为全概率公式。全概率公式的意义在于，直接计算不容易的时候，可以通过构造一系列来简化计算。3.贝叶斯公式在全概率公式的基础上可推导得：若

一、Logisticregression中sigmod函数推导sigmod函数的推导1.伯努利分布一个事件x，其结果只有两种：x=1or0，比如抛硬币。when,when,伯努利分布的概率质量函数为：可以写成2.指数族分布如果一个分布能用以下的方式写出，就设这类分布属于指数族：伯努利分布可以表示成：可以发现，伯努利分布是指数族分布，其中：3.sigmod函数的推导标准的逻辑回归问题中，是二分类的，

MSE，RMSE，MAE（MeanSquareError，Root～，MeanAbsoluteError）在分类算法中，我们用准确率作为评价模型好坏的标准。在回归问题中，由于是拟合，自然没有准确率这样的说法，以简单线性回归为例，下面介绍常用的回归衡量指标。在简单线性回归中，我们的目标是找到a和b，使得尽可能小。为了测试模型性能，需要看模型在测试集上的预测与真实值的误差：不过这个表达式与m有关，假如

机器学习系列专栏选自python-machine-learning-bookonGitHub作者：SebastianRaschka翻译&整理bySam最近在GitHub上面发现了一个炒鸡赞的项目，果然直接拿过来消化一波

竞争神经网络结构上和RBF等网络是比较像的。这里的距离是负数距离，||ndist||中带一个n，表示negative。在matlab中计算方法是ngedist。它的计算过程是：待分类样本输入后，和样本（就是输入权值向量IW）计算负距离。||ndist||计算后输出是S1x1维的列向量，列向量中每个元素为输入向量p和IW距离的负数。之后，再和一个阈值b1相加，得到n1。接下来就进入了最重要的竞争层，

一说明概率学、或统计学有许多概念无法直观想象，而我们这些搞AI的，必须将这些概念学成一种直觉，啥叫直觉，就是无需过大脑，直接想象成结论。这里引出一个概念---期望，本文对其专门讨论。二、举个常识例子这里不先给出定义，拿一个常识进行讨论。【1】假如有一个骰子，有六面。如果丢出“1”来，给你一块钱，那么丢100次能获取多少钱？答案是100/6块钱，这个答案你能接受吗？如果接受上述事实，那么写成公式：其

贝叶斯决策（Bayes）【前言】前面几天一直比较忙，写了机器学习的前几篇文章，中间还研究了下微信订阅号开发，简单的做了个微信订阅号，每天发布一天好的文章给大家，希望多少对大家有点帮助，今天继续写贝叶斯决策，这个算法涉及到概率论中的内容比较多，大家耐心看哈！【摘要】本文主要讲解“贝叶斯决策”算法，本算法是机器学习中应用非常广泛的算法之一，尤其在文本分类中的应用，例如在垃圾文件分类中的应用，本文从一定

机器学习系列文章目录文章目录机器学习系列文章目录前言一、算法步骤k-means介绍二、优化目标总结代码数据集ex7data2.mat参考链接：https://blog.csdn.net/qq_54804745

最小二乘法最小二乘法，又称最小平方法，是机器学习中基础的算法之一，它是一种优化算法，通过最小化误差的平方来寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。在机器学习中，还可以使用最小二乘法来进行曲线拟合。上图介绍的上海市长宁区部分房价的信息，从散点图可以发现，房子的大小和房价彼此之间有一些依赖关系，由房子大小可以决定房子的价格，

机器学习系列|基于随机森林的生存分析模型-R实战随机生存森林随机生存森林通过训练大量生存树，以表决的形式，从个体树之中加权选举出最终的预测结果。

【经典】吴恩达——机器学习笔记001机器学习(MachineLearning)笔记001学习地址：[中英字幕]吴恩达机器学习系列课程文字版参考及PPT来源：Coursera-ML-AndrewNg-Notes

概述随机森林是决策树的组合算法，基础是决策树，关于决策树和Spark2.0中的代码设计可以参考本人另外一篇博客：http://blog.csdn.net/qq_34531825/article/details/52330942随机森林Spark中基于Pipeline和DataFrame的代码编写和决策树基本上是一样的，只需要将classifer换一下可以了，其它部分是一模一样的，因此本文不再对代码

机器学习笔记（0）常见概念&一些术语（随学习进度更新，部分个人理解）监督学习（SupervisedLearning）给定训练集后，通过算法让机器学习分类、标识等操作。无监督学习（UnsupervisedLearning）根据没有被标记的训练样本，来自动完成分类等操作。支持向量机（SupportVectorMachine,简称SVM）是一类按监督学方式对数据进行二元分类的广义线性分类器（genera

本文开始，我们运行一个真实的机器学习模型。ok，StepbyStep。0x00：启动docker上篇文章已经介绍过sudodockerrun--nameming-tensortflow-it-p8888:8888-v~/pythonstudy:/studytensorflow/tensorflow正常情况下，你能够看到terminal里给出一个url把URL复制到浏览器里登录即可，如果使用云服务器

吴恩达机器学习系列五聚类（Clustering）无监督学习K-均值算法优化目标随机初始化选择聚类数降维（DimensionalityReduction）动机一：数据压缩动机二：数据可视化主成分分析问题主成分分析算法选择主成分的数量重建的压缩表示主成分分析法的应用建议聚类

本系列文章如果没有特殊说明，正文内容均解释的是文字上方的图片机器学习|Coursera吴恩达机器学习系列课程_bilibili目录18应用案例：照片OCR18-1问题描述与流程(pipeline)18-

提示：这章选学，可以去学python，第六节可以看看。5.1基本操作https://www.bilibili.com/video/BV164411b7dx?p=26本章学习以种编程语言：Octave语言。你能够用它来非常迅速地实现这门课中我们已经学过的，或者将要学的机器学习算法。过去我一直尝试用不同的编程语言来教授机器学习，包括C++、Java、Python、Numpy和Octave。我发现当使用

14.1动机一：数据压缩https://www.bilibili.com/video/BV164411b7dx?p=79这个视频，我想开始谈论第二种类型的无监督学习问题，称为降维。有几个不同的的原因使你可能想要做降维。一是数据压缩，后面我们会看了一些视频后，数据压缩不仅允许我们压缩数据，因而使用较少的计算机内存或磁盘空间，但它也让我们加快我们的学习算法。但首先，让我们谈论降维是什么。作为一种生动的

11.1首先要做什么https://www.bilibili.com/video/BV164411b7dx?p=65在接下来的视频中，我将谈到机器学习系统的设计。这些视频将谈及在设计复杂的机器学习系统时，你将遇到的主要问题。同时我们会试着给出一些关于如何巧妙构建一个复杂的机器学习系统的建议。下面的课程的的数学性可能不是那么强，但是我认为我们将要讲到的这些东西是非常有用的，可能在构建大型的机器学习系

吴恩达机器学习系列内容的学习目录→\rightarrow→吴恩达机器学习系列内容汇总。

Python机器学习算法实现Author：louwillMachineLearningLab从本篇开始，整个机器学习系列还剩下最后三篇涉及导概率模型的文章，分别是EM算法、CRF条件随机场和HMM隐马尔科夫模型

1.吴恩达机器学习课程笔记：监督学习、无监督学习吴恩达机器学习系列课程：监督学习吴恩达机器学习系列课程：无监督学习仅作为个人学习笔记，若各位大佬发现错误请指正机器学习的学习算法：监督学习、无监督学习、半监督学习

目录自己疑问-----容易错误的点：训练集、验证集、测试集训练集验证集测试集以下视频地址：[中英字幕]吴恩达机器学习系列课程_哔哩哔哩_bilibili第二章2.1线性回归2-2代价函数（类似误差一样）

原创系列持续更新，欢迎微信搜一搜「Python数据科学」阅读机器学习系列文章。最近在kaggle上有一个调参神器非常热门，在top方案中频频出现，它就是OPTUNA。

目录1、问题的动机2、高斯分布3、异常检测算法4、开发和评价一个异常检测系统5、异常检测与监督学习对比6、特征选择1、问题的动机这一部分介绍异常检测(Anomalydetection)问题。这是机器学习算法的一个常见应用。这种算法的一个有趣之处在于：它虽然主要用于非监督学习问题，但从某些角度看，它又类似于一些监督学习问题。什么是异常检测呢？为了解释这个概念，举一个例子吧：假想你是一个飞机引擎制造商

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱阅读本文之前，首先注意以下两点：1、机器学习系列文章常含有大量公式推导证明，为了更好理解，文章在最开始会给出本文的重要结论

学习内容跟随“吴恩达机器学习系列课程”。

参考：吴恩达机器学习的视频视频链接：[中英字幕]吴恩达机器学习系列课程_哔哩哔哩_bilibili本文用于我自己的内容总结以及层次理解。

本文主要介绍CART算法，包括CART分类树/回归树的详细步骤和在sklearn中的参数等。0x01、CART算法简介CART（ClassificationandRegressionTree，分类与回归树）算法是决策树的一种实现，既可用于分类也可用于回归。它是一种二分递归分割技术，即把当前样本划分为两个子样本（即使特征有多个取值，也把数据分为两部分，当前被划分进同一部分的特征在之后的分割过程中将有

本文介绍K均值（KMeans）聚类算法。0x01、k均值聚类简介K均值聚类是基于样本集合划分的聚类算法。K均值聚类将样本集合划分为K个子集，构成K个类，将n个样本分到K个类中，每个样本到其所属类的中心的距离最小。每个样本只能属于一个类，所以K均值聚类是硬聚类。1、模型给定个样本的集合，每个样本由一个特征向量表示，特征向量的维数是。均值聚类的目标是将个样本分到个不同的类或簇中，这里假设。个类形成对样

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱阅读本文之前，先注意一下两点：1、机器学习系列文章常含有大量公式推导证明，为了更好理解，文章在最开始会给出本文的重要结论，

文章目录机器学习的定义监督学习机器学习入门机器学习的定义机器学习是一种非显著式编程。显著式编程是程序固定了程序的输入输出，但是非显著式编程可以让机器进行不断学习。以机器人路径规划为例，机器人根据经验E来提升性能指标P的过程。在人脸识别任务中，经验E往往指训练样本以及对应标签的集合。这些输入的数据都是人为手动添加标签，被称为监督学习。在自动驾驶任务中，经验E往往需要计算机和环境互动获得，计算机产生行

文章目录1.支持向量机线性可分情况1.1线性可分的定义1.2线性可分下的优化问题2.支持向量机算法2.1核函数的定义2.2原问题和对偶问题3.度量系统性能的标准3.1识别率3.2混淆矩阵3.3ROC曲线4.支持向量机的多分类问题1.支持向量机线性可分情况1.1线性可分的定义线性可分指的是可以使用一条直线分开两个不同的类别，否则为线性不可分。二维特征空间中可视化的例子：三维特征空间可视化的例子：1.

手撕机器学习系列文章就暂时更新到此吧，目前已经完成了支持向量机SVM、决策树、KNN、贝叶斯、线性回归、Logistic回归，其他算法还请允许Taoye在这里先赊个账，后期有机会有时间再给大家补上。

算法相关数学符号表（资料1）1、字母表2、数学符号表3、公式和输入符号表4、运算符号表1、字母表2、数学符号表3、公式和输入符号表4、运算符号表

点击进入：机器学习系列目录其后附有清晰的pdf版本下载链接哦。整理不易，如果您觉得有用的话，请点个赞吧

吴恩达机器学习系列内容的学习目录→\rightarrow→吴恩达机器学习系列内容汇总。

优化算法随机梯度下降法在机器学习中，优化问题的目标函数通常可以表示成其中θ\thetaθ是待优化的模型参数，xxx是模型输入，f(x,θ)f(x,\theta)f(x,θ)是模型的实际输出，yyy是模型的目标输出，函数LLL刻画了模型在数据(x,y)(x,y)(x,y)上的损失，PdataP_{data}Pdata表示数据的分布，EEE表示期望。因此，L(θ)L(\theta)L(θ)刻画了当参数

坚持是多么重要，又是多么艰难，目前事情都告一段落，我们继续100天搞定机器学习系列。想要继续做这个是因为，一方面在具体应用中，发现很多之前遗漏的点，可

吴恩达机器学习系列内容的学习目录→\rightarrow→吴恩达机器学习系列内容汇总。

解决该问题，一般有两类方法：极大似然估计与最大后验估计，关于极大似然估计，可以看我这篇博客：机器学习系列之极大似然估计（MLE）。

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱前言：机器学习系列文章常含有大量公式，若需获取本文全部的手书版原稿资料，扫码关注公众号【AI机器学习与知识图谱】，回复:高斯分布第一讲即可获取

多分类问题指的是因变量或者被预测变量是分类变量，且其取值水平有多个水平的情形，比如预测病人糖尿病分期的情形。整个代码大致可以分为包、数据、模型、预测评估4个部分，接下来逐一解读。1、包部分，也就是加载各类包，包括随机森林包randomForest，数据相关包tidyverse、skimr、DataExplorer，模型评估包caret、pROC。2、数据部分，主要是读取数据，处理缺失值，转换变量类

机器学习这是记录自学的过程，目前的理论基础就是：大学高等数学+线性代数+概率论。编程基础：C/C++,python在观看机器学习实战这本书，慢慢介入。相信有读过以上三门课的人完全可以开始自学机器学习了，当然我上面这三门课学的一般，所以你只知道有这么一个公式或名词，不懂可以百度之深究之。在写这篇文章的时候作者机器学习还没学完，故文章中的错误还请不吝指出。再次声明，系列文章只是分享学习过程，学习点滴，

吴恩达机器学习系列内容的学习目录→\rightarrow→吴恩达机器学习系列内容汇总。

目录循环神经网络RNN1.公式推导2.代码实现循环神经网络RNN1.公式推导对于该循环神经网络，以中间的RNN单元为例，推导前向传播：对于Layer-1：zh=wix+whah−1z^h=w^ix+w^ha^{h-1}zh=wix+whah−1ah=σ(zh)a^h=\sigma(z^h)ah=σ(zh)这里σ\sigmaσ是sigmoid(⋅)sigmoid(·)sigmoid(⋅)激活函数对于

机器学习与深度学习在深度学习“家喻户晓”之前，这种技术一直以“神经网络”的名义活跃于学者们的研究和工作者们的项目中。深度学习或者神经网络都属于机器学习的一个子类，理所当然地深度学习会具备机器学习中的一些共有特性，尽管近几年深度学习发展出了很多“专属”问题。近期更新的这个系列我们会以机器学习中常见算法的一些特殊性出发，探究一下它们会对我们的日后深度学习的学习带来哪些启发。一SVM的推导过程与其本身同