机器学习系列

机器学习系列12：反向传播算法

当我们要运用高级算法进行梯度下降时，需要计算两个值，代价函数和代价函数的偏导数：代价函数我们之前已经知道怎么求了，现在只需要求代价函数的偏导数即可。采用如下方法，先进行前向传播算法，然后再进行反向传播算法（BackpropagationAlgorithm），反向传播算法与前向传播算法方向相反，它用来求代价函数的偏导数。具体过程看下图：用δ作为误差，计算方法为：有时我们在运用反向传播算法时会遇到bu

SuperFengCode·2024-09-04 10:40

基于Python的机器学习系列（18）：梯度提升分类（Gradient Boosting Classification）

简介梯度提升（GradientBoosting）是一种集成学习方法，通过逐步添加新的预测器来改进模型。在回归问题中，我们使用梯度来最小化残差。在分类问题中，我们可以利用梯度提升来进行二分类或多分类任务。与回归不同，分类问题需要使用如softmax这样的概率模型来处理类别标签。梯度提升分类的工作原理梯度提升分类的基本步骤与回归类似，但在分类任务中，我们使用概率模型来处理预测结果：初始化模型：选择一个

会飞的Anthony·2024-09-01 12:50

基于Python的机器学习系列（17）：梯度提升回归（Gradient Boosting Regression）

简介梯度提升（GradientBoosting）是一种强大的集成学习方法，类似于AdaBoost，但与其不同的是，梯度提升通过在每一步添加新的预测器来减少前一步预测器的残差。这种方法通过逐步改进模型，能够有效提高预测准确性。梯度提升回归的工作原理在梯度提升回归中，我们逐步添加预测器来修正模型的残差。以下是梯度提升的基本步骤：初始化模型：选择一个初始预测器h0(x)，计算该预测器的预测值。计算残差：

会飞的Anthony·2024-08-31 09:02

基于Python的机器学习系列（16）：扩展 - AdaBoost

简介在本篇中，我们将扩展之前的AdaBoost算法实现，深入探索其细节并进行一些修改。我们将重点修复代码中的潜在问题，并对AdaBoost的实现进行一些调整，以提高其准确性和可用性。1.修复Alpha计算中的问题在AdaBoost中，如果分类器的错误率e为0，则计算出的权重α将是未定义的。为了解决这个问题，我们可以在计算过程中向分母中添加一个非常小的值，以避免除零错误。2.调整学习率sklearn

会飞的Anthony·2024-08-31 09:00

线性回归（1）

MachineLearninginMarketing感谢李宏毅《回归-案例研究》部分内容为听取李宏毅老师讲座的笔记，也融入了自己对机器学习理解，个人推荐李宏毅老师的机器学习系列课程，尤其对于初学者强烈推荐

zidea·2024-03-06 05:24

机器学习系列（8）——提升树与GBDT算法

本文介绍提升树模型与GBDT算法。0x01、提升树模型提升树是以分类树或回归树为基本分类器的提升方法。提升树被认为是统计学习中性能最好的方法之一。提升方法实际采用加法模型（即基函数的线性组合）与前向分步算法，以决策树为基函数的提升方法称为提升树（boostingtree）。对分类问题决策树是二叉分类树，对回归问题决策树是二叉回归树。提升树模型可以表示为决策树的加法模型：其中，表示决策树，为决策树的

陌简宁·2024-02-11 14:40

机器学习系列——（十三）多项式回归

引言在机器学习领域，线性回归是一种常见且简单的模型。然而，在某些情况下，变量之间的关系并不是线性的，这时候我们就需要使用多项式回归来建模非线性关系。多项式回归通过引入高次项来扩展线性回归模型，从而更好地拟合数据。本文将详细介绍多项式回归的原理、应用场景和实现步骤，并通过一个实际案例演示如何使用多项式回归进行预测。一、原理多项式回归是一种形式上为多项式的函数与自变量之间的线性回归关系。其基本原理是通

飞影铠甲·2024-02-10 21:06

机器学习系列——（二十二）结语

随着我们的机器学习系列的探索画上句号，我们不禁感慨于这一领域的广阔和深邃。从最初的基础概念到复杂的算法，从理论的探讨到实际应用的示例，我们一起经历了一段非凡的旅程。

飞影铠甲·2024-02-10 11:53

机器学习系列——（二十一）神经网络

引言在当今数字化时代，机器学习技术正日益成为各行各业的核心。而在机器学习领域中，神经网络是一种备受瞩目的模型，因其出色的性能和广泛的应用而备受关注。本文将深入介绍神经网络，探讨其原理、结构以及应用。一、简介神经网络是一种受到人类神经系统启发而设计的计算模型。它由大量的人工神经元组成，这些神经元之间通过连接进行信息传递和处理。神经网络的主要目标是从数据中学习规律，并能够进行预测、分类、识别等任务。二

飞影铠甲·2024-02-10 11:23

机器学习系列——（二十）密度聚类

引言在机器学习的无监督学习领域，聚类算法是一种关键的技术，用于发现数据集中的内在结构和模式。与传统的基于距离的聚类方法（如K-Means）不同，密度聚类关注于数据分布的密度，旨在识别被低密度区域分隔的高密度区域。这种方法在处理具有复杂形状和大小的聚类时表现出色，尤其擅长于识别噪声和异常值。本文将详细介绍密度聚类的概念、主要算法及其应用。一、概述密度聚类基于一个核心思想：聚类可以通过连接密度相似的点

飞影铠甲·2024-02-10 11:53

机器学习系列——（十九）层次聚类

引言在机器学习和数据挖掘领域，聚类算法是一种重要的无监督学习方法，它试图将数据集中的样本分组，使得同一组内的样本相似度高，不同组间的样本相似度低。层次聚类（HierarchicalClustering）是聚类算法中的一种，以其独特的层次分解方式，在各种应用场景中得到广泛应用，如生物信息学、图像分析、社交网络分析等。一、概述层次聚类算法主要分为两大类：凝聚的层次聚类（AgglomerativeHie

飞影铠甲·2024-02-10 07:47

机器学习系列——（十七）聚类

引言在当今数据驱动的时代，机器学习已经成为了解锁数据潜能的关键技术之一。其中，聚类作为机器学习领域的一个重要分支，广泛应用于数据挖掘、模式识别、图像分析等多个领域。本文旨在深入探讨聚类技术的原理、类型及其应用，为读者提供一个全面而深入的了解。一、什么是聚类？聚类是一种无监督学习（UnsupervisedLearning）技术，它的目标是将相似的对象分组到一起，形成簇（Cluster）。与有监督学习

飞影铠甲·2024-02-09 09:08

机器学习系列——（十八）K-means聚类

引言在众多机器学习技术中，K-means聚类以其简洁高效著称，成为了数据分析师和算法工程师手中的利器。无论是在市场细分、社交网络分析，还是图像处理等领域，K-means都扮演着至关重要的角色。本文旨在深入解析K-means聚类的原理、实现方式、优缺点及其应用，以期为读者提供全面而深入的理解。一、K-means聚类简介K-means是一种基于划分的聚类算法，它的目标是将n个对象根据属性分为k个簇，使

飞影铠甲·2024-02-09 08:04

机器学习系列——（十五）随机森林回归

引言在机器学习的众多算法中，随机森林以其出色的准确率、对高维数据的处理能力以及对训练数据集的异常值的鲁棒性而广受欢迎。它是一种集成学习方法，通过构建多个决策树来进行预测和分类。本文将重点介绍随机森林在回归问题中的应用，即随机森林回归(RandomForestRegression)。一、概念随机森林回归是基于决策树的集成学习技术。在这个模型中，我们构建多个决策树，并将它们的预测结果合并来得到最终的回

飞影铠甲·2024-02-08 06:37

机器学习系列——（十六）回归模型的评估

引言在机器学习领域，回归模型是一种预测连续数值输出的重要工具。无论是预测房价、股票价格还是天气温度，回归模型都扮演着不可或缺的角色。然而，构建模型只是第一步，评估模型的性能是确保模型准确性和泛化能力的关键环节。本文将详细介绍几种常用的回归模型评估方法。一、均方误差（MeanSquaredError,MSE）均方误差是最常用的回归评估指标之一，它计算了预测值与真实值之间差异的平方的平均值。公式如下：

飞影铠甲·2024-02-08 06:31

机器学习系列——（十四）正则化回归

引言在机器学习领域，正则化回归是一种常用的技术，旨在解决过拟合问题，提高模型的泛化能力。本文将简单探讨正则化回归的概念、类型和应用，帮助读者更好地理解和运用这一重要技术。一、概念正则化回归是一种通过引入额外信息（约束或惩罚项）来调整模型复杂度的方法，从而防止过拟合，提高模型的泛化能力。简单来说，正则化就是在模型训练过程中加入一个正则项，以限制模型参数的大小。那么，为什么需要正则化？在机器学习中，模

飞影铠甲·2024-02-07 06:28

机器学习系列6-逻辑回归

重点：1.逻辑回归模型会生成概率。2.对数损失是逻辑回归的损失函数。3.逻辑回归被许多从业者广泛使用。#1.逻辑回归：计算概率**许多问题需要将概率估算值作为输出。逻辑回归是一种非常高的概率计算机制。**实际上，您可以通过以下两种方式之一使用返回的概率：*原样*已转换为二元类别。![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/e62e0256ba5a

喜乐00·2024-02-06 07:22

机器学习系列——（十一）回归

引言在机器学习领域，回归是一种常见的监督学习任务，它主要用于预测数值型目标变量。回归分析能够通过对输入特征与目标变量之间的关系建模，从而对未知数据做出预测。概念回归是机器学习中的一种监督学习方法，用于预测数值型目标变量。它通过建立特征与目标变量之间的关系模型，对未知数据做出预测。举个例子来说明回归的概念：假设我们希望根据房屋的面积来预测其价格。我们可以收集一组包含多个房屋的数据样本，每个样本包含房

飞影铠甲·2024-02-06 07:50

机器学习系列——（十二）线性回归

导言在机器学习领域，线性回归是最基础且重要的算法之一。它用于建立输入特征与输出目标之间的线性关系模型，为我们解决回归问题提供了有效的工具。本文将详细介绍线性回归的原理、应用和实现方法，帮助读者快速了解和上手这一强大的机器学习算法。一、线性回归简介线性回归是一种监督学习算法，适用于处理连续数值预测问题。其基本思想是通过拟合最佳直线（或超平面）来预测输出变量与输入特征之间的关系。线性回归的目标是找到最

飞影铠甲·2024-02-06 07:17

机器学习系列——（九）决策树

简介决策树作为机器学习的一种经典算法，在数据挖掘、分类和回归等任务中广泛应用。本文将详细介绍机器学习中的决策树算法，包括其原理、构建过程和应用场景。原理决策树是一种基于树状结构的监督学习算法，它通过构建一棵树来对数据进行分类或回归预测。决策树的每个内部节点代表一个特征属性，每个叶子节点代表一个类别或数值。决策树的构建过程：特征选择：根据某种指标选择最佳特征，将数据集划分为不同的子集。决策节点生成：

飞影铠甲·2024-02-04 11:45

机器学习系列——（十）支持向量机

一、背景支持向量机（SupportVectorMachine，SVM）是一种用于分类、回归和离群点检测等领域的监督学习方法。它最初由Vapnik和Cortes在1995年提出，被认为是机器学习领域中最成功的算法之一。二、原理2.1线性SVM我们先从最简单的线性支持向量机（LinearSVM）开始。对于一个二分类问题，假设训练数据集为D={(x1,y1),(x2,y2),...,(xn,yn)}，其

飞影铠甲·2024-02-04 11:09

机器学习系列——（七）简单分类算法

飞影铠甲·2024-02-03 17:12

机器学习系列——（八）KNN分类算法

当谈到机器学习中的分类算法时，K最近邻（K-NearestNeighbors，简称KNN）是一个简单而又常用的算法。在本篇博客中，我们将探讨KNN算法的原理、应用和优缺点。一、原理K最近邻算法是一种基于实例的学习方法，它通过利用已知类别的训练样本集来对新的实例进行分类。其核心思想是通过测量不同实例之间的距离来确定新实例的类别。具体来说，KNN算法的原理可以概括为以下几个步骤：数据准备：首先，我们需

飞影铠甲·2024-02-03 17:12

机器学习系列——（五）数据清洗

引言在机器学习领域，数据是训练模型的基础。然而，现实世界中的数据往往存在噪声、缺失值、异常值和不一致等问题，这些问题会对模型的性能产生负面影响。因此，数据清洗作为机器学习流程中至关重要的一步，可以帮助我们处理这些问题，提高模型的准确性和鲁棒性。本文将详细介绍机器学习中的数据清洗过程，以及常见的数据清洗方法和技术。一、概念和目标数据清洗是指通过一系列的操作和技术，对原始数据进行预处理，使其符合模型训

飞影铠甲·2024-02-03 17:11

机器学习系列——（六）数据降维

引言在机器学习领域，数据降维是一种常用的技术，旨在减少数据集的维度，同时保留尽可能多的有用信息。数据降维可以帮助我们解决高维数据带来的问题，提高模型的效率和准确性。本文将详细介绍机器学习中的数据降维方法和技术，以及其在实际应用中的重要性。一、概念数据降维是指通过对原始数据进行变换或压缩，将其映射到一个低维空间中，从而减少特征的数量。数据降维的目标主要包括以下几个方面：减少计算复杂性：高维数据可能导

飞影铠甲·2024-02-03 11:55

机器学习系列 - Mean Shift聚类

文章目录前言一、原理前置知识点MeanShift计算步骤二、应用举例-图像分割三、聚类实战-简单实例bandwidth=1bandwidth=2总结前言MeanShift（均值漂移）是基于密度的非参数聚类算法，其算法思想是假设不同簇类的数据集符合不同的概率密度分布，找到任一样本点密度增大的最快方向（最快方向的含义就是MeanShift），样本密度高的区域对应于该分布的最大值，这些样本点最终会在局部

学海一叶·2024-02-03 07:08

机器学习系列4-特征工程

机器学习系列4-特征工程学习内容来自：谷歌ai学习https://developers.google.cn/machine-learning/crash-course/framing/check-your-understanding

喜乐00·2024-02-02 07:36

机器学习系列——（二）主要任务

导语：随着信息时代的到来，机器学习作为一项重要技术正逐渐渗透到我们的生活和工作中。它的主要任务是通过使用数据和算法，让计算机系统从中学习并改进性能，使其能够更智能地处理问题和做出决策。本文将详细介绍机器学习的主要任务，包括分类、回归、聚类和推荐系统等，让我们一同探索这个引领智能时代的关键技术。分类任务分类任务是机器学习中最常见的任务之一。它的目标是将数据分为不同的类别或标签。分类任务可以应用于各种

飞影铠甲·2024-02-01 18:03

机器学习系列——（一）概述

导语：在当今高度数字化和信息化的时代，机器学习作为一项核心技术，正日益渗透到我们生活的方方面面。它不仅为我们提供了更智能、更高效的解决方案，还给予了计算机系统从经验中学习和改进的能力。本文将带您深入了解机器学习的概念、原理以及应用，让我们一同探索这个引领智能时代的关键技术。第一部分：什么是机器学习？机器学习是一种通过利用数据和统计学方法，使计算机系统从中学习并改进性能的人工智能技术。它通过构建模型

飞影铠甲·2024-02-01 10:42

机器学习系列-1基础概念

机器学习系列-1基础概念学习内容来自：谷歌ai学习https://developers.google.cn/machine-learning/crash-course/framing/check-your-understanding

喜乐00·2024-01-31 12:18

机器学习系列-2 线性回归&训练损失

机器学习系列-2线性回归&训练损失学习内容来自：谷歌ai学习https://developers.google.cn/machine-learning/crash-course/framing/check-your-understanding

喜乐00·2024-01-31 07:35

机器学习系列 16：使用 scikit-learn 的 Pipeline

在机器学习项目中，我们经常需要进行大量的数据预处理步骤，最后用处理干净的数据集来拟合机器学习算法得到一个合适的机器学习模型。scikit-learn提供了一个强大的Pipeline类来帮助我们将所有的数据预处理步骤和训练模型的步骤串起来。就像流水线一样，前一个步骤处理完的结果输入到下一个步骤，依次处理。这里我们将使用UCI提供的威斯康星洲乳腺癌数据集，下载地址如下：https://archive.

加百力·2024-01-30 07:28

机器学习系列15：通过t-SNE可视化高维数据

t-SNE的全称是t-distributedstochasticneighborembedding（t-分布随机领域嵌入），这是一种非线性降维技术。而PCA和LDA是线性的降维技术。t-SNE通常用来在二维或者三维空间中可视化复杂数据集。简单来说，t-SNE试图发现数据集中的样本在原始高维空间中距离的概率分布，然后再去低维空间中重建这种概率分布。我们通过t-SNE将高维空间中的数据点嵌入到了低维空

加百力·2024-01-25 22:38

【大道至简】机器学习算法之隐马尔科夫模型(Hidden Markov Model, HMM)详解（3）---预测问题：维特比算法（Viterbi Algorithm）详解及Python代码实现

五点钟科技·2024-01-24 12:34

隐马尔可夫模型【维特比算法】

机器学习笔记机器学习系列笔记，主要参考李航的《机器学习方法》，见参考资料。

格兰芬多_未名·2024-01-19 03:21

奇异值分解(SVD)【详细推导证明】

机器学习笔记机器学习系列笔记，主要参考李航的《机器学习方法》，见参考资料。

格兰芬多_未名·2024-01-19 03:20

机器学习系列 - 10 SVM支持向量机

1.SVM原理与数据模型推导支持向量机要解决的问题：就是找到一条合适的决策边界，决策边界越大越好。虽然说起来比较拗口，但是中心思想就是离决策边界最近的点到决策边界的距离尽可能地远。1.1定义及思想将最优决策边界向上&下平移，在遇到第一个点时停下来，这个点被称为支撑向量SupportVector；支撑向量到决策边界的距离是d；这两条平移后的直线的间隔（2d）被称为最大间隔Margin。支撑向量就是支

小蘑菇1962·2024-01-16 22:43

【Python机器学习系列】拟合和回归傻傻分不清？一文带你彻底搞懂它

一、拟合和回归的区别拟合并不特指某一种方法，指的是对一些数据，按其规律方程化，比如把平面（一元）上一系列的离散点，用一条直线（线性）或光滑的曲线（非线性）连接起来，而其方程化的方法有很多，回归分析（regressionanalysis）指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，是其中一种最常见的拟合方法，还有指数平滑这样简单一些的方法，或者ARIMA，VAR，等等各种复杂

数据杂坛·2024-01-16 16:59

机器学习系列--R语言随机森林进行生存分析（2）

随机森林（Breiman2001a）（RF）是一种非参数统计方法，需要没有关于响应的协变关系的分布假设。RF是一种强大的、非线性的技术，通过拟合一组树来稳定预测精度模型估计。随机生存森林（RSF）（Ishwaran和Kogalur，2007；Ishwaraan，Kogalur、Blackstone和Lauer（2008）是Breimans射频技术的延伸从而降低了对时间到事件数据的有效非参数分析。接

天桥下的卖艺者·2024-01-13 03:55

机器学习系列 - 9. 主成分分析法 PCA

1.主成分分析法思想及原理1.1什么是主成分分析法PCA(PrincipalComponentAnalysis)，即主成分分析方法，是一种使用最广泛的数据降维算法（非监督的机器学习方法）。其最主要的用途在于“降维”，通过析取主成分显出的最大的个别差异，发现更便于人类理解的特征。也可以用来削减回归分析和聚类分析中变量的数目。1.2为什么要做主成分分析在很多场景中需要对多变量数据进行观测，在一定程度上

小蘑菇1962·2024-01-07 07:20

李沐机器学习系列5---循环神经网络

1Introduction对于样本的分析，通过全连接层处理表格数据，通过卷积神经网络处理图像数据；第一种假设，所有数据都是独立同分布的RNN处理序列信号序列数据的更多场景1）用户使用习惯具有时间的先后性2）外推法和内插法1.1自回归模型1）自回归模型，对自己执行回归2）隐变量的自回归模型生成训练数据，1.2马尔科夫模型一个模型被称为马尔可夫模型，主要是因为它满足马尔可夫性质，也就是说，该模型中的未

expectmorata·2024-01-06 07:40

【Python机器学习系列】建立逻辑回归模型预测心脏疾病（完整实现过程）

一文彻底搞懂机器学习中的归一化与反归一化问题【Python机器学习系列】一文彻底搞懂机器学习中表格数据的输入形式（理论+源码）【Python特征工程系列】利用随机森林模型

数据杂坛·2024-01-05 12:22

【Python机器学习系列】建立支持向量机模型预测心脏疾病（完整实现过程）