AUG-
AUG-

机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法

目录

  • 简化逻辑回归代价函数
  • 实现梯度下降
  • 过拟合问题
  • 解决过拟合
  • 正则化
  • 用于线性回归的正则方法
  • 用于逻辑回归的正则方法

简化逻辑回归代价函数

机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第1张图片
因为y不是1就是0，所以可以想出一个更简单的方法来写这个损失函数，下面的一行公式等价于上面这个复杂的公式
机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第2张图片
代价函数J是平均损失，是包含m个样本的训练集的平均损失
把负号移到外面，就会得到新的表达式，这就是代价函数，使用这样的代价函数训练逻辑回归，这种代价函数具有凸函数的优点

实现梯度下降

机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第3张图片
为了拟合逻辑回归模型的参数，我们要找到w和b的值，使代价函数J(w,b)最小，使用梯度下降法去实现
机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第4张图片
使用梯度下降法最小化代价函数，xij是第i个训练样本的特征j，上图的式子就是逻辑回归的梯度下降
机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第5张图片
虽然与线性回归的梯度下降方程一样，但函数f(x)的定义变了，所以是不同的算法
使用向量化的逻辑回归，使梯度下降的速度更快
线性回归有特征缩放，将所有特征值缩放到相似的值的范围，比如在-1和1之间，使梯度下降更快的收敛，采用相同的方法对不同的特征进行缩放，使其具有相似的值的范围，也可以加快逻辑回归的梯度下降

过拟合问题

机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第6张图片
线性回归预测房子例子，其中预测价格是关于房子大小的函数，
数据集中，输入特征x是房子大小，y用来预测房价，我们可以用线性函数来拟合这些数据
蓝线是训练出来的模型，不过预测的不好，因为房子的价格随着房子大小的增加，逐渐趋于平稳，该算法不能很好的拟合训练数据，这就是模型对训练数据的拟合不足（欠拟合）（高偏差）
第二个图是插入了一个二次函数，有两个特征x和x2，当拟合参数w1和w2时，就可以得到更好的拟合了数据的曲线
第3个图加入了四阶多项式，有了这个四次多项式，我们就可以精确的拟合出通过所有5个训练例子的曲线。一方面，这似乎能很好的拟合训练数据，因为它通过了所有的训练数据，事实上，可以选择参数使代价函数等于0，因为5个训练样本的误差都是0，但是这是一条曲折的线，很多预测将不准确，这不是一个很好的预测房价的模型，这个模型有过拟合（高方差）问题，因为它和训练集拟合的很好，而对于其他要预测数据并不好，该模型不具有泛化到新样本的能力

机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第7张图片
x1使肿瘤大小，x2是患者年龄，试图区分肿瘤是恶性还是良性
第1个图，数据不太吻合这是欠拟合（高偏差）的例子
第3个图就是过拟合的例子

解决过拟合

机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第8张图片
假设你拟合了一个模型，它的方差很大，就是过拟合
解决这个问题的一种方法是收集更多的训练数据，有了更大的训练集后，算法就会拟合出一个不那么摇摆不定的函数
机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第9张图片
解决过拟合的第二个方法，观察是否可以使用更少的特征
如果有很多上图的特征，但是没有足够的训练数据，那么学习算法可能会过拟合训练集
现在我们只挑选最有用的特征，组成一个集合，过拟合就不会那么严重了
选择合适的特征集有时被称为特征选择，选择出你认为与预测价格最相关的，不过这有个缺点，因为只选用特征的一部分，那么其他关于房子的信息就会被算法丢弃
机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第10张图片
减少过拟合的第3种方法，叫做正则化
如果想要消除某些特征，比如不想要特征x4了，那就相当于把这个参数设为0
正则化做的是尽可能让算法缩小参数的值，而不是要求一定要把参数变成0
事实证明，即使拟合右图中的像这样的高次多项式，只要让算法使用更小的参数值w1,w2,w3,w4，最终得到的曲线也会很好的拟合数据
正则化的作用是，让你保留所有的特征，但防止特征权重过大，这有时会导致过拟合
我们通常只需要减小参数w1~wn的大小，对参数b正不正则化没有太大差别
机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第11张图片
3种解决过拟合的方法：
1：收集更多的数据
2：选择使用特征子集
3：利用正则化减小参数的大小

正则化

机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第12张图片
假设你有一种方法使得参数w3、w4非常小，比如接近于0
假设最小化不是这个函数（这是线性回归的代价函数），而是修改后的代价函数，给它加上1000w23+1000w24，修改后的代价函数会在w3和w4很大时惩罚这个模型
当最小化这个函数时，最终得到w3、w4的值都会接近于0，此时有效的消除了特征x3和x4的影响，如果这样做，我们最终会得到一个更接近二次函数的数据，其中也有x3和x4小小的贡献
机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第13张图片
此想法是，参数值越小，模型可能越简单，或许是因为一个模型的特征变少了，那它拟合的可能性也变小了
更普遍的实现正则化的方式是，我们有很多特征，并不清楚哪个重要，哪个不重要， 所以正则化实现的方式通常是惩罚所有的特征，或者更准确的说，惩罚所有的wj的参数
假设你有100个w和1个b，但是不知道哪个参数是重要的，索性所有参数都缩小点
λ是正则化参数，用同样的方式缩放这两项，我们选择λ的值就更容易了，即使你的训练集规模变大，此时m的值也变大，λ仍然可以用
b惩不惩罚都可以，也可以乘λ/2m，但这在实践中产生的影响很小
机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第14张图片
在这个修改后的代价函数中，要最小化的代价函数由第一项（均方误差代价）和新加进来的第二项（正则化）项组成
这个新的代价函数权衡了两个目标，最小化第一项，可以让（预测值-真实值）2尽可能小，从而算法能更好的拟合数据，最小化第二项wj，可以减小过拟合的风险
选择的λ值体现了相对重要性或相对权衡，以线性模型为例
如果λ设为0，该项就消失了，拟合曲线就变得复杂，发生了过拟合
如果λ很大，此时正则化项加上了很大的权重，算法会选择让w1,w2,w3,w4的值趋近于0，此时f(x)=b，水平直线，发生了欠拟合

用于线性回归的正则方法

机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第15张图片
上图中是提出的正则线性回归的代价函数，第一项是平方误差代价函数，第二项是正则化项，其中λ是正则化参数，我们需要找到使得正则化代价函数最小化的参数w和b，之前用梯度下降法计算代价函数（没有后面的项），根据公式重复更新参数wj(j从1到n)和参数b
事实上，正则化线性回归的更新步骤看起来与之相同，不过代价函数的定义有点不同
机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第16张图片
为了实现正则化线性回归的梯度下降，也需要进行同步更新
机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第17张图片
正则化每次迭代中所做的就是，将w乘上一个略小于1的数，这使得wj的值变小，这就是正则化的原理

用于逻辑回归的正则方法

机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第18张图片
如果用高阶多项式特征来拟合，逻辑回归很容易过拟合，z是个高阶多项式，用于传到sigmoid函数中计算f，最终会得到一个复杂的过拟合训练集的决策边界
逻辑回归的正则化函数，需要在后面加上一项，如果这样做，那么即使你拟合的是一个有很多参数的高阶多项式， 仍然能得到一个比较合理的决策边界
机器学习笔记（11）— 简化逻辑回归代价函数、梯度下降实现、过拟合、正则化、线性和逻辑回归正则方法_第19张图片
为了实现梯度，将wj和b同时进行更新，与正则化线性回归的方程相同，不过f的定义不再是线性函数，而是逻辑回归函数，与之类似，我们只正则化参数wj，而不是参数b

你可能感兴趣的:(机器学习,逻辑回归,回归)

  • Transformer 架构对比：Dense、MoE 与 Hybrid-MoE 的优劣分析 m0_74825656 面试学习路线阿里巴巴transformer架构深度学习
    1.LLM基础架构类型DenseTransformerMoE(MixtureofExperts)TransformerHybrid-MoETransformer2.Transformer按照编码方式分类单向自回归模型(如早期GPT系列)双向模型(如BERT)编码器-解码器模型(如BART,T5)DenseTransformerDenseTransformer的优势是什么DenseTransform
  • MySQL中基于机器学习的自适应缓存热点识别优化策略——开启数据库性能新纪元 墨夶 数据库学习资料1数据库mysql机器学习
    在数据驱动的世界里，数据库的性能直接影响到整个应用系统的响应速度和用户体验。随着业务量的增长和技术的发展，传统的缓存机制逐渐暴露出局限性。如何更智能地识别并利用热点数据进行缓存优化，成为提升数据库性能的关键所在。今天，我们将深入探讨一种创新的方法——基于机器学习的自适应缓存热点识别优化策略，并分享其在MySQL中的具体实现方案。为什么选择机器学习？‍传统上，开发者们依赖于手动配置或预设规则来决定哪
  • “统计视角看世界”专栏阅读引导 赛卡 统计视角看世界信息可视化数据分析
    根据文章主题和逻辑关系，我为您设计以下阅读引导方案：1.六西格玛基础2.帕累托图3.直方图4.散点图基础5.散点图高阶6.多变量可视化7.密度图进阶8.回归分析配套文字说明：入门基石（必读）《1.六西格玛遇上Python》→方法论总纲，建议优先精读基础三剑客（可并行）├─《2.帕累托图》→重点数据排序与决策├─《3.直方图》→数据分布核心工具└─《4.散点图》→数据探索第一视角高阶应用链（递进学习
  • AI人工智能软件开发方案：开启智能时代的创新钥匙 广州硅基技术官方 人工智能
    一、引言：AI浪潮下的软件开发新机遇近年来，人工智能（AI）技术的迅猛发展如同一股汹涌澎湃的浪潮，席卷了全球各个领域。从最初的概念提出到如今的广泛应用，AI历经了漫长的发展历程，终于迎来了属于它的黄金时代。回首过去，AI的发展并非一帆风顺，早期由于计算能力和算法的限制，经历了多次起伏。但随着大数据、云计算、机器学习、深度学习等技术的不断突破，AI迎来了爆发式增长。如今，AI已经深入到人们生活和工作
  • 【机器学习】算法分类 CH3_CH2_CHO 什么？！是机器学习！！机器学习算法有监督学习无监督学习半监督学习强化学习
    1、有监督学习1.1定义使用带标签的数据训练模型。有监督学习是机器学习中最常见的一种类型，它利用已知的输入特征和对应的输出标签来训练模型，使模型能够学习到特征与标签之间的映射关系。在训练过程中，模型会不断地调整自身的参数，以最小化预测值与真实标签之间的误差，从而提高预测的准确性。1.2回归问题1.2.1目标预测连续值。回归问题的目标是预测一个连续的数值结果，模型的输出是一个实数值。1.2.2解释回
  • 使用 Baseten 部署和运行机器学习模型的指南 shuoac 机器学习人工智能python
    随着机器学习模型在各个行业中的广泛应用，如何高效地部署和运行这些模型成为一个关键问题。本文将介绍如何使用Baseten平台来部署和服务机器学习模型。Baseten是LangChain生态系统中的一个重要提供者，它提供了所需的基础设施来高效地运行模型。无论是开源模型如Llama2和Mistral，还是专有或经过微调的模型，Baseten都能在专用GPU上运行。技术背景介绍Baseten提供了一种不同
  • 机器学习——分类、回归、聚类、LASSO回归、Ridge回归（自用） 代码的建筑师 模型学习模型训练机器学习机器学习分类回归正则化项LASSORidge朴素
    纠正自己的误区：机器学习是一个大范围，并不是一个小的方向，比如：线性回归预测、卷积神经网络和强化学都是机器学习算法在不同场景的应用。机器学习最为关键的是要有数据，也就是数据集名词解释：数据集中的一行叫一条样本或者实例，列名称为特征或者属性。样本的数量称为数据量，特征的数量称为特征维度机器学习常用库：Numpy和sklearn朴素的意思是特征的各条件都是相互独立的机器学习（模型、策略、算法）损失函数
  • 量化交易系统中如何处理机器学习模型的训练和部署？ openwin_top 量化交易系统开发机器学习人工智能量化交易
    microPythonPython最小内核源码解析NI-motion运动控制c语言示例代码解析python编程示例系列python编程示例系列二python的Web神器Streamlit如何应聘高薪职位量化交易系统中，机器学习模型的训练和部署需要遵循一套严密的流程，以确保模型的可靠性、性能和安全性。以下是详细描述以及相关的示例：1.数据收集和预处理数据收集在量化交易中，数据是最重要的资产。收集的数
  • 【深度学习与大模型基础】第7章-特征分解与奇异值分解 lynn-66 深度学习与大模型基础算法机器学习人工智能
    一、特征分解特征分解（EigenDecomposition）是线性代数中的一种重要方法，广泛应用于计算机行业的多个领域，如机器学习、图像处理和数据分析等。特征分解将一个方阵分解为特征值和特征向量的形式，帮助我们理解矩阵的结构和性质。1.特征分解的定义对于一个n×n的方阵A，如果存在一个非零向量v和一个标量λ，使得：则称λ为矩阵A的特征值，v为对应的特征向量。特征分解将矩阵A分解为：其中：Q是由特征
  • 【论文阅读】Persistent Homology Captures the Generalization of Neural Networks Without A Validation Set 开心星人 论文阅读论文阅读
    将神经网络表征为加权的无环图，直接根据模型的权重矩阵构造PD。计算相邻batch的权重矩阵PD之间的距离。比较同调收敛性与神经网络的验证精度变化趋势摘要机器学习从业者通常通过监控模型的某些指标来估计其泛化误差，并在训练数值收敛之前停止训练，以防止过拟合。通常，这种误差度量或任务相关的指标是通过一个验证集（holdoutset）来计算的。因为这些数据没有直接用于更新模型参数，通常假设模型在验证集上的
  • 震惊！ “深度学习”都在学习什么 扉间798 深度学习学习人工智能
    常见的机器学习分类算法俗话说三个臭皮匠胜过诸葛亮这里面集成学习就是将单一的算法弱弱结合算法融合用投票给特征值加权重AdaBoost集成学习算法通过迭代训练一系列弱分类器，给予分类错误样本更高权重，使得后续弱分类器更关注这些样本，然后将这些弱分类器线性组合成强分类器，提高整体分类性能。（一）投票机制投票是一种直观且常用的算法融合策略。在多分类问题中，假设有多个分类器对同一数据进行分类判断。每个分类器
  • 【论文阅读】Availability Attacks Create Shortcuts 开心星人 论文阅读论文阅读
    还得重复读这一篇论文，有些地方理解不够透彻可用性攻击通过在训练数据中添加难以察觉的扰动，使数据无法被机器学习算法利用，从而防止数据被未经授权地使用。例如，一家私人公司未经用户同意就收集了超过30亿张人脸图像，用于构建商业人脸识别模型。为解决这些担忧，许多数据投毒攻击被提出，以防止数据被未经授权的深度模型学习。它们通过在训练数据中添加难以察觉的扰动，使模型无法从数据中学习太多信息，从而导致模型在未见
  • 机器学习 Day01人工智能概述 山北雨夜漫步 机器学习人工智能
    1.什么样的程序适合在gpu上运行计算密集型的程序：此类程序主要运算集中在寄存器，寄存器读写速度快，而GPU拥有强大的计算能力，能高效处理大量的寄存器运算，因此适合在GPU上运行。像科学计算中的数值模拟、密码破解等场景的程序，都属于计算密集型，在GPU上运行可大幅提升运算速度。易于并行的程序：GPU采用SIMD架构，有众多核心，同一时间每个核心适合做相同的事。易于并行的程序能充分利用GPU这一特性
  • 机器学习：让计算机学会思考的艺术 平凡而伟大. 机器学习机器学习人工智能
    目录什么是机器学习？机器学习的基本步骤常见的机器学习算法机器学习的实际应用如何入门机器学习？结语在当今数字化时代，机器学习（MachineLearning,ML）已经成为一个炙手可热的话题。从推荐系统到自动驾驶汽车，再到语音助手，机器学习的应用无处不在。然而，对于许多人来说，机器学习仍然是一个神秘而复杂的领域。本文将用通俗易懂的语言，带你走进机器学习的世界，了解它的基本原理和应用。什么是机器学习？
  • 机器学习中的 K-均值聚类算法及其优缺点 平凡而伟大. 机器学习机器学习算法均值算法
    K-均值聚类是一种常用的无监督学习算法，用于将数据集中的样本分成K个簇。其基本原理是将所有样本点划分到K个簇使得簇内样本点之间的距离尽可能接近，而不同簇之间的距离尽可能远。算法流程如下：随机选择K个样本点作为初始的聚类中心。将每个样本点分配到与其最近的聚类中心所在的簇。更新每个簇的聚类中心为该簇所有样本点的平均值。重复第2步和第3步，直到聚类中心不再变化或者达到最大迭代次数。优点：简单且易于实现。
  • 一文讲清楚深度学习和机器学习 平凡而伟大. 机器学习人工智能深度学习机器学习人工智能
    目录1.定义机器学习（MachineLearning,ML）深度学习（DeepLearning,DL）2.工作原理机器学习深度学习3.应用场景机器学习深度学习4.主要区别5.为什么选择深度学习？6.总结深度学习和机器学习是人工智能（AI）领域中两个密切相关但有所区别的概念。要清楚地解释它们之间的关系，我们可以从定义、工作原理、应用场景以及两者的主要区别等方面进行探讨。1.定义机器学习（Machin
  • 回归模型评价指标——衡量预测能力 Tang–t 回归数据挖掘人工智能机器学习python
    目录一、指标说明1.均方误差（MeanSquaredError，MSE）2.均方根误差（RootMeanSquaredError，RMSE）3.平均绝对误差（MeanAbsoluteError，MAE）4.决定系数（CoefficientofDetermination，R²）5.解释方差（ExplainedVariance，EV）6.最大误差（MaximumError）二、代码一、指标说明回归模型
  • 回归任务中的评价指标MAE，MSE，RMSE，R-Squared 旺旺棒棒冰 统计学习方法机器学习回归评价指标r2mse
    转自博客。仅供自己学习使用，如有侵权，请联系删除分类任务的评价指标有准确率，P值，R值，F1值，而回归任务的评价指标就是MSE，RMSE，MAE、R-SquaredMSE均方误差MSE是真实值与预测值的差值的平方和然后求平均。通过平方的形式便于求导，所以常被用作线性回归的损失函数。MSE=1m∑i=1m(yi−y^i)2MSE=\frac{1}{m}\sum_{i=1}^{m}\left(y_{i
  • 机器学习knnlearn1 XW-ABAP 机器学习机器学习人工智能
    importmatplotlib.pyplotaspltimportnumpyasnpimportoperator#定义一个函数用于创建数据集defcreateDataSet():#定义特征矩阵，每个元素是一个二维坐标点，代表不同策略数据点的坐标group=np.array([[20,3],[15,5],[18,1],[5,17],[2,15],[3,20]])#定义每个数据点对应的标签，用于区分
  • 基于 MySQL 和 Spring Boot 的在线论坛管理系统设计与实现 城南|阿洋-计算机从小白到大神 mysqlspringboot数据库
    markdownCopy✌全网粉丝20W+,csdn特邀作者、博客专家、CSDN[新星计划]导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、pyhton、机器学习技术领域和毕业项目实战✌哈喽兄弟们，好久不见哦～最近整理了一下之前写过的一些小项目/毕业设计。发现还是有很多存货的，想一想既然放在电脑里面也吃灰，那么还不如分享出去，没准还可以帮助到
  • 零基础入门机器学习：用Scikit-learn实现鸢尾花分类 藍海琴泉 机器学习scikit-learn分类
    适合人群：机器学习新手|数据分析爱好者|需快速展示案例的学生一、引言：为什么要学这个案例？目的：明确机器学习解决什么问题，建立学习信心。机器学习定义：让计算机从数据中自动学习规律（如分类鸢尾花品种）。为什么选鸢尾花数据集：数据量小、特征明确，适合教学演示。Scikit-learn优势：提供现成算法和工具，无需从头写数学公式。二、环境准备：5分钟快速上手目的：搭建可运行的代码环境，避免卡在工具安装环
  • 机器学习--DBSCAN聚类算法详解 2201_75491841 机器学习算法聚类人工智能
    目录引言1.什么是DBSCAN聚类？2.DBSCAN聚类算法的原理3.DBSCAN算法的核心概念3.1邻域（Neighborhood）3.2核心点（CorePoint）3.3直接密度可达（DirectlyDensity-Reachable）3.4密度可达（Density-Reachable）3.5密度相连（Density-Connected）4.DBSCAN算法的步骤5.DBSCAN算法的优缺点5
  • 【机器学习】机器学习工程实战-第3章 数据收集和准备 腊肉芥末果 机器学习工程实战机器学习人工智能
    上一章：第2章项目开始前文章目录3.1关于数据的问题3.1.1数据是否可获得3.1.2数据是否相当大3.1.3数据是否可用3.1.4数据是否可理解3.1.5数据是否可靠3.2数据的常见问题3.2.1高成本3.2.2质量差3.2.3噪声（noise）3.2.4偏差（bias）3.2.5预测能力低（lowpredictivepower）3.2.6过时的样本3.2.7离群值3.2.8数据泄露/目标泄漏3
  • 机器学习实战 第一章 机器学习基础 LuoY、 MachineLearning机器学习算法人工智能
    第一章机器学习1.1何谓机器学习1.2关键术语1.3机器学习的主要任务1.4如何选择合适的算法1.5开发机器学习应用程序的步骤1.6Python语言的优势1.1何谓机器学习    1、简单地说，机器学习就是把无序的数据转换成有用的信息；    2、机器学习能让我们自数据集中受启发，我们会利用计算机来彰显数据背后的真实含义；    3、机器学习横跨计算机科学、工程技术和统计学等多个学科，需要多学科的
  • 数据挖掘实战-基于机器学习的垃圾邮件检测模型 艾派森 数据挖掘实战合集数据挖掘机器学习人工智能python
    ‍♂️个人主页：@艾派森的个人主页✍作者简介：Python学习者希望大家多多支持，我们一起进步！如果文章对你有帮助的话，欢迎评论点赞收藏加关注+目录1.项目背景2.数据集介绍
  • 集成学习（随机森林） herry57 数学建模大数据随机森林集成学习
    目录一、集成学习概念二、Bagging集成原理三、随机森林四、例子（商品分类）一、集成学习概念集成学习通过建⽴⼏个模型来解决单⼀预测问题。它的⼯作原理是⽣成多个分类器/模型，各⾃独⽴地学习和作出预测。这些预测最后结合成组合预测，因此优于任何⼀个单分类的做出预测。只要单分类器的表现不太差，集成学习的结果总是要好于单分类器的二、Bagging集成原理分类圆形和长方形三、随机森林在机器学习中，随机森林是
  • 【机器学习】朴素贝叶斯入门：从零到垃圾邮件过滤实战 吴师兄大模型 0基础实现机器学习入门到精通机器学习人工智能朴素贝叶斯深度学习pytorchsklearn开发语言
    Langchain系列文章目录01-玩转LangChain：从模型调用到Prompt模板与输出解析的完整指南02-玩转LangChainMemory模块：四种记忆类型详解及应用场景全覆盖03-全面掌握LangChain：从核心链条构建到动态任务分配的实战指南04-玩转LangChain：从文档加载到高效问答系统构建的全程实战05-玩转LangChain：深度评估问答系统的三种高效方法（示例生成、手
  • 【机器学习】机器学习工程实战-第2章 项目开始前 腊肉芥末果 机器学习工程实战机器学习人工智能
    上一章：第1章概述文章目录2.1机器学习项目的优先级排序2.1.1机器学习的影响2.1.2机器学习的成本2.2估计机器学习项目的复杂度2.2.1未知因素2.2.2简化问题2.2.3非线性进展2.3确定机器学习项目的目标2.3.1模型能做什么2.3.2成功模型的属性2.4构建机器学习团队2.4.1两种文化2.4.2机器学习团队的成员2.5机器学习项目为何失败2.5.1缺乏有经验的人才2.5.2缺乏领
  • 机器学习怎么做特征工程 全栈你个大西瓜 人工智能机器学习人工智能特征工程数据预处理特征变换特征降维特征构造
    一、特征工程通俗解释特征工程就像厨师做菜前的食材处理：原始数据是“生肉和蔬菜”，特征工程是“切块、腌制、调料搭配”，目的是让机器学习模型（食客）更容易消化吸收，做出更好预测（品尝美味）。二、为什么要做特征工程？数据质量差：原始数据常有缺失、噪声、不一致问题（如年龄列混入“未知”）。模型限制：算法无法直接理解原始数据（如文本、日期需要数值化）。提升效果：好特征能显著提升模型性能（准确率提升10%~5
  • 【机器学习】机器学习四大分类 藓类少女 机器学习机器学习分类人工智能
    机器学习的方法主要可以分为四大类，根据学习方式和数据标注情况进行分类：1.监督学习（SupervisedLearning）特点：有标注数据（即训练数据有明确的输入(X)和输出(Y)）。学习目标是找到一个映射(f(X)\approxY)。适用于分类和回归问题。主要算法：分类（Classification）：逻辑回归（LogisticRegression）支持向量机（SVM）朴素贝叶斯（NaïveBa
  • 强大的销售团队背后 竟然是大数据分析的身影 蓝儿唯美 数据分析
    Mark Roberge是HubSpot的首席财务官，在招聘销售职位时使用了大量数据分析。但是科技并没有挤走直觉。 大家都知道数理学家实际上已经渗透到了各行各业。这些热衷数据的人们通过处理数据理解商业流程的各个方面，以重组弱点，增强优势。 Mark Roberge是美国HubSpot公司的首席财务官，HubSpot公司在构架集客营销现象方面出过一份力——因此他也是一位数理学家。他使用数据分析
  • Haproxy+Keepalived高可用双机单活 bylijinnan 负载均衡keepalivedhaproxy高可用
    我们的应用MyApp不支持集群，但要求双机单活（两台机器：master和slave）： 1.正常情况下，只有master启动MyApp并提供服务 2.当master发生故障时，slave自动启动本机的MyApp，同时虚拟IP漂移至slave，保持对外提供服务的IP和端口不变 F5据说也能满足上面的需求，但F5的通常用法都是双机双活，单活的话还没研究过 服务器资源 10.7
  • eclipse编辑器中文乱码问题解决 0624chenhong eclipse乱码
    使用Eclipse编辑文件经常出现中文乱码或者文件中有中文不能保存的问题，Eclipse提供了灵活的设置文件编码格式的选项，我们可以通过设置编码 格式解决乱码问题。在Eclipse可以从几个层面设置编码格式：Workspace、Project、Content Type、File 本文以Eclipse 3.3（英文）为例加以说明： 1. 设置Workspace的编码格式： Windows-&g
  • 基础篇--resources资源 不懂事的小屁孩 android
    最近一直在做java开发，偶尔敲点android代码，突然发现有些基础给忘记了，今天用半天时间温顾一下resources的资源。 String.xml    字符串资源   涉及国际化问题  http://www.2cto.com/kf/201302/190394.html   string-array
  • 接上篇补上window平台自动上传证书文件的批处理问卷 酷的飞上天空 window
    @echo off : host=服务器证书域名或ip，需要和部署时服务器的域名或ip一致 ou=公司名称, o=公司名称 set host=localhost set ou=localhost set o=localhost set password=123456 set validity=3650 set salias=s
  • 企业物联网大潮涌动：如何做好准备？ 蓝儿唯美 企业
    物联网的可能性也许是无限的。要找出架构师可以做好准备的领域然后利用日益连接的世界。 尽管物联网（IoT）还很新，企业架构师现在也应该为一个连接更加紧密的未来做好计划，而不是跟上闸门被打开后的集成挑战。“问题不在于物联网正在进入哪些领域，而是哪些地方物联网没有在企业推进，” Gartner研究总监Mike Walker说。 Gartner预测到2020年物联网设备安装量将达260亿，这些设备在全
  • spring学习——数据库（mybatis持久化框架配置） a-john mybatis
    Spring提供了一组数据访问框架，集成了多种数据访问技术。无论是JDBC，iBATIS(mybatis)还是Hibernate，Spring都能够帮助消除持久化代码中单调枯燥的数据访问逻辑。可以依赖Spring来处理底层的数据访问。 mybatis是一种Spring持久化框架，要使用mybatis，就要做好相应的配置： 1，配置数据源。有很多数据源可以选择，如：DBCP，JDBC，aliba
  • Java静态代理、动态代理实例 aijuans Java静态代理
    采用Java代理模式，代理类通过调用委托类对象的方法，来提供特定的服务。委托类需要实现一个业务接口，代理类返回委托类的实例接口对象。 按照代理类的创建时期，可以分为：静态代理和动态代理。 所谓静态代理：　指程序员创建好代理类，编译时直接生成代理类的字节码文件。 所谓动态代理：　在程序运行时，通过反射机制动态生成代理类。   一、静态代理类实例： 1、Serivce.ja
  • Struts1与Struts2的12点区别 asia007 Struts1与Struts2
    1) 在Action实现类方面的对比：Struts 1要求Action类继承一个抽象基类；Struts 1的一个具体问题是使用抽象类编程而不是接口。Struts 2 Action类可以实现一个Action接口，也可以实现其他接口，使可选和定制的服务成为可能。Struts 2提供一个ActionSupport基类去实现常用的接口。即使Action接口不是必须实现的，只有一个包含execute方法的P
  • 初学者要多看看帮助文档 不要用js来写Jquery的代码 百合不是茶 jqueryjs
    解析json数据的时候需要将解析的数据写到文本框中,  出现了用js来写Jquery代码的问题;   1, JQuery的赋值  有问题    代码如下: data.username 表示的是:  网易            $("#use
  • 经理怎么和员工搞好关系和信任 bijian1013 团队项目管理管理
            产品经理应该有坚实的专业基础，这里的基础包括产品方向和产品策略的把握，包括设计，也包括对技术的理解和见识，对运营和市场的敏感，以及良好的沟通和协作能力。换言之，既然是产品经理，整个产品的方方面面都应该能摸得出门道。这也不懂那也不懂，如何让人信服？如何让自己懂？就是不断学习，不仅仅从书本中，更从平时和各种角色的沟通
  • 如何为rich:tree不同类型节点设置右键菜单 sunjing contextMenutreeRichfaces
    组合使用target和targetSelector就可以啦，如下： <rich:tree id="ruleTree" value="#{treeAction.ruleTree}" var="node" nodeType="#{node.type}" selectionChangeListener=&qu
  • 【Redis二】Redis2.8.17搭建主从复制环境 bit1129 redis
    开始使用Redis2.8.17 Redis第一篇在Redis2.4.5上搭建主从复制环境，对它的主从复制的工作机制，真正的惊呆了。不知道Redis2.8.17的主从复制机制是怎样的，Redis到了2.4.5这个版本，主从复制还做成那样，Impossible is nothing! 本篇把主从复制环境再搭一遍看看效果，这次在Unbuntu上用官方支持的版本。   Ubuntu上安装Red
  • JSONObject转换JSON--将Date转换为指定格式 白糖_ JSONObject
    项目中，经常会用JSONObject插件将JavaBean或List<JavaBean>转换为JSON格式的字符串，而JavaBean的属性有时候会有java.util.Date这个类型的时间对象，这时JSONObject默认会将Date属性转换成这样的格式：   {"nanos":0,"time":-27076233600000,
  • JavaScript语言精粹读书笔记 braveCS JavaScript
    【经典用法】：   //①定义新方法 Function .prototype.method=function(name, func){ this.prototype[name]=func; return this; } //②给Object增加一个create方法，这个方法创建一个使用原对
  • 编程之美-找符合条件的整数 用字符串来表示大整数避免溢出 bylijinnan 编程之美
    import java.util.LinkedList; public class FindInteger { /** * 编程之美 找符合条件的整数 用字符串来表示大整数避免溢出 * 题目：任意给定一个正整数N，求一个最小的正整数M(M>1)，使得N*M的十进制表示形式里只含有1和0 * * 假设当前正在搜索由0，1组成的K位十进制数
  • 读书笔记 chengxuyuancsdn 读书笔记
    1、Struts访问资源 2、把静态参数传递给一个动作 3、<result>type属性 4、s:iterator、s:if c:forEach 5、StringBuilder和StringBuffer 6、spring配置拦截器 1、访问资源 (1)通过ServletActionContext对象和实现ServletContextAware,ServletReque
  • [通讯与电力]光网城市建设的一些问题 comsci 问题
          信号防护的问题,前面已经说过了,这里要说光网交换机与市电保障的关系       我们过去用的ADSL线路,因为是电话线,在小区和街道电力中断的情况下,只要在家里用笔记本电脑+蓄电池,连接ADSL,同样可以上网........     
  • oracle 空间RESUMABLE daizj oracle空间不足RESUMABLE错误挂起
    空间RESUMABLE操作  转 Oracle从9i开始引入这个功能，当出现空间不足等相关的错误时，Oracle可以不是马上返回错误信息，并回滚当前的操作，而是将操作挂起，直到挂起时间超过RESUMABLE TIMEOUT，或者空间不足的错误被解决。 这一篇简单介绍空间RESUMABLE的例子。 第一次碰到这个特性是在一次安装9i数据库的过程中，在利用D
  • 重构第一次写的线程池 dieslrae 线程池 python
    最近没有什么学习欲望,修改之前的线程池的计划一直搁置,这几天比较闲,还是做了一次重构,由之前的2个类拆分为现在的4个类. 1、首先是工作线程类:TaskThread,此类为一个工作线程,用于完成一个工作任务,提供等待(wait),继续(proceed),绑定任务(bindTask)等方法 #!/usr/bin/env python # -*- coding:utf8 -*-
  • C语言学习六指针 dcj3sjt126com c
    初识指针，简单示例程序： /* 指针就是地址，地址就是指针 地址就是内存单元的编号 指针变量是存放地址的变量 指针和指针变量是两个不同的概念 但是要注意： 通常我们叙述时会把指针变量简称为指针，实际它们含义并不一样 */ # include <stdio.h> int main(void) { int * p; // p是变量的名字， int *
  • yii2 beforeSave afterSave beforeDelete dcj3sjt126com delete
    public function afterSave($insert, $changedAttributes) { parent::afterSave($insert, $changedAttributes); if($insert) { //这里是新增数据 } else { //这里是更新数据 } }  
  • timertask shuizhaosi888 timertask
    java.util.Timer timer = new java.util.Timer(true); // true 说明这个timer以daemon方式运行（优先级低， // 程序结束timer也自动结束），注意，javax.swing // 包中也有一个Timer类，如果import中用到swing包， // 要注意名字的冲突。 TimerTask task = new
  • Spring Security（13）——session管理 234390216 sessionSpring Security攻击保护超时
    session管理 目录   1.1     检测session超时 1.2     concurrency-control 1.3     session 固定攻击保护         
  • 公司项目NODEJS实践0.3[ mongo / session ...] 逐行分析JS源代码 mongodbsessionnodejs
        http://www.upopen.cn   一、前言         书接上回，我们搭建了WEB服务端路由、模板等功能，完成了register 通过ajax与后端的通信，今天主要完成数据与mongodb的存取，实现注册 / 登录 /
  • pojo.vo.po.domain区别 LiaoJuncai javaVOPOJOjavabeandomain
    　　POJO = "Plain Old Java Object"，是MartinFowler等发明的一个术语，用来表示普通的Java对象，不是JavaBean, EntityBean 或者 SessionBean。POJO不但当任何特殊的角色，也不实现任何特殊的Java框架的接口如，EJB， JDBC等等。 　　 　　即POJO是一个简单的普通的Java对象，它包含业务逻辑
  • Windows Error Code OhMyCC windows
    0 操作成功完成. 1 功能错误. 2 系统找不到指定的文件. 3 系统找不到指定的路径. 4 系统无法打开文件. 5 拒绝访问. 6 句柄无效. 7 存储控制块被损坏. 8 存储空间不足, 无法处理此命令. 9 存储控制块地址无效. 10 环境错误. 11 试图加载格式错误的程序. 12 访问码无效. 13 数据无效. 14 存储器不足, 无法完成此操作. 15 系
  • 在storm集群环境下发布Topology roadrunners 集群stormtopologyspoutbolt
    storm的topology设计和开发就略过了。本章主要来说说如何在storm的集群环境中，通过storm的管理命令来发布和管理集群中的topology。   1、打包 打包插件是使用maven提供的maven-shade-plugin，详细见maven-shade-plugin。 <plugin> <groupId>org.apache.maven.
  • 为什么不允许代码里出现“魔数” tomcat_oracle java
    　　在一个新项目中，我最先做的事情之一，就是建立使用诸如Checkstyle和Findbugs之类工具的准则。目的是制定一些代码规范，以及避免通过静态代码分析就能够检测到的bug。 　　迟早会有人给出案例说这样太离谱了。其中的一个案例是Checkstyle的魔数检查。它会对任何没有定义常量就使用的数字字面量给出警告，除了-1、0、1和2。 　　很多开发者在这个检查方面都有问题，这可以从结果
  • zoj 3511 Cake Robbery(线段树) 阿尔萨斯 线段树
    题目链接：zoj 3511 Cake Robbery 题目大意：就是有一个N边形的蛋糕，切M刀，从中挑选一块边数最多的，保证没有两条边重叠。 解题思路：有多少个顶点即为有多少条边，所以直接按照切刀切掉点的个数排序，然后用线段树维护剩下的还有哪些点。 #include <cstdio> #include <cstring> #include <vector&
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他