倪风俠
倪风俠

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析

@机器学习之 线性回归，对数几率回归（逻辑回归），线性判别分析
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第1张图片
模型是方法，策略是函数例如 最小二乘，算法是求解方法

属性特征处理：

  1. 二值离散特征（0和1）
  2. 有序连续特征（1，2，3对应小 中 大）
  3. 无序离散特征（one-hot编码）

线性回归

均方误差最小化（最小二乘估计）

几何意义上是预测值和实际值的差平方（并不是垂直距离的误差，那样成了正交差）
argmin(w,b) 求最小值的w和b

极大似然估计（估计概率分布的参数值）

问：线性回归中怎么能利用极大似然估计（观测样本出现概率最大的分布）去估计y（预测值）的分布呢

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第2张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第3张图片

将误差代替之后，y就是原概率密度函数中独立同分布的随机变量，wx+b是μ
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第4张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第5张图片
在其中m和σ是常数，所以在优化中需要求导（可与直接忽略），最终得到了线性回归的极大似然估计就是最小二乘估计

求解w和b的参数（凸函数最值点）

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第6张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第7张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第8张图片

1. 为什么 (y-wx-b)2 是凸函数

证明原函数的海塞矩阵是半正定即可，半正定是 矩阵的顺序主子式大于0
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第9张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第10张图片
按照上面的要求，对w和b求出了二阶导数，所对应的海塞矩阵如图，只要证明上述式子机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第11张图片

2. 最值点

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第12张图片

多元线性回归

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第13张图片
将b扩充进去，作为d+1维的量，在x处的d+1的值是1机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第14张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第15张图片
将求和运算向量化，因为在向量化之后便于矩阵计算
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第16张图片
变成了向量内积的计算方法，再对后面的向量进行拆解
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第17张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第18张图片
得到了向量化之后的结果，最小化的损失函数

多元线性回归损失函数证明

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第19张图片

证明凸函数，也是其海塞矩阵半正定，

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第20张图片
标量对向量的求导，矩阵微分中的知识，机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第21张图片机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第22张图片机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第23张图片

一阶求导的值在上面求解海塞矩阵中得到在这里插入图片描述

在现实任务中由于XTX不是满秩矩阵，对于真实的X，列数往往多于行数，也就是变量比样例数还多，此时w可能有多个值，都可以均方误差最小化，此时解将由算法的归纳偏好决定，做法是引入正则化

岭回归 解决 多重共线性

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第24张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第25张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第26张图片机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第27张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第28张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第29张图片

所以，一般通过调节α，就可以实现恰当的数据拟合
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第30张图片在这里插入图片描述

Lasso 最小绝对收缩和选择算子

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第31张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第32张图片机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第33张图片
对于后面部分的假设，w的值为正，所以绝对值去掉，上面的2写错了，应该没有

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第34张图片机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第35张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第36张图片
在这里插入图片描述机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第37张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第38张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第39张图片

根据以上得到，lasso限制w参数，是让其直接为0，所以可以用来进行特征选择

ridge选择R2作为验证误差，lasso选择均方误差（只考虑了偏差，不考虑方差）

对数几率回归

算法原理

线性回归做的是实值的解答，对数几率回归是一个利用映射函数做分类的功能
先是二分类
如何实现：找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第40张图片
分类中，机器学习任务会给出样本的概率值，那么范围是[0,1]之间的，线性回归中的值是R上的不能直接用，所以用一个映射函数完成了分类任务
西瓜书的角度是对数几率，ln(y/1-y)

https://sm1les.com/2019/01/17/logistic-regression-and-maximum-entropy/

离散变量的分类（概率质量函数）

极大似然估计推导

方便于在多元条件的一样使用
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第41张图片
将整合，方便使用极大似然函数机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第42张图片机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第43张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第44张图片
函数整合，取对数之后，yi的取值是0或者1，那么按照结果就得到了下面的式子
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第45张图片

信息论推导

x是随机变量X的所有取值机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第46张图片理想分布px，模拟分布qx ，一般的，px的取值是小于1的，所以log得到的结果是小于1，那么带上负号转为正值 机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第47张图片根据上面的公式，当px和qx相等的时候，值是1，所以此时相对熵最小，为0，机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第48张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第49张图片

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第50张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第51张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第52张图片
此时，从极大似然估计和信息论角度得到了同样的损失函数
因为没有闭式解，所以采用一些算法求解最优值
在这里插入图片描述

线性判别分析

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第53张图片

算法原理

根据其定义可知 用来进行分类 ，主要是用来降维（类别减1）
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第54张图片
书中的公式：X是不同取值的样本，μ是不同取值样本的均值向量，Σ是不同取值样本的协方差（少了系数，但是不影响结果）
在特征空间找一个方向，使得所有的样本点都投影上去，目的：中心远，方差小
类内方差小，类间方差大
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第55张图片
我们让中心远，那么就是μ0-μ1的距离较大，但是投影的距离是|μ|cosθ，一般的，角度theta不好求，所以使用w的转置乘以μ作为投影距离，乘w的模长对我们的max目标没有影响
根据公式：cosθ = uv / |u||v|
所以一般的：
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第56张图片
在上面的方差公式中，wT*x是向量x在w方向的投影，这样的得到了方差小的目标函数
两个目标函数整合：
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第57张图片

可解损失函数

在max中，w的值多解，因为放大倍数都有解，Sb和Sw是固定的，所以此时条件将分母固定，w也就固定了范围，这样max目标就有了求解
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第58张图片

拉格朗日乘子法

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第59张图片
得到在约束条件下的极值点，但是得到的极值解还需要进行最值的挑选

w的求解

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第60张图片
Sb和Sw是对称矩阵
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第61张图片
在Sbw = λSww是一个广义特征值求解的问题
（μ0-μ1）T*w是一个值，所以可以直接假设，γ只受w的影响
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第62张图片
机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第63张图片
因为几何意义是中心点的距离，并且它的方向是四周变化，所以一定具有最大最小值

广义特征值

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第64张图片

广义瑞利商

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第65张图片

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第66张图片
根据其性质，我们在前面的拉格朗日乘子法中得到的结果其实是特征值最大的对应的特征向量就是其解，
对于多分类问题，将W划分列向量，也就是转为二分类问题，w1对用的是最大的特征向量
w2对应的是第二大的特征向量，依次排序就得到了后面的结果

机器学习之 线性回归，lasso,ridge回归，对数几率回归（逻辑回归），线性判别分析_第67张图片

你可能感兴趣的:(机器学习,逻辑回归,机器学习,回归)

  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 高端密码学院笔记285 柚子_b4b4
    高端幸福密码学院（高级班）幸福使者：李华第（598）期《幸福》之回归内在深层生命原动力基础篇——揭秘“激励”成长的喜悦心理案例分析主讲：刘莉一，知识扩充:成功=艰苦劳动+正确方法+少说空话。贪图省力的船夫，目标永远下游。智者的梦再美，也不如愚人实干的脚印。幸福早课堂2020.10.16星期五一笔记:1，重视和珍惜的前提是知道它的价值非常重要，当你珍惜了，你就真正定下来，真正的学到身上。2，大家需要
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1） 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
  • 数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首 张三叨
    你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
  • Python实现简单的机器学习算法 master_chenchengg pythonpython办公效率python开发IT
    Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
  • 遥感影像的切片处理 sand&wich 计算机视觉python图像处理
    在遥感影像分析中，经常需要将大尺寸的影像切分成小片段，以便于进行详细的分析和处理。这种方法特别适用于机器学习和图像处理任务，如对象检测、图像分类等。以下是如何使用Python和OpenCV库来实现这一过程，同时确保每个影像片段保留正确的地理信息。准备环境首先，确保安装了必要的Python库，包括numpy、opencv-python和xml.etree.ElementTree。这些库将用于图像处理
  • ai绘画工具midjourney怎么下载？附作品管理教程 设计师早上好
    Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
  • [实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估pytorchpython机器学习
    文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
  • 机器学习-聚类算法 不良人龍木木 机器学习机器学习算法聚类
    机器学习-聚类算法1.AHC2.K-means3.SC4.MCL仅个人笔记，感谢点赞关注！1.AHC2.K-means3.SC传统谱聚类：个人对谱聚类算法的理解以及改进4.MCL目前仅专注于NLP的技术学习和分享感谢大家的关注与支持！
  • 未来软件市场是怎么样的？做开发的生存空间如何？ cesske 软件需求
    目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
  • 做事一定要认真 地上的垚
    大脑突然被惊醒，我猛然起身，接着发了下呆，灵魂回归后意识到：啊，今天上班要迟到了！我按了按手机发现手机已关机，略微一看，原来是昨晚充电器没插上。一件微不足道的事折射出我的粗心大意，反映了我对待事情漠不关心，草草了事的态度。许许多多的事情都需要认认真真的对待才能做好，认真是自我努力的表现。工作中，我总是不停的犯错误，我谴责自己：连这点小事都要犯错，你有什么用啊。同时也安慰自己：不过是一点小错误而已，
  • python中zeros用法_Python中的numpy.zeros()用法 江平舟 python中zeros用法
    numpy.zeros()函数是最重要的函数之一,广泛用于机器学习程序中。此函数用于生成包含零的数组。numpy.zeros()函数提供给定形状和类型的新数组,并用零填充。句法numpy.zeros(shape,dtype=float,order='C'参数形状：整数或整数元组此参数用于定义数组的尺寸。此参数用于我们要在其中创建数组的形状,例如(3,2)或2。dtype：数据类型(可选)此参数用于
  • 【NumPy】深入解析numpy.zeros()函数 二七830 numpy
    欢迎莅临我的个人主页这里是我深耕Python编程、机器学习和自然语言处理（NLP）领域，并乐于分享知识与经验的小天地！博主简介：我是二七830，一名对技术充满热情的探索者。多年的Python编程和机器学习实践，使我深入理解了这些技术的核心原理，并能够在实际项目中灵活应用。尤其是在NLP领域，我积累了丰富的经验，能够处理各种复杂的自然语言任务。技术专长：我熟练掌握Python编程语言，并深入研究了机
  • 神经网络-损失函数 红米煮粥 神经网络人工智能深度学习
    文章目录一、回归问题的损失函数1.均方误差（MeanSquaredError,MSE）2.平均绝对误差（MeanAbsoluteError,MAE）二、分类问题的损失函数1.0-1损失函数（Zero-OneLossFunction）2.交叉熵损失（Cross-EntropyLoss）3.合页损失（HingeLoss）三、总结在神经网络中，损失函数（LossFunction）扮演着至关重要的角色，它
  • 【中国国际航空-注册_登录安全分析报告】 风控牛 验证码接口安全评测系列安全行为验证极验网易易盾智能手机
    前言由于网站注册入口容易被黑客攻击，存在如下安全问题：1.暴力破解密码，造成用户信息泄露2.短信盗刷的安全问题，影响业务及导致用户投诉3.带来经济损失，尤其是后付费客户，风险巨大，造成亏损无底洞所以大部分网站及App都采取图形验证码或滑动验证码等交互解决方案，但在机器学习能力提高的当下，连百度这样的大厂都遭受攻击导致点名批评，图形验证及交互验证方式的安全性到底如何？请看具体分析一、中国国际航空PC
  • 无人值守模式，自习室创业，真的那么赚钱吗？ 森屿旅人
    “创业是一条不归路，不要拿自己亏不起的钱当赌注！”在和大家分享无人自习室创业经历前，先和大家强调上面这一句话，创过业的朋友，应该深有体会。因为，我们要深刻的认知市场规律，一个行业，如果利润很高，那必然趋之若鹜得涌入，所以在市场充分博弈以后，市场会回归价值本身，这个是市场的客观规律。因此，不要抓风口，抓风口，说实在的，和赌博无异，那些和你鼓吹风口的人，永远是把你当成一根韭菜，诚然，真正赚钱的项目，不
  • 机器学习 流形数据降维：UMAP 降维算法 小嗷犬 Python机器学习#数据分析及可视化机器学习算法人工智能
    ✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。个人主页：小嗷犬的个人主页个人网站：小嗷犬的技术小站个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。本文目录UMAP简介理论基础特点与优势应用场景在Python中使用UMAP安装umap-learn库使用UMAP可视化手写数字数据集UMAP简介UMAP（UniformManifoldApproximatio
  • 损失函数与反向传播 Star_. PyTorchpytorch深度学习python
    损失函数定义与作用损失函数(lossfunction)在深度学习领域是用来计算搭建模型预测的输出值和真实值之间的误差。1.损失函数越小越好2.计算实际输出与目标之间的差距3.为更新输出提供依据（反向传播)常见的损失函数回归常见的损失函数有：均方差（MeanSquaredError，MSE）、平均绝对误差（MeanAbsoluteErrorLoss，MAE）、HuberLoss是一种将MSE与MAE
  • 七.正则化 愿风去了
    吴恩达机器学习之正则化（Regularization）http://www.cnblogs.com/jianxinzhou/p/4083921.html从数学公式上理解L1和L2https://blog.csdn.net/b876144622/article/details/81276818虽然在线性回归中加入基函数会使模型更加灵活，但是很容易引起数据的过拟合。例如将数据投影到30维的基函数上，模
  • 机器学习-------数据标准化 罔闻_spider 数据分析算法机器学习人工智能
    什么是归一化，它与标准化的区别是什么？一作用在做训练时，需要先将特征值与标签标准化，可以防止梯度防炸和过拟合；将标签标准化后，网络预测出的数据是符合标准正态分布的—StandarScaler()，与真实值有很大差别。因为StandarScaler()对数据的处理是（真实值-平均值）/标准差。同时在做预测时需要将输出数据逆标准化提升模型精度：标准化/归一化使不同维度的特征在数值上更具比较性，提高分类
  • 只生欢喜不生愁 花间星事
    《只生欢喜不生愁》是我很喜欢的一本书，挺适合当下的环境阅读。作者林曦老师是位水墨画家，设计师。她1983年生于重庆，毕业于中央美术学院，年少成名，以手艺人自居。在她的这本艺术生活随笔集里，用自己的切身实践解析艺术美育的本质内涵。分享了艺术学习，写字的乐趣，专注心力的法门与修炼，用中式文人的视角观照当代生活的审美情趣及路径，讨论艺术之道与无用之美，让传统美学回归到现实生活践行中。林曦少年时办过不少画
  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
  • Python和R均方根误差平均绝对误差算法模型 亚图跨际 Python交叉知识R回归模型误差指标归一化均方根误差生态状态指标神经网络成本误差气体排放气候模型多项式拟合
    要点回归模型误差评估指标归一化均方根误差生态状态指标神经网络成本误差计算气体排放气候算法模型Python误差指标均方根误差和平均绝对误差均方根偏差或均方根误差是两个密切相关且经常使用的度量值之一，用于衡量真实值或预测值与观测值或估计值之间的差异。估计器θ^\hat{\theta}θ^相对于估计参数θ\thetaθ的RMSD定义为均方误差的平方根：RMSD⁡(θ^)=MSE⁡(θ^)=E((θ^−θ
  • 两种方法判断Python的位数是32位还是64位 sanqima Python编程电脑python开发语言
      Python从1991年发布以来，凭借其简洁、清晰、易读的语法、丰富的标准库和第三方工具，在Web开发、自动化测试、人工智能、图形识别、机器学习等领域发展迅猛。  Python是一种胶水语言，通过Cython库与C/C++语言进行链接，通过Jython库与Java语言进行链接。  Python是跨平台的，可运行在多种操作系统上，包括但不限于Windows、Linux和macOS。这意味着用Py
  • 使用最大边际相关性(MMR)选择示例：提高AI模型的多样性和相关性 aehrutktrjk 人工智能easyui前端python
    使用最大边际相关性(MMR)选择示例：提高AI模型的多样性和相关性引言在机器学习和自然语言处理领域，选择合适的训练示例对模型性能至关重要。最大边际相关性(MaximalMarginalRelevance,MMR)是一种优秀的示例选择方法，它不仅考虑了示例与输入的相关性，还注重保持所选示例之间的多样性。本文将深入探讨如何使用MMR来选择示例，以提高AI模型的性能和泛化能力。什么是最大边际相关性(MM
  • LangChain集成指南:如何利用多样化的AI提供商 aehrutktrjk 人工智能langchainpython
    LangChain集成指南:如何利用多样化的AI提供商引言在人工智能和机器学习领域,LangChain已成为一个强大而灵活的框架,允许开发者轻松集成各种AI服务提供商。本文将深入探讨LangChain的集成能力,介绍如何利用不同的AI提供商来增强你的应用程序,并提供实用的代码示例。LangChain集成概览LangChain支持多种AI提供商的集成,这些集成可以分为两类:独立包集成:这些提供商有独
  • 机器学习VS深度学习 nfgo 机器学习
    机器学习（MachineLearning,ML）和深度学习（DeepLearning,DL）是人工智能（AI）的两个子领域，它们有许多相似之处，但在技术实现和应用范围上也有显著区别。下面从几个方面对两者进行区分：1.概念层面机器学习：是让计算机通过算法从数据中自动学习和改进的技术。它依赖于手动设计的特征和数学模型来进行学习，常用的模型有决策树、支持向量机、线性回归等。深度学习：是机器学习的一个子领
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能 2401_84572577 程序员大数据hadoop人工智能
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
  • sql统计相同项个数并按名次显示 朱辉辉33 javaoracle
    现在有如下这样一个表： A表 ID Name time ------------------------------ 0001 aaa 2006-11-18 0002 ccc 2006-11-18 0003 eee 2006-11-18 0004 aaa 2006-11-18 0005 eee 2006-11-18 0004 aaa 2006-11-18 0002 ccc 20
  • Android+Jquery Mobile学习系列-目录 白糖_ JQuery Mobile
    最近在研究学习基于Android的移动应用开发，准备给家里人做一个应用程序用用。向公司手机移动团队咨询了下，觉得使用Android的WebView上手最快，因为WebView等于是一个内置浏览器，可以基于html页面开发，不用去学习Android自带的七七八八的控件。然后加上Jquery mobile的样式渲染和事件等，就能非常方便的做动态应用了。   从现在起，往后一段时间，我打算
  • 如何给线程池命名 daysinsun 线程池
            在系统运行后，在线程快照里总是看到线程池的名字为pool-xx，这样导致很不好定位，怎么给线程池一个有意义的名字呢。参照ThreadPoolExecutor类的ThreadFactory，自己实现ThreadFactory接口，重写newThread方法即可。参考代码如下：     public class Named
  • IE 中"HTML Parsing Error:Unable to modify the parent container element before the 周凡杨 html解析errorreadyState
      错误： IE 中"HTML Parsing Error:Unable to modify the parent container element before the child element is closed"     现象： 同事之间几个IE 测试情况下，有的报这个错，有的不报。经查询资料后，可归纳以下原因。
  • java上传 g21121 java
    我们在做web项目中通常会遇到上传文件的情况，用struts等框架的会直接用的自带的标签和组件，今天说的是利用servlet来完成上传。 我们这里利用到commons-fileupload组件，相关jar包可以取apache官网下载：http://commons.apache.org/ 下面是servlet的代码： //定义一个磁盘文件工厂 DiskFileItemFactory fact
  • SpringMVC配置学习 510888780 springmvc
    spring MVC配置详解 现在主流的Web MVC框架除了Struts这个主力 外，其次就是Spring MVC了，因此这也是作为一名程序员需要掌握的主流框架，框架选择多了，应对多变的需求和业务时，可实行的方案自然就多了。不过要想灵活运用Spring MVC来应对大多数的Web开发，就必须要掌握它的配置及原理。 　　一、Spring MVC环境搭建：（Spring 2.5.6 + Hi
  • spring mvc-jfreeChart 柱图(1) 布衣凌宇 jfreechart
    第一步：下载jfreeChart包，注意是jfreeChart文件lib目录下的，jcommon-1.0.23.jar和jfreechart-1.0.19.jar两个包即可； 第二步：配置web.xml; web.xml代码如下 <servlet>     <servlet-name>jfreechart</servlet-nam
  • 我的spring学习笔记13-容器扩展点之PropertyPlaceholderConfigurer aijuans Spring3
    PropertyPlaceholderConfigurer是个bean工厂后置处理器的实现，也就是BeanFactoryPostProcessor接口的一个实现。关于BeanFactoryPostProcessor和BeanPostProcessor类似。我会在其他地方介绍。PropertyPlaceholderConfigurer可以将上下文（配置文件）中的属性值放在另一个单独的标准java P
  • java 线程池使用 Runnable&Callable&Future antlove javathreadRunnablecallablefuture
    1. 创建线程池 ExecutorService executorService = Executors.newCachedThreadPool();   2. 执行一次线程，调用Runnable接口实现 Future<?> future = executorService.submit(new DefaultRunnable()); System.out.prin
  • XML语法元素结构的总结 百合不是茶 xml树结构
    1.XML介绍1969年   gml (主要目的是要在不同的机器进行通信的数据规范)1985年   sgml  standard generralized markup language1993年   html(www网)1998年  xml   extensible markup language
  • 改变eclipse编码格式 bijian1013 eclipse编码格式
    1.改变整个工作空间的编码格式         改变整个工作空间的编码格式，这样以后新建的文件也是新设置的编码格式。         Eclipse->window->preferences->General->workspace-
  • javascript中return的设计缺陷 bijian1013 JavaScriptAngularJS
    代码1： <script> var gisService = (function(window) { return { name:function () { alert(1); } }; })(this); gisService.name(); &l
  • 【持久化框架MyBatis3八】Spring集成MyBatis3 bit1129 Mybatis3
    pom.xml配置 Maven的pom中主要包括： MyBatis MyBatis-Spring Spring MySQL-Connector-Java Druid applicationContext.xml配置   <?xml version="1.0" encoding="UTF-8"?> &
  • java web项目启动时自动加载自定义properties文件 bitray javaWeb监听器相对路径
    创建一个类 public class ContextInitListener implements ServletContextListener 使得该类成为一个监听器。用于监听整个容器生命周期的，主要是初始化和销毁的。 类创建后要在web.xml配置文件中增加一个简单的监听器配置，即刚才我们定义的类。 <listener> <des
  • 用nginx区分文件大小做出不同响应 ronin47
    昨晚和前21v的同事聊天，说到我离职后一些技术上的更新。其中有个给某大客户(游戏下载类)的特殊需求设计，因为文件大小差距很大——估计是大版本和补丁的区别——又走的是同一个域名，而squid在响应比较大的文件时，尤其是初次下载的时候，性能比较差，所以拆成两组服务器，squid服务于较小的文件，通过pull方式从peer层获取，nginx服务于较大的文件，通过push方式由peer层分发同步。外部发布
  • java-67-扑克牌的顺子.从扑克牌中随机抽5张牌，判断是不是一个顺子，即这5张牌是不是连续的.2-10为数字本身，A为1，J为11，Q为12，K为13，而大 bylijinnan java
    package com.ljn.base; import java.util.Arrays; import java.util.Random; public class ContinuousPoker { /** * Q67 扑克牌的顺子 从扑克牌中随机抽5张牌，判断是不是一个顺子，即这5张牌是不是连续的。 * 2-10为数字本身，A为1，J为1
  • 翟鸿燊老师语录 ccii 翟鸿燊
    一、国学应用智慧TAT之亮剑精神A 1. 角色就是人格     就像你一回家的时候，你一进屋里面，你已经是儿子，是姑娘啦，给老爸老妈倒怀水吧，你还觉得你是老总呢？还拿派呢？就像今天一样，你们往这儿一坐，你们之间是什么，同学，是朋友。     还有下属最忌讳的就是领导向他询问情况的时候，什么我不知道，我不清楚，该你知道的你凭什么不知道
  • [光速与宇宙]进行光速飞行的一些问题 comsci 问题
         在人类整体进入宇宙时代，即将开展深空宇宙探索之前，我有几个猜想想告诉大家     仅仅是猜想。。。未经官方证实      1：要在宇宙中进行光速飞行，必须首先获得宇宙中的航行通行证，而这个航行通行证并不是我们平常认为的那种带钢印的证书，是什么呢？ 下面我来告诉
  • oracle undo解析 cwqcwqmax9 oracle
    oracle undo解析2012-09-24 09:02:01     我来说两句       作者：虫师收藏    我要投稿 Undo是干嘛用的？         &nb
  • java中各种集合的详细介绍 dashuaifu java集合
    一，java中各种集合的关系图 Collection       接口的接口     对象的集合  ├ List           子接口   &n
  • 卸载windows服务的方法 dcj3sjt126com windowsservice
    卸载Windows服务的方法 在Windows中，有一类程序称为服务，在操作系统内核加载完成后就开始加载。这里程序往往运行在操作系统的底层，因此资源占用比较大、执行效率比较高，比较有代表性的就是杀毒软件。但是一旦因为特殊原因不能正确卸载这些程序了，其加载在Windows内的服务就不容易删除了。即便是删除注册表中的相 应项目，虽然不启动了，但是系统中仍然存在此项服务，只是没有加载而已。如果安装其他
  • Warning: The Copy Bundle Resources build phase contains this target's Info.plist dcj3sjt126com iosxcode
        http://developer.apple.com/iphone/library/qa/qa2009/qa1649.html Excerpt: You are getting this warning because you probably added your Info.plist file to your Copy Bundle
  • 2014之C++学习笔记（一） Etwo C++EtwoEtwoiterator迭代器
            已经有很长一段时间没有写博客了，可能大家已经淡忘了Etwo这个人的存在，这一年多以来，本人从事了AS的相关开发工作，但最近一段时间，AS在天朝的没落，相信有很多码农也都清楚，现在的页游基本上达到饱和，手机上的游戏基本被unity3D与cocos占据，AS基本没有容身之处。so。。。最近我并不打算直接转型
  • js跨越获取数据问题记录 haifengwuch jsonpjsonAjax
    js的跨越问题，普通的ajax无法获取服务器返回的值。   第一种解决方案，通过getson，后台配合方式，实现。 Java后台代码： protected void doPost(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException { String ca
  • 蓝色jQuery导航条 ini JavaScripthtmljqueryWebhtml5
    效果体验：http://keleyi.com/keleyi/phtml/jqtexiao/39.htmHTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title>jQuery鼠标悬停上下滑动导航条 - 柯乐义<
  • linux部署jdk,tomcat,mysql kerryg jdktomcatlinuxmysql
    1、安装java环境jdk:     一般系统都会默认自带的JDK,但是不太好用，都会卸载了，然后重新安装。    1.1）、卸载：      （rpm -qa :查询已经安装哪些软件包；        rmp -q 软件包：查询指定包是否已
  • DOMContentLoaded VS onload VS onreadystatechange mutongwu jqueryjs
    1. DOMContentLoaded 在页面html、script、style加载完毕即可触发，无需等待所有资源（image/iframe）加载完毕。（IE9+） 2. onload是最早支持的事件，要求所有资源加载完毕触发。 3. onreadystatechange 开始在IE引入，后来其它浏览器也有一定的实现。涉及以下 document , applet, embed, fra
  • sql批量插入数据 qifeifei 批量插入
    hi，   自己在做工程的时候，遇到批量插入数据的数据修复场景。我的思路是在插入前准备一个临时表，临时表的整理就看当时的选择条件了，临时表就是要插入的数据集，最后再批量插入到数据库中。    WITH tempT AS ( SELECT item_id AS combo_id, item_id, now() AS create_date FROM a
  • log4j打印日志文件 如何实现相对路径到 项目工程下 thinkfreer Weblog4j应用服务器日志
    最近为了实现统计一个网站的访问量，记录用户的登录信息，以方便站长实时了解自己网站的访问情况，选择了Apache 的log4j,但是在选择相对路径那块 卡主了，X度了好多方法(其实大多都是一样的内用，还一个字都不差的)，都没有能解决问题，无奈搞了2天终于解决了，与大家分享一下 需求： 用户登录该网站时，把用户的登录名,ip,时间。统计到一个txt文档里，以方便其他系统调用此txt。项目名
  • linux下mysql-5.6.23.tar.gz安装与配置 笑我痴狂 mysqllinuxunix
    1.卸载系统默认的mysql [root@localhost ~]# rpm -qa | grep mysql mysql-libs-5.1.66-2.el6_3.x86_64 mysql-devel-5.1.66-2.el6_3.x86_64 mysql-5.1.66-2.el6_3.x86_64 [root@localhost ~]# rpm -e mysql-libs-5.1
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他