想去的远方
想去的远方

（西瓜书）简单线性回归公式推导

目录

 

一、线性回归概述：

二、数学知识储备：

三、证明损失函数  是关于 w 和 b 的凸函数 ：

四、求解 b :

五、求解 w :

 

一、线性回归概述：

 

给定数据集  D=\left \{ \left ( x_{1} , y_{1}\right ) , \left ( x_{2}, y_{2} \right ) , .... , \left ( x_{m}, y_{m} \right ) \right \}  ， 其中  x_{i}=\left ( x_{i1},x_{i2}, ... ,x_{id} \right ) ， y_{i}\in R ，线性回归试图学得：f\left ( x_{i} \right ) = w*x_{i} + b ，使得 f \left ( x_{i} \right ) \simeq y_{i}   .

回归任务中常使用均方误差来衡量 f(x) 与 y 之间的差别。使均方误差最小化得到的 w, b 即我们所求。（基于均方误差来进行模型求解的方法称为 “最小二乘法”）。

因此，由最小二乘法导出损失函数 E(w,b) 

E(w,b)    =     \sum_{i=1}^{m} \left ( y_{i} -f\left ( x_{i} \right )\right )^{2}

                =     \sum_{i=1}^{m} \left ( y_{i} -\left ( w*x_{i}+b \right )\right )^{2}

                =     \sum_{i=1}^{m} \left ( y_{i} - w*x_{i}-b \right )^{2}         （此即为西瓜书式 3.4  后面部分）

 

下面，我们先考虑一种最简单的情形：输入属性的数目只有一个。下面的推导均基于这种情形展开。

 

 

二、数学知识储备：

 

二元函数判断凹凸性：

设 f\left ( x,y \right ) 在区域 D 上具有二阶连续偏导数，记 A=f_{xx}^{''}\left ( x,y \right )  ,  B=f_{xy}^{''}\left ( x,y \right )  ,  C=f_{yy}^{''}\left ( x,y \right ) , 则：

  1.  在 D 上恒有 A>0 , 且 A*C - B^{2} \geq 0 时，f\left ( x,y \right ) 在区域 D 上是凸函数。
  2.  在 D 上恒有 A< 0 , 且 A*C - B^{2} \geq 0 时，f\left ( x,y \right ) 在区域 D 上是凹函数。

 

二元凹凸函数求最值：

设  f\left ( x,y \right )  是在开区域 D 内具有连续偏导数的凸函数（或凹函数），\left ( x_{0},y _{0} \right )\in D 且 f_{x}^{'}\left ( x_{0}, y_{0}\right )=0 , f_{y}^{'}\left ( x_{0}, y_{0}\right )=0  .  则 f\left ( x_{0}, y_{0}\right ) 必为 f\left ( x, y\right ) 在 D 内的最小值（或最大值） 

 

 

 

三、证明损失函数 E(w,b) 是关于 w 和 b 的凸函数 ：

 

（1）求  A=f_{xx}^{''}\left ( x,y \right )  ：

 

\frac{\partial E\left ( w,b \right )}{\partial w}    =     \frac{\partial }{\partial w}\left [ \sum_{i=1}^{m} \left (y _{i}-w*x_{i}-b \right )^{2} \right ]

                   =    \sum_{i=1}^{m} \frac{\partial }{\partial w}\left (y _{i}-w*x_{i}-b \right )^{2}

                   =     \sum_{i=1}^{m} 2*\left (y _{i}-w*x_{i}-b \right )(-x_{i})

                   =           （此即为西瓜书式 3.5）

 

    \frac{ \partial ^{2} E \left ( w,b \right ) }{ \partial w^{2}}     =      \frac{\partial }{\partial w} \left (\frac{\partial E\left ( w,b \right )}{\partial w} \right )

                          =     \frac{\partial }{\partial w}           

                          =    \frac{\partial }{\partial w} \left [ 2* w*\sum_{i=1}^{m} x_{i}^{2} \right ]   

                          =   2*\sum_{i=1}^{m} x_{i}^{2}  

此即为  A=f_{xx}^{''}\left ( x,y \right )  ，所以 在 D 上恒有 A>0

 

 

（2）求  B=f_{xy}^{''}\left ( x,y \right )  ：

 

    \frac{ \partial ^{2} E \left ( w,b \right ) }{ \partial w \partial b }     =      \frac{\partial }{\partial b} \left (\frac{\partial E\left ( w,b \right )}{\partial w} \right )

                          =    \frac{\partial }{\partial b}           

                          =     \frac{\partial }{\partial b} 

                          =     \frac{\partial }{\partial b}  \left ( -2* \sum_{i=1}^{m} y _{i}*x_{i} + 2* \sum_{i=1}^{m} b*x_{i} \right )

                          =     \frac{\partial }{\partial b}  \left ( 2* \sum_{i=1}^{m} b*x_{i} \right )

                          =   2*\sum_{i=1}^{m} x_{i}  

此即为  B=f_{xy}^{''}\left ( x,y \right ) .

 

 

（3）求  C=f_{yy}^{''}\left ( x,y \right )  ：

 

\frac{\partial E\left ( w,b \right )}{\partial b}    =     \frac{\partial }{\partial b}\left [ \sum_{i=1}^{m} \left (y _{i}-w*x_{i}-b \right )^{2} \right ]

                   =    \sum_{i=1}^{m} \frac{\partial }{\partial b}\left (y _{i}-w*x_{i}-b \right )^{2}

                   =     \sum_{i=1}^{m} 2*\left (y _{i}-w*x_{i}-b \right )(-1)

                   =                （此即为西瓜书式 3.6）

 

    \frac{ \partial ^{2} E \left ( w,b \right ) }{ \partial b^{2}}     =      \frac{\partial }{\partial b} \left (\frac{\partial E\left ( w,b \right )}{\partial b} \right )

                          =     \frac{\partial }{\partial b}           

                          =    \frac{\partial }{\partial b} \left ( 2*m*b \right )   

                          =   2*m  

此即为    C=f_{yy}^{''}\left ( x,y \right ) .

 

 

（4）判断 A*C-B^{2} 的符号

 

至此，我们求得 :  A = 2*\sum_{i=1}^{m} x_{i}^{2}    ,   B = 2*\sum_{i=1}^{m} x_{i}  ,   C = 2*m

 

A*C-B^{2}      =           \left ( 2*\sum_{i=1}^{m} x_{i}^{2} \right ) * \left ( 2*m\right )-\left ( 2*\sum_{i=1}^{m} x_{i} \right )^{2}   

                         =          4*m*\sum_{i=1}^{m} x_{i}^{2}-4*\left ( \sum_{i=1}^{m} x_{i}\right )^{2}

                         =         4*m*\sum_{i=1}^{m} x_{i}^{2}-4*m*\frac{1}{m}*\left ( \sum_{i=1}^{m} x_{i}\right )^{2}

                         =        4*m*\sum_{i=1}^{m} x_{i}^{2}-4*m*\bar{x} * \sum_{i=1}^{m} x_{i}

                         =       4*m*\left ( \sum_{i=1}^{m} x_{i}^{2} - \sum_{i=1}^{m} x_{i}*\bar{x} \right )

                         =       4*m* \sum_{i=1}^{m}\left ( x_{i}^{2} - x_{i}*\bar{x} \right )

 

这里我们的目的是要证得  A*C-B^{2}  是否大于等于 0 ，所以我们下面要对上面的式子进行变形，以便判断符号。

 

因为：    \sum_{i=1}^{m} x_{i}*\bar{x}    =    \bar{x}*\sum_{i=1}^{m} x_{i}    =     \bar{x}*m*\frac{1}{m} * \sum_{i=1}^{m} x_{i}     =     m*\bar{x}^{2}     =     \sum_{i=1}^{m} \bar{x}^{2}

所以 ： 4*m* \sum_{i=1}^{m}\left ( x_{i}^{2} - x_{i}*\bar{x} \right )    =     4*m* \sum_{i=1}^{m}\left ( x_{i}^{2} - x_{i}*\bar{x} - x_{i}*\bar{x}+{\color{Red} x_{i}*\bar{x}} \right )

                                                        =     4*m* \sum_{i=1}^{m}\left ( x_{i}^{2} - x_{i}*\bar{x} - x_{i}*\bar{x}+{\color{Red} \bar{x} ^{2}}\right )

                                                        =     4*m* \sum_{i=1}^{m}\left ( x_{i} -\bar{x}\right )^{2}

 

所以     A*C-B^{2}  =    4*m* \sum_{i=1}^{m}\left ( x_{i} -\bar{x}\right )^{2}     >=    0   ,   也即损失函数 E(w,b) 是关于 w 和 b 的凸函数得证。

 

 

 

四、求解 b :

 

令一阶偏导数等于 0 解出 b ：

\frac{\partial E\left ( w,b \right )}{\partial b}    =           =    0

                                            =    0

                                                                               b   =   \frac{1}{m}           （此即为西瓜书式 3.8）

 

 

五、求解 w :

 

令一阶偏导数等于 0 解出 w ：

\frac{\partial E\left ( w,b \right )}{\partial w}    =           =     0

                                                                    w*\sum_{i=1}^{m} x_{i}^{2}       =         \sum_{i=1}^{m}\ y _{i} *x_{i} -\sum_{i=1}^{m}\ b*x_{i}

 

将   b   =   \frac{1}{m}      =     \frac{1}{m}* \sum_{i=1}^{m} y _{i}  - w* \frac{1}{m}* \sum_{i=1}^{m} x_{i}

                                                       =     \bar{y}-w*\bar{x}                                 ，带入上式得：

 

                                      w*\sum_{i=1}^{m} x_{i}^{2}       =         \sum_{i=1}^{m}\ y _{i} *x_{i} -\sum_{i=1}^{m}\ {\color{Red} b}*x_{i}

                                     w*\sum_{i=1}^{m} x_{i}^{2}       =         \sum_{i=1}^{m}\ y _{i} *x_{i} -\sum_{i=1}^{m}\ {\color{Red} \left ( \bar{y}-w*\bar{x} \right )} *x_{i}

                                     w*\sum_{i=1}^{m} x_{i}^{2}       =         \sum_{i=1}^{m} y _{i} *x_{i} - \bar{y}* \sum_{i=1}^{m}x_{i} + w* \bar{x} * \sum_{i=1}^{m} x_{i}

           w*\sum_{i=1}^{m} x_{i}^{2}- w* \bar{x} * \sum_{i=1}^{m} x_{i}       =         \sum_{i=1}^{m} y _{i} *x_{i} - \bar{y}* \sum_{i=1}^{m}x_{i}

            w*\left ( \sum_{i=1}^{m} x_{i}^{2}- \bar{x} * \sum_{i=1}^{m} x_{i} \right )       =         \sum_{i=1}^{m} y _{i} *x_{i} - \bar{y}* \sum_{i=1}^{m}x_{i}

                                                      w     =        \frac{\sum_{i=1}^{m} y _{i} *x_{i} - \bar{y}* \sum_{i=1}^{m}x_{i}}{\sum_{i=1}^{m} x_{i}^{2}- \bar{x} * \sum_{i=1}^{m} x_{i}}

 

（因为有：\bar{y}* \sum_{i=1}^{m}x_{i} = \frac{1}{m} * \sum_{i=1}^{m} y_{i} \sum_{i=1}^{m}x_{i} = \bar{x} * \sum_{i=1}^{m}y_{i} ， \bar{x}* \sum_{i=1}^{m}x_{i} = \frac{1}{m} * \sum_{i=1}^{m} x_{i} \sum_{i=1}^{m}x_{i} = \frac{1}{m} * \left ( \sum_{i=1}^{m}x_{i} \right ) ^{2}）

（西瓜书）简单线性回归公式推导_第1张图片

 

所以 ：    w   =    \frac{\sum_{i=1}^{m} y _{i} *x_{i} - \bar{x} * \sum_{i=1}^{m}y_{i} }{\sum_{i=1}^{m} x_{i}^{2}- \frac{1}{m} * \left ( \sum_{i=1}^{m}x_{i} \right ) ^{2} }   =    \frac{ \sum_{i=1}^{m} y _{i} * \left ( x_{i} - \bar{x} \right ) }{\sum_{i=1}^{m} x_{i}^{2}- \frac{1}{m} * \left ( \sum_{i=1}^{m}x_{i} \right ) ^{2} }      （此即为西瓜书式 3.7）

 

 

 

 

（西瓜书）多元线性回归公式推导请移步：     https://blog.csdn.net/qq_42185999/article/details/102942166   .

你可能感兴趣的:(机器学习,简单线性回归公式推导,西瓜书,机器学习,最小二乘法)

  • Flutter 使用http库获取网络数据的方法(一)
    前言对于大部分应用来说，获取网络数据都是必不可少的一个功能。幸运的是，Dart和Flutter就为我们提供了这样的工具。1.使用http库请求网络数据我们看看如何使用http获取网络数据。1.添加httppackagehttp包是Flutter官方推荐的网络请求库，简单易用。需要在pubspec.yaml中添加依赖：dependencies:http:^1.4.0然后我们在需要的地方导入http包
  • DeepSeek-R1满血版:硅基流动API或本地部署 Mikhail_G AIGC语言模型数据分析大数据python
    大家好!想在手机上部署DeepSeek-R1满血版（671B）？我来手把手教你最靠谱的两种方式！满血版模型参数高达671亿，手机本地运行几乎不可能，但通过「云服务+手机App」的组合，你一样能在手机上丝滑使用真正的满血版DeepSeek-R1！一、推荐方案：通过SiliconFlow+Chatbox使用满血版（iOS/安卓均支持）这是目前最稳定、免费额度高、操作简单的方式，适合所有用户。原理：用S
  • jvm架构原理剖析篇 teayear jvm架构
    简单题（5道）考查内容：JVM运行时数据区域题干：Java虚拟机栈的主要作用是？A.存储对象实例B.存储方法调用和局部变量C.存储静态字段D.存储字节码指令正确答案：B解析：虚拟机栈用于存储方法调用帧（包括局部变量表和操作数栈），对象实例存储在堆中，静态字段存储在方法区，字节码指令存储在方法区。考查内容：类加载机制题干：以下哪个不是类加载的阶段？A.加载B.验证C.编译D.初始化正确答案：C解析：
  • Python设置国内镜像教程 wh3933 python开发语言
    ####引言Python是一种广泛使用的高级编程语言，用于各种编程任务，从简单的脚本到复杂的机器学习算法。在安装Python包时，通常需要从Python包索引（PyPI）下载。由于网络原因，直接从PyPI下载可能速度较慢，因此，使用国内的镜像源可以显著提高下载速度。本文将详细介绍如何在Python中设置国内镜像。####文章目的本篇文章旨在指导用户如何将Python的包管理工具`pip`的默认源切
  • 【TypeScript教程】 - 小白也能秒懂的TypeScript入门指南 一个水瓶座程序猿. TypeScriptJavaScript系列文章typescriptjavascript前端
    一、TS是什么？TypeScript（简称TS）是JavaScript的一个超集，由微软开发。简单来说，它就是在JavaScript的基础上增加了静态类型检查。那静态类型检查有啥好处呢？举个例子，在JavaScript里，我们写代码时可能会不小心把一个变量的类型用错，像这样：//JavaScript代码letnum=10;num="hello";//这里把数字类型的变量赋值为字符串，运行时可能会出
  • 浅谈 Vue2 的 Mixin 混入和 Vue3 的 Hooks（组合式 API） 一个水瓶座程序猿. Vue.js系列文章Vuevue.jsjavascriptecmascript
    嘿，各位前端小伙伴！今天咱来好好唠唠Vue2里的Mixin混入和Vue3的Hooks（组合式API），这里面的门道可不少，我把自己的经验分享出来，希望能帮大家避避坑。一、Vue2的Mixin混入1.啥是Mixin混入Mixin混入就像是一个魔法口袋，你可以把一些通用的代码逻辑装进去，然后在多个组件里使用。简单来说，它就是一种代码复用的方式。比如说，你有多个组件都需要处理用户登录状态，那你就可以把这
  • 提到交换机堆叠大家就害怕，其实堆叠很简单！ wljslmz 网络技术交换机堆叠
    一提到“交换机堆叠”这四个字，很多网络工程师眉头就皱了起来，仿佛堆叠就等于配置复杂、故障难查、升级噩梦。其实真不是！交换机堆叠（Stacking）说白了，就是“多台交换机一起干活，还装得像一台”。如果你认真了解过堆叠背后的逻辑和原理，掌握了几个关键细节，这项技术其实相当香，无论是运维、扩展，还是冗余能力，都是妥妥加分项！今天我们就来一次不装神弄鬼、不炫术语、不堆RFC的通透解读，把“交换机堆叠”这
  • 从小白到进阶：解锁linux与c语言高级编程知识点嵌入式开发的任督二脉（3） small_wh1te_coder c嵌入式linuxc语言汇编c++嵌入式硬件面试
    【硬核揭秘】Linux与C高级编程：从入门到精通，你的全栈之路！第五部分：C语言高级编程——结构体、共用体、枚举、内存管理、GDB调试、Makefile全解析嘿，各位C语言的“卷王”们！在前面的旅程中，我们深入探索了Linux的奥秘，从命令行操作到Shell脚本编程，再到网络文件服务，你的Linux技能已经突飞猛进。现在，是时候回到我们的“老本行”——C语言了！你可能已经能够编写各种简单的C程序，
  • 机器学习宝典——第6章 爱看烟花的码农 机器学习人工智能
    第6章：聚类算法(Clustering)你好，同学！欢迎来到无监督学习的世界。与监督学习不同，这里的我们没有“标准答案”（标签），我们的目标是在数据中发现隐藏的、内在的结构。聚类算法就是实现这一目标的核心工具，它试图将数据集中的样本划分为若干个不相交的子集，我们称之为“簇”(cluster)。本章我们将深入探讨三种最具代表性的聚类算法：K-均值(K-Means)、层次聚类(Hierarchical
  • （LeetCode）Java 求解最长回文子串 南淮北安 冲刺大厂之Java刷题笔记leetcode字符串动态规划java算法
    文章目录一、题解二、常规理解三、简单理解四、总结一、题解给定一个字符串s，找到s中最长的回文子串。你可以假设s的最大长度为1000。示例1：输入:“babad”输出:“bab”注意:“aba”也是一个有效答案。示例2：输入:“cbbd”输出:“bb”二、常规理解思路就是创建一个二维数组，boolean[][]flag,flag[i][j]表示字符串第i到j是否是回文。边界：字符串长度为1是为TRU
  • 结构型智能科技的关键可行性——信息型智能向结构型智能的转变（修改提纲） 刘海东刘海东 人工智能机器学习算法
    结构型智能科技的关键可行性——信息型智能向结构型智能的转变1.信息型智能科技概述1.1传统计算机科技的信息型继承者1.2信息型智能环境1.3信息型智能主体1.4机器学习创造的智能1.5信息型智能科技的缺陷2.结构型智能科技概述2.1传统计算机科技向生命结构的发展2.2结构型智能科技的环境2.3结构型智能科技创造的机器生命2.4结构型智能科技的科学性3.结构型智能科技的关键可行性——信息型智能向结构
  • 二、OpenCV的第一个程序
    文章目录一、第一个程序：显示图片1.1cv::imread1.2cv::namedWindow1.3cv::imshow二、第二个程序：视频2.1cv::VideoCapture三、加入了滑动条的基本浏览窗口一、第一个程序：显示图片示例：一个简单的加载并显示图像的OpenCV程序#include#include"./opencv2/opencv.hpp"intmain(){cv::Matimage
  • 洛谷 P11251 [GESP202409 八级] 美丽路径-普及/提高- 智趣代码实验室 洛谷算法深度优先图论洛谷
    题目描述小杨有一棵包含nnn个节点的树，节点从111到nnn编号。每个节点要么是白色，要么是黑色。对于树上的一条简单路径（不经过重复节点的路径），小杨认为它是美丽的当且仅当路径上相邻节点的颜色均不相同。例如下图，其中节点111和节点444是黑色，其余节点是白色，路径2−1−3−42-1-3-42−1−3−4是美丽路径，而路径2−1−3−52-1-3-52−1−3−5不是美丽路径（相邻节点333和5
  • Feign解决Get请求自动转化成POST的问题 Java程序源 JavaGet请求自动转化成POSTFeign不支持请求方法“POST”get请求报错不支持post微信事件推送
    记一次无厘头报错：Requestmethod‘POST’notsupported看起来很简单呐，就是不支持post请求嘛！!场景：对接研究三方接口（微信推送），三方接口请求方式是GET方式，之前参数接收也是顺利完美的，但是研究个性消息推送的时候出现了问题，设置了推广二维码，用户扫码的关注后，收不到推送消息，系统直接报“Requestmethod‘POST’notsupported”错误，所以问题点
  • Open3D 点到面的ICP配准算法 AtlasCloud python点云数据处理算法人工智能python矩阵numpy
    目录一、算法原理1、算法概述2、点到平面ICP精配准3、参考文献二、主要函数三、代码实现四、结果展示1、初始位置2、配准结果一、算法原理1、算法概述  点到平面度量通常使用标准非线性最小二乘法来求解，例如Levenberg-Marquardt。点到平面ICP算法的每次迭代通常比点到点算法慢，但收敛速度明显更快。两个点云之间的相对旋转小于30°，在旋转矩阵中用θ替换sinθ，用1替换cosθ实现用线
  • 为什么设计师的UI稿通常是2倍或3倍尺寸？
    为什么设计师的UI稿通常是2倍或3倍尺寸？在网页和移动端开发中，设计师常常会交付2倍（@2x）或3倍（@3x）尺寸的设计稿。这种做法看似简单，背后却蕴含着设备显示原理与用户体验的深刻逻辑。今天，我们就来拆解这一“倍数设计”的奥秘。一、物理像素与逻辑像素：从“看得到”到“看得清”1.物理像素：屏幕的“最小颗粒”物理像素是屏幕硬件的最小显示单元。例如，iPhone6的分辨率是375×667像素，意味着
  • STM32开发方式及基本介绍
    相关推荐STM32新建一个工程STM32的开发有三种方式1.寄存器版本2.库函数版本3.HAL库版本一、库函数开发与寄存器开发的关系很多人都是从学51单片机转而想进一步学习STM32，他们习惯了51单片机的寄存器开发方式，ST官方库摆在面前会不知道从何下手。其实简单来说，固件库就是函数的集合，固件库函数的作用是向下负责与寄存器直接打交道，向上提供用户函数调用的接口。举一个例子来解释STM32固件库
  • 鸿蒙 ArkTS 应用截图全指南：从组件到离屏长图全搞定 谦和的大熊 鸿蒙开发鸿蒙
    鸿蒙ArkTS应用截图全指南：从组件到离屏长图全搞定在鸿蒙ArkTS应用开发中，截图并不是个边缘需求，而是有非常多实用场景的关键能力：‍UI自动化测试内容卡片、年度报告生成用户分享长图、社交素材用户反馈、崩溃回溯、复现问题离屏渲染组件进行预览或保存鸿蒙框架提供了强大的截图API，配合封装良好的SnapshotUtil工具类，截图可以变得简单、高效、适配各种业务场景。先看工具类：SnapshotUt
  • 力扣网编程121题：买卖股票的最佳时机之动态规划（简单） 魏劭 逻辑编程题C语言leetcode动态规划算法
    一.简介前一篇文章使用贪心算法实现了力扣网上121题：买卖股票的最佳时机，文章如下：力扣网编程189题：买卖股票的最佳时机之贪心算法（简单）-CSDN博客本文使用动态规划实现该题目。二.力扣网编程189题：买卖股票的最佳时机之动态规划（简单）给定一个数组prices，它的第i个元素prices[i]表示一支给定股票第i天的价格。你只能选择某一天买入这只股票，并选择在未来的某一个不同的日子卖出该股票
  • 语言模型之谜：提示内容与格式的交响诗 步子哥 AGI通用人工智能语言模型人工智能自然语言处理
    当代人工智能领域中，语言模型（LLM）正以前所未有的规模和深度渗透到各行各业。从代码生成到数学推理，从问答系统到多项选择题，每一次技术的跃进都离不开一个看似简单却充满玄机的关键环节——提示（prompt）的设计。而在这场提示优化的探索中，内容与格式的双重奏正逐渐揭开其神秘面纱，谱写出一曲宏大的交响诗。本文将带您走进“内容格式集成提示优化（CFPO）”的奇幻世界，揭示如何透过细腻的内容雕琢和精妙的格
  • 多模态大模型：技术原理与实战 看清GPT的进化史和创新点 AI天才研究院 AgenticAI实战计算AI人工智能与大数据计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    多模态大模型：技术原理与实战看清GPT的进化史和创新点1.背景介绍1.1人工智能的发展历程1.1.1早期人工智能1.1.2机器学习时代1.1.3深度学习的崛起1.2自然语言处理的演进1.2.1基于规则的方法1.2.2统计机器学习方法1.2.3深度学习方法1.3大语言模型的出现1.3.1Transformer架构的提出1.3.2GPT系列模型的发展1.3.3多模态大模型的兴起2.核心概念与联系2.1
  • 基于PHP音乐交流论坛的设计与实现(含源文件) 设计源码分享 java
    欢迎添加微信互相交流学习哦！项目源码：https://gitee.com/oklongmm/biye摘要本系统采用PHP语言，在Windows平台上设计实现一个网络论坛，实现了论坛的的基本功能：账户申请、登陆、帖子分类管理、查看、发帖、回帖、送花、加好友、发短信；用户界面亲切友善，便于使用；后台管理简单。本系统之所以坚持PHP与MySQL数据组合，因为在众多的数据库中，MySQL数据库有着特殊的魅
  • jQuery Mobile 事件
    jQueryMobile事件概述jQueryMobile是一个基于jQuery的开源移动设备Web框架，它通过简单的代码和丰富的API，为开发者提供了创建适应各种移动设备的响应式Web应用的解决方案。jQueryMobile事件是其核心功能之一，本文将详细介绍jQueryMobile中常见的事件及其使用方法。常见事件1.点击事件（click）点击事件是jQueryMobile中最常用的交互事件之一
  • Seaborn 教程 froginwe11 开发语言
    Seaborn教程引言Seaborn是一个强大的Python数据可视化库，它建立在Matplotlib的基础上，专门用于统计图形的绘制。Seaborn提供了一系列的绘图功能，使得统计数据的可视化变得更加简单和直观。本文将为您提供一个全面的Seaborn教程，帮助您快速掌握其基本用法和高级技巧。安装与导入在开始之前，请确保您的Python环境中已经安装了Seaborn和Matplotlib。您可以使
  • 【机器学习|学习笔记】组合特征（Feature Combinations）是提升模型性能、挖掘特征交互信息、增强非线性表达能力的有效手段。 努力毕业的小土博^_^ 机器学习学习笔记机器学习学习笔记人工智能神经网络深度学习
    【机器学习|学习笔记】组合特征（FeatureCombinations）是提升模型性能、挖掘特征交互信息、增强非线性表达能力的有效手段。【机器学习|学习笔记】组合特征（FeatureCombinations）是提升模型性能、挖掘特征交互信息、增强非线性表达能力的有效手段。文章目录【机器学习|学习笔记】组合特征（FeatureCombinations）是提升模型性能、挖掘特征交互信息、增强非线性表达
  • Xtuner：大模型微调快速上手 潘达斯奈基~ AIGCAIGC
    一、XTuner是什么？简单来说，XTuner是一个轻量级、易于使用的、为大语言模型（LLM）设计的微调工具库。它由上海人工智能实验室（OpenMMLab）开发，是其强大AI工具生态（MMCV,MMEngine等）的一部分。它的核心设计理念是“用一个配置文件搞定一切”，让开发者和研究人员可以极大地简化微调流程。二、为什么选择XTuner？（核心优势）轻量且用户友好：命令行驱动：你不需要编写复杂的训
  • 设计模式 简单汇总 花王江不语 设计模式设计模式
    设计模式是软件工程中广泛使用的一套解决方案，用于解决常见问题并提高代码的质量。它们分为创建型、结构型和行为型三类，共23种模式。以下是各类别及其常见模式的详细说明：目录创建型模式结构型模式行为型模式创建型模式这些模式关注对象的创建机制，帮助控制实例化过程。单例模式（Singleton）：确保一个类只有一个实例，并提供全局访问点。应用场景：数据库连接管理、缓存系统等，避免资源浪费和潜在冲突。工厂方法
  • Androidstudio调试时 手机自动断开 HelloMagina Android学习
    有时候使用androidstudio调试真机时，每当到了断点处，过个几秒钟，就自动失去连接了。这种情况是可能突然出现的，然后就会一直存在这个问题。原因就是sdk目录下的adb工具出现问题了，最简单的解决方案就是更新adb，直接在androidstudio里面的sdktool那里更新下platform-tools就好了。
  • Go与Python爬虫对比及模板实现
    go语言和Python语言都可选作用来爬虫项目，因为python经过十几年的累积，各种库是应有尽有，学习也相对比较简单，相比GO起步较晚还是有很大优势的，么有对比就没有伤害，所以我利用一个下午，写个Go爬虫，虽说运行起来没啥问题，但是之间出错的概率太高了，没有完备的模版套用得走很多弯路，这就是为啥go没有python受欢迎的原因。为何Go爬虫远没有Python爬虫流行？1、历史生态差距Python
  • 【花雕学编程】Arduino FOC 之动态角度输入的五连杆分析 驴友花雕 嵌入式硬件单片机c++动态角度输入的五连杆分析ArduinoFOC
    Arduino是一个开放源码的电子原型平台，它可以让你用简单的硬件和软件来创建各种互动的项目。Arduino的核心是一个微控制器板，它可以通过一系列的引脚来连接各种传感器、执行器、显示器等外部设备。Arduino的编程是基于C/C++语言的，你可以使用ArduinoIDE（集成开发环境）来编写、编译和上传代码到Arduino板上。Arduino还有一个丰富的库和社区，你可以利用它们来扩展Ardui
  • 对于规范和实现，你会混淆吗？ yangshangchuan HotSpot
    昨晚和朋友聊天，喝了点咖啡，由于我经常喝茶，很长时间没喝咖啡了，所以失眠了，于是起床读JVM规范，读完后在朋友圈发了一条信息： JVM Run-Time Data Areas：The Java Virtual Machine defines various run-time data areas that are used during execution of a program. So
  • android 网络 百合不是茶 网络
    android的网络编程和java的一样没什么好分析的都是一些死的照着写就可以了,所以记录下来  方便查找   ,  服务器使用的是TomCat   服务器代码;  servlet的使用需要在xml中注册 package servlet; import java.io.IOException; import java.util.Arr
  • [读书笔记]读法拉第传 comsci 读书笔记
          1831年的时候,一年可以赚到1000英镑的人..应该很少的...       要成为一个科学家,没有足够的资金支持,很多实验都无法完成       但是当钱赚够了以后....就不能够一直在商业和市场中徘徊......
  • 随机数的产生 沐刃青蛟 随机数
    c++中阐述随机数的方法有两种：   一是产生假随机数（不管操作多少次，所产生的数都不会改变）          这类随机数是使用了默认的种子值产生的，所以每次都是一样的。   //默认种子 for (int i = 0; i < 5; i++) { cout<<
  • PHP检测函数所在的文件名 IT独行者 PHP函数
    很简单的功能，用到PHP中的反射机制，具体使用的是ReflectionFunction类，可以获取指定函数所在PHP脚本中的具体位置。 创建引用脚本。 代码：   [php]   view plain copy // Filename: functions.php    <?php&nbs
  • 银行各系统功能简介 文强chu 金融
    银行各系统功能简介 　 业务系统 核心业务系统 业务功能包括：总账管理、卡系统管理、客户信息管理、额度控管、存款、贷款、资金业务、国际结算、支付结算、对外接口等 清分清算系统 以清算日期为准，将账务类交易、非账务类交易的手续费、代理费、网络服务费等相关费用，按费用类型计算应收、应付金额，经过清算人员确认后上送核心系统完成结算的过程 国际结算系
  • Python学习1(pip django 安装以及第一个project) 小桔子 pythondjangopip
        最近开始学习python,要安装个pip的工具。听说这个工具很强大，安装了它，在安装第三方工具的话so easy!然后也下载了，按照别人给的教程开始安装，奶奶的怎么也安装不上！ 第一步：官方下载pip-1.5.6.tar.gz, https://pypi.python.org/pypi/pip easy! 第二部：解压这个压缩文件，会看到一个setup.p
  • php 数组 aichenglong PHP排序数组循环多维数组
    1 php中的创建数组 $product = array('tires','oil','spark');//array()实际上是语言结构而不  是函数 2 如果需要创建一个升序的排列的数字保存在一个数组中，可以使用range()函数来自动创建数组 $numbers=range(1,10)//1 2 3 4 5 6 7 8 9 10 $numbers=range(1,10,
  • 安装python2.7 AILIKES python
    安装python2.7 1、下载可从 http://www.python.org/进行下载#wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz 2、复制解压 #mkdir -p /opt/usr/python #cp  /opt/soft/Python-2
  • java异常的处理探讨 百合不是茶 JAVA异常
    //java异常  /* 1，了解java 中的异常处理机制，有三种操作 a,声明异常  b,抛出异常  c,捕获异常 2，学会使用try-catch-finally来处理异常 3，学会如何声明异常和抛出异常 4，学会创建自己的异常   */   //2，学会使用try-catch-finally来处理异常  
  • getElementsByName实例 bijian1013 element
    实例1： <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/x
  • 探索JUnit4扩展：Runner bijian1013 java单元测试JUnit
            参加敏捷培训时，教练提到Junit4的Runner和Rule，于是特上网查一下，发现很多都讲的太理论，或者是举的例子实在是太牵强。多搜索了几下，搜索到两篇我觉得写的非常好的文章。         文章地址：http://www.blogjava.net/jiangshachina/archive/20
  • [MongoDB学习笔记二]MongoDB副本集 bit1129 mongodb
    1. 副本集的特性   1)一台主服务器(Primary),多台从服务器(Secondary)   2)Primary挂了之后，从服务器自动完成从它们之中选举一台服务器作为主服务器，继续工作，这就解决了单点故障，因此，在这种情况下，MongoDB集群能够继续工作   3)挂了的主服务器恢复到集群中只能以Secondary服务器的角色加入进来   2
  • 【Spark八十一】Hive in the spark assembly bit1129 assembly
    Spark SQL supports most commonly used features of HiveQL. However, different HiveQL statements are executed in different manners: 1. DDL statements (e.g. CREATE TABLE, DROP TABLE, etc.)
  • Nginx问题定位之监控进程异常退出 ronin47
    nginx在运行过程中是否稳定，是否有异常退出过？这里总结几项平时会用到的小技巧。 1. 在error.log中查看是否有signal项，如果有，看看signal是多少。 比如，这是一个异常退出的情况： $grep signal error.log 2012/12/24 16:39:56 [alert] 13661#0: worker process 13666 exited on s
  • No grammar constraints (DTD or XML schema).....两种解决方法 byalias xml
    方法一：常用方法   关闭XML验证 工具栏：windows => preferences => xml => xml files => validation => Indicate when no grammar is specified:选择Ignore即可。 方法二：（个人推荐） 添加 内容如下 <?xml version=
  • Netty源码学习-DefaultChannelPipeline bylijinnan netty
    package com.ljn.channel; /** * ChannelPipeline采用的是Intercepting Filter 模式 * 但由于用到两个双向链表和内部类，这个模式看起来不是那么明显，需要仔细查看调用过程才发现 * * 下面对ChannelPipeline作一个模拟，只模拟关键代码： */ public class Pipeline {
  • MYSQL数据库常用备份及恢复语句 chicony mysql
    备份MySQL数据库的命令，可以加选不同的参数选项来实现不同格式的要求。 mysqldump -h主机 -u用户名 -p密码 数据库名 > 文件 备份MySQL数据库为带删除表的格式，能够让该备份覆盖已有数据库而不需要手动删除原有数据库。 mysqldump -–add-drop-table -uusername -ppassword databasename > ba
  • 小白谈谈云计算--基于Google三大论文 CrazyMizzz Google云计算GFS
        之前在没有接触到云计算之前，只是对云计算有一点点模糊的概念，觉得这是一个很高大上的东西，似乎离我们大一的还很远。后来有机会上了一节云计算的普及课程吧，并且在之前的一周里拜读了谷歌三大论文。不敢说理解，至少囫囵吞枣啃下了一大堆看不明白的理论。现在就简单聊聊我对于云计算的了解。     我先说说GFS   &n
  • hadoop 平衡空间设置方法 daizj hadoopbalancer
    在hdfs-site.xml中增加设置balance的带宽，默认只有1M： <property>   <name>dfs.balance.bandwidthPerSec</name>     <value>10485760</value>     <description&g
  • Eclipse程序员要掌握的常用快捷键 dcj3sjt126com 编程
      判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。 曾有人在豆瓣评 《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个 程序员图书列表，目的也就是通过读书，让程序员变懒。  程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可以那么勤奋，每天都孜孜不倦得
  • Android学习之路 dcj3sjt126com Android学习
    转自：http://blog.csdn.net/ryantang03/article/details/6901459 以前有J2EE基础，接触JAVA也有两三年的时间了，上手Android并不困难，思维上稍微转变一下就可以很快适应。以前做的都是WEB项目，现今体验移动终端项目，让我越来越觉得移动互联网应用是未来的主宰。 下面说说我学习Android的感受，我学Android首先是看MARS的视
  • java 遍历Map的四种方法 eksliang javaHashMapjava 遍历Map的四种方法
    转载请出自出处： http://eksliang.iteye.com/blog/2059996 package com.ickes; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Map.Entry; /** * 遍历Map的四种方式
  • 【精典】数据库相关相关 gengzg 数据库
    package C3P0; import java.sql.Connection; import java.sql.SQLException; import java.beans.PropertyVetoException; import com.mchange.v2.c3p0.ComboPooledDataSource; public class DBPool{
  • 自动补全 huyana_town 自动补全
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml&quo
  • jquery在线预览PDF文件，打开PDF文件 天梯梦 jquery
    最主要的是使用到了一个jquery的插件jquery.media.js，使用这个插件就很容易实现了。   核心代码 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.
  • ViewPager刷新单个页面的方法 lovelease androidviewpagertag刷新
      使用ViewPager做滑动切换图片的效果时，如果图片是从网络下载的，那么再子线程中下载完图片时我们会使用handler通知UI线程，然后UI线程就可以调用mViewPager.getAdapter().notifyDataSetChanged()进行页面的刷新，但是viewpager不同于listview，你会发现单纯的调用notifyDataSetChanged()并不能刷新页面
  • 利用按位取反（~）从复合枚举值里清除枚举值 草料场 enum
    以 C# 中的 System.Drawing.FontStyle 为例。   如果需要同时有多种效果， 如：“粗体”和“下划线”的效果，可以用按位或（|） FontStyle style = FontStyle.Bold | FontStyle.Underline;   如果需要去除 style 里的某一种效果，
  • Linux系统新手学习的11点建议 刘星宇 编程工作linux脚本
    　　随着Linux应用的扩展许多朋友开始接触Linux，根据学习Windwos的经验往往有一些茫然的感觉：不知从何处开始学起。这里介绍学习Linux的一些建议。 　　一、从基础开始：常常有些朋友在Linux论坛问一些问题，不过，其中大多数的问题都是很基础的。例如：为什么我使用一个命令的时候，系统告诉我找不到该目录，我要如何限制使用者的权限等问题，这些问题其实都不是很难的，只要了解了 Linu
  • hibernate dao层应用之HibernateDaoSupport二次封装 wangzhezichuan DAOHibernate
    /** * <p>方法描述:sql语句查询 返回List<Class> </p> * <p>方法备注: Class 只能是自定义类 </p> * @param calzz * @param sql * @return * <p>创建人：王川</p> * <p>创建时间：Jul
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他