qq_389825161

机器学习_线性回归模型

1.线性回归

1.1模型

1.1.1目标函数（损失函数、正则）

a.无正则：最小二乘线性回归（OLS）

b.L2正则：岭回归（Ridge Regression）

c.L1正则：Lasso

1.1.2概率解释

最小二乘线性回归等价于极大似然估计

Recall:极大似然估计

线性回归的MLE

正则回归等价于贝叶斯估计

小结：目标函数

1.2优化求解

1.2.1 OLS的优化求解（解析解）

1.2.2 OLS的优化求解（梯度下降）

梯度下降

OLS的梯度下降

1.2.3 OLS的优化求解（随机梯度下降，SGD）

1.2.4 岭回归的优化求解

1.2.5 Lasso的优化求解——坐标下降法

坐标下降法

小结：线性回归之优化求解

1.3模型评估与模型选择

1.3.1 评价准则

1.3.2 Scikit learn中回归评价指标

1.3.3 线性回归中模型选择

1.3.4 RidgeCV

1.3.5 LassoCV

小结：线性回归之模型选择

1.1模型

机器学习是根据训练数据对变量之间的关系进行建模。当输出变量（响应变量）y∈R是连续值时，我们称之为回归分析，即用函数描述一个或多个预测变量与响应变量y之间的关系，并根据该模型预测新的观测值对应的响应。

①给定训练数据 $D=\left \{ x_{i}|y_{i} \right \}_{i=1}^{N}$ ，其中y∈R是连续值，一共有N个样本，回归分析的目标是学习一个输入X到输出y的映射f

②对新的测试数据x，用学习到的映射f对其进行预测： $\hat{y} = f(x)$

③若假设映射f是一个线性函数，即 $y=f(x|w)=w^{T}x$

称之为线性回归模型

1.1.1目标函数（损失函数、正则）

机器学习模型的目标函数包含两项：损失函数L和正则项R，分别代表度量模型与训练数据

的匹配程度（损失函数越小越匹配）和对模型复杂度的“惩罚”以避免过拟合。

$J(\theta) = \sum_{i=1}^{N}L(f(x_{i};\theta ),y_{i})+R(\theta)$

因此目标函数最小要求和训练数据拟合得好，同时模型尽可能简单。体现了机器学习的基本准则：奥卡姆剃刀定律（Occam's Razor）,即简单有效原则。

对回归问题，损失函数可以采用L2损失（可以根据实际情况选择其他有意义的损失函数），得到

$L(f(x_{i};\theta ),y_{i})=(y_{i}-f(x_{i};\theta))^{2}$

即残差的平方。对线性回归，所有样本的残差平方和为残差平方和（RSS）:

$RSS(w)=\sum_{i=1}^{N}(y_{i} - w^{T}x_{i})^{2}$

a.无正则：最小二乘线性回归（OLS）

由于线性模型比较简单，实际应用中有时正则项为空，得到最小二乘线性回归（OLS）（此时目标函数中只有残差平方和，“平方”的古时候的称为“二乘”），即

$J(w)=\sum_{i=1}^{N}(y_{i} - w^{T}x_{i})^{2} = RSS(w)$

b.L2正则：岭回归（Ridge Regression）

正则项可以为L2正则，得到岭回归（Ridge Regression）模型：

$J(w)=\sum_{i=1}^{N}(y_{i} - w^{T}x_{i})^{2} = RSS(w) + \lambda \left \| w \right \|_{2}^{2}$

c.L1正则：Lasso

正则项也可以选L1正则，得到Lasso模型：

$J(w)=\sum_{i=1}^{N}(y_{i} - w^{T}x_{i})^{2} = RSS(w) + \lambda \left \| w \right \|_{1}$

①当λ取合适值，Lasso（least absolute shrinkage and selection operator）的结果是稀疏的（w的某些元素系数为0，起到特征选择作用

1.1.2概率解释

a.最小二乘线性回归等价于极大似然估计

①假设： $y=f(x)+\varepsilon = w^{T}x+\varepsilon$

②其中 $\varepsilon$ 为线性预测和真值之间的残差

③我们通常假设残差的分布为 $\varepsilon \sim N(0,\sigma ^{2})$ ，均值为0，方差为 $\sigma ^{2}$ 。对该残差分布的基础上，加上y的分布，因此线性回归可以写成：

$p(y|x,\theta ) \sim N(y|w^{T}x,\sigma ^{2})$

其中 $\theta = (w,\sigma ^{2})$ 。均值移动变化，方差没有变。

注意：由于假设残差为0均值的正态分布，最小二乘线性回归的残差

b.Recall:极大似然估计

极大似然估计（MLE）定义为（即给定参数 $\theta$ 的情况下，数据D出现的概率为p，则MLE取使得p最大的参数 $\theta$ ）

$\hat{\theta } = arg \underset{\theta}{max} log p(D|\theta )$

其中（log）似然函数为

$l(\theta ) = log p (D|\theta) = \sum_{i=1}^{N}log p(y_{i}|x_{i},\theta )$

① 表示在参数为 $\theta$ 的情况下，数据 $D = \left \{ x_{i},y_{i} \right \}_{i=1}^{N}$ 出现的概率

② 极大似然：选择数据出现概率最大的参数

c.线性回归的MLE

①OLS的似然函数为

$l(\theta ) = logp(D,\theta ) = \sum_{i=1}^{N}logp(y_{i}|x_{i,\theta })$

②极大似然可等价地写成极小负log似然损失（NLL）(在sklearn中，叫做logloss)

$NLL(\theta) = \sum _{i=1}^{N}logp(y_{i}|x_{i},\theta ) = \sum _{i=1}^{N}log[(\frac{1}{2\pi \sigma ^{2}})^\frac{1}{2})exp(-\frac{1}{2 \sigma ^{2}}(y_{i} - w^{T}x_{i})^{2})] = \frac{N}{2}log(2\pi\sigma ^{2}) + \frac{1}{2\sigma ^{2}}\sum _{i=1}^{N}(y_{i}-w^{T}x_{i})^{2}$

在上式中，观察第二项即可得知OLS的RSS项与MLE是等价的关系（相差常数倍不影响目标函数取极值的位置）

d.正则回归等价于贝叶斯估计

①假设残差的分布为 $\epsilon \sim N(0,\sigma ^2)$ ,线性回归可写成：

$p(y_i|x_i,\theta ) \sim N(y_i|w^Tx_i,\sigma ^2)$

②若假设参数w中每一维的先验分布为 $w_j \sim N(0,\tau ^2)$ ,并假设w中每一维独立，则

$p(w)= \prod _{j=1} ^{N} N(w_j|0,\tau ^2) \propto exp((-\frac{1}{2\tau ^2}\sum _{j=1}^{D}w_{j}^{2}) = exp(-\frac{1}{2\tau ^2}[w^Tw])$

分布的均值为0，即我们偏向于较小的系数值，从而得到的曲线也比较平滑；

其中， $1/\tau ^2$ 控制先验的强度

③根据贝叶斯公式，参数的最大后验估计(MAP)为

$arg\underset{w}{max}(\sum _{i=1}^{N}logN(y_i|w^Tx_i,\sigma ^2) + \sum _{i=1}^{D}logN(w_j|0, \tau ^2))$

等价于最小目标函数

$J(w) = \sum _{i=1} ^{N}(y_i - w^Tx_i)^2 + \frac{\sigma ^2}{\tau ^2} \sum _{i=1} ^{D}w_j ^2$

④对比岭回归的目标函数(L2正则)

$J(w) = \sum _{i=1} ^{N}(y_i - w^Tx_i)^2 +\lambda \left \| w \right \|^2 _2$

$\lambda = \frac{\sigma ^2}{\tau ^2}$

⑤L1正则等价于先验为Laplace分布，即

$p(w) = \prod ^2 _{j=1}Laplace(w_j|0,1/\lambda ) \propto exp(-\lambda\sum^2_{j=1} |w_j| )$

小结：目标函数

①线性回归模型也可以放到机器学习一般框架：损失函数+正则

损失函数：L2损失

正则：无正则、L2正则、L1正则、L2+L1正则

②正则回归模型可视为先验为正则、似然为高斯分布的贝叶斯估计

L2正则：先验分布为高斯分布

L1正则：先验分布为Laplace分布

1.2优化求解

线性回归的目标函数

①无正则的最小二乘线性回归（OLS）

$J(w)=\sum_{i=1}^{N}(y_{i} - w^{T}x_{i})^{2}$

② L2正则的岭回归（Rideg Regression）模型：

$J(w)=\sum_{i=1}^{N}(y_{i} - w^{T}x_{i})^{2} + \lambda \left \| w \right \|_2^2$

③L1正则的Lasso模型

$J(w)=\sum_{i=1}^{N}(y_{i} - w^{T}x_{i})^{2} + \lambda \left \| w \right \|_1^1$

模型训练

模型训练是根据训练数据求解最优模型参数，即求目标函数取极小值的参数

$\hat{w} = arg \underset{w}{min}J(w)$

根据模型的特点和问题复杂程度（数据、模型），可选择不同的优化算法

一阶的导数为0: $\frac{\partial J(w)}{\partial w} = 0$

二阶导数>0： $\frac{\partial J^2(w)}{\partial w^2} >0$

1.2.1 OLS的优化求解（解析解）

将OLS的目标函数写成矩阵形式（省略因子1/N，不影响目标函数取极小值的位置）

$J(w) = \sum _{i=1} ^N (y_i - w^Tx_i)^2 = (y - Xw)^T(y-Xw) =(y^Ty-2w^T(X^Ty)+w^T(X^TX)w)$

只取与w有关的项，得到

求导:

$\frac{\partial }{\partial w} = 2X^TXw - 2X^Ty= 2X^T(Xw - y) = 0 ->X^TXw = X^Ty$

recall：向量求导公式：(w为y,A为 $X^{T}X$ , $X^{T}X$ 为对称矩阵， $A^{T} = A$ ):

$\frac{\partial }{\partial y} (y^TAy) = (A+A^T)y$

$\frac{\partial }{\partial a} (b^Ta) = b$

所以，得到

$\hat{W}_{OLS} = (X^TX)^{-1}X^Ty$

实际应用中通常通过对输入X进行奇异值分解（SVD）,求解更有效

对X进行奇异值分解：

$X= U\Sigma V^T$

则

$X^T= V\Sigma U^T$

$X^TX= V\Sigma U^T U\Sigma V^T = \Sigma^2$

所以

$\hat{W}_{OLS} = (X^TX)^{-1}X^Ty = (\Sigma^2)^{-1} V\Sigma U^Ty = V \Sigma^{-1} U^Ty$

1.2.2 OLS的优化求解（梯度下降）

a.梯度下降

在求解机器学习算法的模型参数（无约束优化问题）时，梯度下降是最常用的方法之一。梯度下降法是一个一阶最优化算法，通常也称为最速下降法。

一元函数f(x)在x处的梯度为函数f在点x处的导数。对多元函数在点处，共有D个偏导数，分别是f在该点关于的偏导数，...，以及关于的偏导数，将这D个偏导数组合成一个D维矢量，称为函数f在x处的梯度。梯度一般记为 $\bigtriangledown$ 或grad，即 $\bigtriangledown f(x_1,x_2,...,x_D)=g(x_1,x_2,...,x_D) = [\partial f/\partial x_1,...\partial f/\partial x_D]^T$

函数f在某点梯度指向在该点函数值增长最快的方向。因此要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度的反方向（负梯度方向）进行迭代搜索。梯度下降法的每一步通常会这么写

$\theta = \theta - \eta \bigtriangledown _\theta$

其中 $\eta$ 为学习率（步长）

梯度下降的基本步骤：

1)确定学习率，并初始化参数 $\theta ^0$

2)计算目标函数 $J(\theta )$ 在当前参数值 $\theta ^t$ 的梯度： $\bigtriangledown _\theta = \frac{\partial J(\theta ^ t)}{\partial \theta }$

3)梯度下降更新参数： $\theta ^{t+1} = \theta ^t- \eta \bigtriangledown _\theta$

4)重复以上步骤，直到收敛（目标函数的下降量小于某个阈值），得到目标函数的局部极小值 $J(\theta ^{t+1})$ 以及最佳参数值 $\theta ^{t+1}$

b.OLS的梯度下降

OLS的目标函数为：

$J(w) = \sum _{i=1} ^N (y_i - w^Tx_i)^2$

梯度为：

$\bigtriangledown _w = g(w) = 2X^T(Xw - y)$

参数更新公式为：

$w^{t+1} = w^t -\eta \bigtriangledown _w = w^t -2\eta X^T(Xw-y)= w^t +2\eta\sum_{i=1}^{N} (y_i - f(x_i))x_i$

或者卸除标量形式为：

$w_j ^{t+1}= w^t_j +2\eta\sum_{i=1}^{N} (y_i - f(x_i))x_i_j$

1.2.3 OLS的优化求解（随机梯度下降，SGD）

① 在上述梯度下降算法中，梯度

$g(w) = \sum_{i=1}^N 2(f(x_i)-y_i)x_i$

利用所有的样本，因此被称为“批处理梯度下降”

② 随机梯度下降:每次只用一个样本

优点：

通常收敛会更快，且不太容易陷入局部极值

亦被称为在线学习

对大样本数据集尤其有效

③ SGD的变形

可以用于离线学习：每次看一个样本，对所有样本可重复多次循环使用（一次循环称为一个epoch）

每次可以不止看一个样本，而是看一些样本

1.2.4 岭回归的优化求解

岭回归的目标函数与OLS只相差一个正则项（w的二次函数），所以类似可得：

$J(w)=\sum_{i=1}^{N}(y_{i} - w^{T}x_{i})^{2} + \lambda \left \| w \right \|_2^2 = (y-Xw)^T(y-Xw)+\lambda w^Tw$

求导，得到

$\frac{\partial }{\partial w}J(w) = 2X^TXw - 2X^Ty+2\lambda w^T = 0$

$\hat{W}_{Ridge} = (X^TX+\lambda I_D)^{-1}X^Ty$

计算时也可以采用对X进行SVD得到：

$\hat{W}_{Ridge} = V(D^2+\lambda I)^{-1}DU^Ty$

注：岭回归的优化实现代码很容易从OLS的优化推导

1.2.5 Lasso的优化求解——坐标下降法

①坐标下降法

坐标下降法，是沿着坐标轴的方向去下降。为了找到一个函数的局部极小值，坐标轴下降法在每次迭代中可以在当前点处沿一个坐标方向进行一维搜索。在整个过程中循环使用不同的坐标方向。一个周期的一维搜索迭代过程相当于一个梯度迭代。而梯度下降是根据目标函数的导数（梯度）来确定搜索方向，沿着梯度的负方向下降。该梯度方向可能不与任何坐标轴平行。不过梯度下降和坐标轴下降的共性都是迭代法，通过启发式的方式一步步迭代求解函数的最小值，坐标下降法在稀疏矩阵上的计算速度非常快，同时也是Lasso回归最快的解法。

坐标轴下降法的数学依据主要是如下结论：一个可微的凸函数 $J(\theta )$ ,其中 $\theta$ 是D维向量，即有D个维度。如果在某一点 $\bar{\theta }$ ，使得 $J(\theta )$ 在每一个坐标轴 $\bar{\theta }_j (j=1,...,D)$ ,上都是最小值，那么 $J(\bar{\theta })$ 就是一个全局的最小值。于是我们的优化目标就是在 $\theta$ 的D个坐标轴上（或者说向量的方向上）对损失函数作迭代的下降，当所有的坐标轴上的 $\bar{\theta }_j (j=1,...,D)$ 都达到收敛时，我们的损失函数最小，此时的 $\theta$ 即为我们要求的结果

算法过程如下：

1)初始化 $\theta$ 为一随机初值。记为 $\theta ^{0}$ ,上标括号中的数字表示迭代次数；

2)对第t轮迭代，我们依次计算 $\theta _j^t(j=1,...,D)$ :

$\theta _j^t \underset{\theta _j}{\epsilon \underbrace{argmin}}(\theta_1 ^t,\theta_2 ^t,...,\theta_{i-1} ^t,\theta_i,\theta_{i+1} ^{t-1},..,\theta_{D} ^{t-1})$

也就是说 $\theta _j^t$ 是使 $J(\theta_1 ^t,\theta_2 ^t,...,\theta_{i-1} ^t,\theta_i,\theta_{i+1} ^{t-1},..,\theta_{D} ^{t-1})$ 最小化的 $\theta _j$ 的值。此时 $J(\theta )$ 中只有 $\theta _j^t$ 是变量，其余均为常量，因此最小值容易通过求导求得。

3)检查向量 $\theta^t$ 和 $\theta^{t-1}$ 向量在各个维度上的变化情况，如果在所有维度上变化都足够小，那么 $\theta^t$ 即为最终结果，否则转入第2步，继续第t+1轮的迭代。

② Lasso的优化求解推荐采用坐标下降法

$J(w,\lambda )=RSS(w) + \lambda \left \| w \right \|_1^1$

但项 $\left \| w \right \|_1^1$ 在处不可微（不平滑优化问题）

为了处理不平滑函数，扩展导数的表示，定义一个（凸）函数f在点的次梯度或者次导数为一个标量g，使得

$f(x)-f(x_0)\geq g(x-x_0),\forall x\epsilon I$

其中I为包含的某个区间

定义区间[a,b]的子梯度集合为

$a = \lim_{x->x^-_0}\frac{f(x)-f(x_0)}{x-x_0},b =\lim_{x->x^+_0}\frac{f(x)-f(x_0)}{x-x_0}$

所有次梯度的区间被称为函数f在的次微分，用 $\partial f(x)|_{x^0}$ 表示

Lasso问题

目标函数为：

$J(w)=RSS(w)+\lambda \left \| w \right \| _1=\sum_{i=1}^{N}(y_{i} - w^{T}x_{i})^{2} + \lambda \left \| w \right \|_1^1$

可微项RSS(w)的梯度：

$\frac{\partial}{ \partial w_j}RSS(w) = \frac{\partial}{ \partial w_j}\sum_{i=1}^{N}(y_i- w^Tx_i)^2$

$= \frac{\partial}{ \partial w_j}\sum_{i=1}^{N}(y_i- (w^T_{-j}x_i_{,-j}+w_{j}x_i_{,j}))^2$

$=-2\sum_{i=1}^{N}(y_i- w^T_{-j}x_i_{,-j}-w_{j}x_i_{,j})x_i_{,j}$

$=2\sum_{i=1}^{N}x^2_{i,j}w_j - 2\sum_{i=1}^{N}(y_i -w^T_{-j}x_{i,-j})x_{i,j}$

其中 $w_{-j}$ 表示向量w中除了第j维的其他D-1个元素， $x_{i,-j}$ 表示向量中除了第j维的其他D-1个元素， $x_{i,j}$ 表示向量中第j维元素，

$a_j =2\sum_{i=1}^{N}x^2_{i,j}w_j$

$c_j = 2\sum_{i=1}^{N}(y_i -w^T_{-j}x_{i,-j})x_{i,j}$

公式中 $w^T_{-j}x_{i,-j}$ 为D维特征中去掉第j维特征的其余D-1未特征对应的预测，则 $(y_i -w^T_{-j}x_{i,-j})$ 对应的预测残差，为第j维特征与该预测残差的相关性

上面是坐标轴下降算法中对第j维坐标参数进行分析

将上述结论代入，得到目标函数的子梯度

$\partial _{w_j}J(w,\lambda ) = (a_j,w_j-c_j)+\lambda \partial _{w_j}\left \| w\right \|_1 =\left\{\begin{matrix} {a_jw_j-c_j-\lambda } & & if w_j < 0 & & \\ [c_j - \lambda ,c_j+\lambda ] & & if w_j = 0 & & \\ {({a_jw_j-c_j} +\lambda)} & & if w_j >0 \end{matrix}\right.$

当0属于目标函数的子梯度时，目标函数取极小值，即

$\hat{w}_j (c_j)=\left\{\begin{matrix} {(c_j+\lambda )/a_j} & if c_j<-\lambda & \\ 0 &if c_j\epsilon [-\lambda,\lambda] & \\ {(c_j-\lambda )/a_j} & if c_j>\lambda \end{matrix}\right.$

上式可简写为：

$\hat{w}_j=soft(\frac{c_j}{a_j};\frac{\lambda }{a_j})$

其中

$soft(a;\delta )\overset{\bigtriangleup}{=}sgn(a)(|a|-\delta)$

称为软阈值。其中 $x_{+}=max(x,0)$ 为x的正的部分，sgn为符号函数。软阈值如下图所示，图中黑色虚线为最小二乘结果 $\hat{w}_j(c_j)$ ,根据情况将最下二乘结果往下平移 $\lambda(c_j>\lambda )$ 、将最小二乘结果往上平移 $\lambda(c_j<-\lambda )$ 、或者置为 $0(-\lambda<c_j<\lambda )$

因此w的坐标下降优化过程为：

1)预计算

$a_j=2\sum_{i=1}^{N}x_j^2$

2)初始化参数w（全0或随机）

3)循环直到收敛：

for j=1,...,D

计算

$c_j = 2x_j\sum_{i=1}^{N}(y_i-w_{-j}^Tx_{i,-j})$

选择变化幅度最大的维度或者轮流更新:

$\hat{w}_j (c_j)=\left\{\begin{matrix} {(c_j+\lambda )/a_j} & if c_j<-\lambda & \\ 0 &if c_j\epsilon [-\lambda,\lambda] & \\ {(c_j-\lambda )/a_j} & if c_j>\lambda \end{matrix}\right.$

小结：线性回归之优化求解

①线性回归模型比较简单

②当数据规模较小时，可采用随机梯度下降

scikit learn 中实现采用SVD分解实现

③当数据规模较大时，可采用随机梯度下降

scikit learn 提供一个SGDRegression类

④岭回归求解类似OLS，采用SVD分解实现

⑤Lasso优化求解采用坐标轴下降法

1.3模型评估与模型选择

模型训练好，需要在校验集上采用一些度量准则检查模型预测的效果，并根据模型评估结果进行模型选择（选择最佳模型超参数）

①线性回归的目标函数

无正则的最小二乘线性回归（OLS）

$J(w) = \sum _{i=1} ^N (y_i - w^Tx_i)^2$

L2正则的岭回归（Ridge Regression）模型：

$J(w)=\sum_{i=1}^{N}(y_{i} - w^{T}x_{i})^{2} + \lambda \left \| w \right \|_2^2$

L1正则的Lasso模型

$J(w)=\sum_{i=1}^{N}(y_{i} - w^{T}x_{i})^{2} + \lambda \left \| w \right \|_1^1$

对于最小二乘线性回归，模型没有需要调整的超参数。岭回归模型和Lasso模型的超参数为正则系数 $\lambda$

②校验集

通常给定一个任务只给了训练集，没哟专门的校验集。因此我们需要从训练集中分离一部分样本作为校验。

当训练样本较多时，可以直接从训练集中分离一部分样本作为校验。在scikit-learn中，调用train_test_split得到新的训练集和校验集。

当训练样本没那么多时，可以采用交叉验证方式，每个样本轮流作为训练样本和校验样本。

对岭回归和Lasso，scikit-learn提供了高效的广义留一交叉验证（LOOCV），即每次留出一个样本做校验，相当于N折交叉验证，类名称分别为RidgeCV和LassoCV，对于一般模型，Scikit learn将交叉验证与网络搜索合并为一个函数：

sklearn.model_selection.GridSearchCV

1.3.1 评价准则

对于回归模型，模型训练好，可用一些度量准则检查模型拟合的效果：

①平方均方误差（RMSE）:

$RMSE=\sqrt{\frac{1}{N}\sum_{i=1}^{N}(\hat{y}_i-y_i)^2}$

②平均绝对误差（MAE）:

$MAE={\frac{1}{N}\sum_{i=1}^{N}|(\hat{y}_i-y_i)|}$

③ R2 score：即考虑了预测值与真值之间的差异，也考虑了问题本身真值之间的差异（scikit learn 线性回归模型的缺省评价准则）

$SS_{res}=\sum_{i=1}^{N}(\hat{y}_i-y_i)^2,SS_{tot}=\sum_{i=1}^{N}({y}_i-\bar{y})^2,R^2 = 1-\frac{SS_{res}}{SS_{tot}}$

④也可以检查残差的分布：回归建模时我们假设残差的分布为0均值的正态分布 $N(0,\sigma ^2)$

1.3.2 Scikit learn中回归评价指标

1.3.3 线性回归中模型选择

sklearn.model_selection

Scikit learn中model selection 模块提供模型选择功能

对于线性模型，留一交叉验证（N折交叉验证（LOOCV））有着更简便的计算方式，因此Scikit learn提供了RidgeCV类和LassoCV类

1.3.4 RidgeCV

RidgeCV中超参数 $\lambda$ 用alpha表示

1.3.5 LassoCV

LassoCV的使用与RidgeCV类似

Scikit learn还提供一个与Lasso类似的LARS（最小角回归），两者仅仅是优化方法不通过，目标函数相同

当数据集中特征维数很多且存在共线性时，LassoCV更适合

小结：线性回归之模型选择

采用交叉验证评估模型预测性能，从而选择最佳模型

回归性能的评价指标

线性模型的交叉验证通常直接采用广义线性模型的留一交叉验证进行快速模型评估

Scikit learn中对RidgeCV和LassoCV实现该功能

你可能感兴趣的:(机器学习_线性回归模型)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
消息中间件有哪些常见类型 xmh-sxh-1314 java
消息中间件根据其设计理念和用途，可以大致分为以下几种常见类型：点对点消息队列（Point-to-PointMessagingQueues）：在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。队列中的消息只能被一个消费者消费，消费后即被删除。常见的实现包括IBM的MQSeries、RabbitMQ的部分使用场景等。适用于任务分发、负载均衡等场景。发布/订阅消息模型（Pub/Sub
LLM 词汇表落难Coder LLMs NLP 大语言模型大模型 llama 人工智能
Contextwindow“上下文窗口”是指语言模型在生成新文本时能够回溯和参考的文本量。这不同于语言模型训练时所使用的大量数据集，而是代表了模型的“工作记忆”。较大的上下文窗口可以让模型理解和响应更复杂和更长的提示，而较小的上下文窗口可能会限制模型处理较长提示或在长时间对话中保持连贯性的能力。Fine-tuning微调是使用额外的数据进一步训练预训练语言模型的过程。这使得模型开始表示和模仿微调数
探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchain easyui 前端 python
#探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
使用Apify加载Twitter消息以进行微调的完整指南 nseejrukjhad twitter easyui 前端 python
#使用Apify加载Twitter消息以进行微调的完整指南##引言在自然语言处理领域，微调模型以适应特定任务是提升模型性能的常见方法。本文将介绍如何使用Apify从Twitter导出聊天信息，以便进一步进行微调。##主要内容###使用Apify导出推文首先，我们需要从Twitter导出推文。Apify可以帮助我们做到这一点。通过Apify的强大功能，我们可以批量抓取和导出数据，适用于各类应用场景。
如何部分格式化提示模板:LangChain中的高级技巧 nseejrukjhad langchain java 服务器 python
标题:如何部分格式化提示模板:LangChain中的高级技巧内容:如何部分格式化提示模板:LangChain中的高级技巧引言在使用大型语言模型(LLM)时,提示工程是一个关键环节。LangChain提供了强大的提示模板功能,让我们能更灵活地构建和管理提示。本文将介绍LangChain中一个高级特性-部分格式化提示模板,这个技巧可以让你的提示管理更加高效和灵活。什么是部分格式化提示模板?部分格式化提
人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
数据仓库——维度表一致性墨染丶eye 背诵数据仓库
数据仓库基础笔记思维导图已经整理完毕，完整连接为：数据仓库基础知识笔记思维导图维度一致性问题从逻辑层面来看，当一系列星型模型共享一组公共维度时，所涉及的维度称为一致性维度。当维度表存在不一致时，短期的成功难以弥补长期的错误。维度时确保不同过程中信息集成起来实现横向钻取货活动的关键。造成横向钻取失败的原因维度结构的差别，因为维度的差别，分析工作涉及的领域从简单到复杂，但是都是通过复杂的报表来弥补设计
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
Xinference如何注册自定义模型玩人工智能的辣条哥人工智能 AI 大模型 Xinference
环境：Xinference问题描述：Xinference如何注册自定义模型解决方案：1.写个model_config.json，内容如下{"version":1,"context_length":2048,"model_name":"custom-llama-3","model_lang":["en","ch"],"model_ability":["generate","chat"],"model
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
网络编程基础记得开心一点啊网络
目录♫什么是网络编程♫Socket套接字♪什么是Socket套接字♪数据报套接字♪流套接字♫数据报套接字通信模型♪数据报套接字通讯模型♪DatagramSocket♪DatagramPacket♪实现UDP的服务端代码♪实现UDP的客户端代码♫流套接字通信模型♪流套接字通讯模型♪ServerSocket♪Socket♪实现TCP的服务端代码♪实现TCP的客户端代码♫什么是网络编程网络编程，指网络上
简单了解 JVM 记得开心一点啊 jvm
目录♫什么是JVM♫JVM的运行流程♫JVM运行时数据区♪虚拟机栈♪本地方法栈♪堆♪程序计数器♪方法区/元数据区♫类加载的过程♫双亲委派模型♫垃圾回收机制♫什么是JVMJVM是JavaVirtualMachine的简称，意为Java虚拟机。虚拟机是指通过软件模拟的具有完整硬件功能的、运行在一个完全隔离的环境中的完整计算机系统（如：JVM、VMwave、VirtualBox）。JVM和其他两个虚拟机
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
推荐算法_隐语义-梯度下降 _feivirus_ 算法机器学习和数学推荐算法机器学习隐语义
importnumpyasnp1.模型实现"""inputrate_matrix:M行N列的评分矩阵，值为P*Q.P:初始化用户特征矩阵M*K.Q:初始化物品特征矩阵K*N.latent_feature_cnt:隐特征的向量个数max_iteration:最大迭代次数alpha:步长lamda:正则化系数output分解之后的P和Q"""defLFM_grad_desc(rate_matrix,l
BART&BERT Ambition_LAO 深度学习
BART和BERT都是基于Transformer架构的预训练语言模型。模型架构：BERT(BidirectionalEncoderRepresentationsfromTransformers)主要是一个编码器（Encoder）模型，它使用了Transformer的编码器部分来处理输入的文本，并生成文本的表示。BERT特别擅长理解语言的上下文，因为它在预训练阶段使用了掩码语言模型（MLM）任务，即
系统架构设计师需求分析篇二 AmHardy 软件架构设计师系统架构需求分析面向对象分析分析模型 UML和SysML
面向对象分析方法1.用例模型构建用例模型一般需要经历4个阶段：识别参与者：识别与系统交互的所有事物。合并需求获得用例：将需求分配给予其相关的参与者。细化用例描述：详细描述每个用例的功能。调整用例模型：优化用例之间的关系和结构，前三个阶段是必需的。2.用例图的三元素参与者：使用系统的用户或其他外部系统和设备。用例：系统所提供的服务。通信关联：参与者和用例之间的关系，或用例与用例之间的关系。3.识别参
如何用matlab灵活控制feko的求解 NingrLi matlab 开发语言
https://bbs.rfeda.cn/read.php?tid=3778Feko中的模型和求解设置等都可以通过editfeko进行设置，其文件存储为.pre文件，该文件可以用文本打开，因此，我们可以通过VB、VC、matlab等工具对.pre文件进行读写操作，以达到更灵活的使用feko。同样，对于.out文件，我们也可以进行读操作。熟练使用对.pre文件和.out文件的操作后，我们可以方便的计
遥感影像的切片处理 sand&wich 计算机视觉 python 图像处理
在遥感影像分析中，经常需要将大尺寸的影像切分成小片段，以便于进行详细的分析和处理。这种方法特别适用于机器学习和图像处理任务，如对象检测、图像分类等。以下是如何使用Python和OpenCV库来实现这一过程，同时确保每个影像片段保留正确的地理信息。准备环境首先，确保安装了必要的Python库，包括numpy、opencv-python和xml.etree.ElementTree。这些库将用于图像处理
计算机网络八股总结 Petrichorzncu 八股总结计算机网络笔记
这里写目录标题网络模型划分（五层和七层）及每一层的功能五层网络模型七层网络模型（OSI模型）==三次握手和四次挥手具体过程及原因==三次握手四次挥手TCP/IP协议组成==UDP协议与TCP/IP协议的区别==Http协议相关知识网络地址，子网掩码等相关计算网络模型划分（五层和七层）及每一层的功能五层网络模型应用层：负责处理网络应用程序，如电子邮件、文件传输和网页浏览。主要协议包括HTTP、FTP
yolov5＞onnx＞ncnn＞apk 图像处理大大大大大牛啊 opencv实战代码讲解 yolo onnx ncnn 安卓
一.yolov5pt模型转onnx条件：colabnotebookyolov51.安装环境!pipinstallonnx>=1.7.0#forONNXexport!pipinstallcoremltools==4.0#forCoreMLexport!pipinstallonnx-simplifier2.修改common.py在classFocus下面
免费的GPT可在线直接使用（一键收藏） kkai人工智能 gpt
1、LuminAI（https://kk.zlrxjh.top）LuminAI标志着一款融合了星辰大数据模型与文脉深度模型的先进知识增强型语言处理系统，旨在自然语言处理（NLP）的技术开发领域发光发热。此系统展现了卓越的语义把握与内容生成能力，轻松驾驭多样化的自然语言处理任务。VisionAI在NLP界的应用领域广泛，能够胜任从机器翻译、文本概要撰写、情绪分析到问答等众多任务。通过对大量文本数据的
AI大模型的架构演进与最新发展季风泯灭的季节 AI大模型应用技术二人工智能架构
随着深度学习的发展，AI大模型（LargeLanguageModels,LLMs）在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进，包括从Transformer的提出到GPT、BERT、T5等模型的历史演变，并探讨这些模型的技术细节及其在现代人工智能中的核心作用。一、基础模型介绍：Transformer的核心原理Transformer架构的背景在Transfo
ai绘画工具midjourney怎么下载？附作品管理教程设计师早上好
Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
[实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估 pytorch python 机器学习
文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
[实践应用] 深度学习之优化器 YuanDaima2048 深度学习工具使用 pytorch 深度学习人工智能机器学习 python 优化器
文章总览：YuanDaiMa2048博客文章总览深度学习之优化器1.随机梯度下降（SGD）2.动量优化（Momentum）3.自适应梯度（Adagrad）4.自适应矩估计（Adam）5.RMSprop总结其他介绍在深度学习中，优化器用于更新模型的参数，以最小化损失函数。常见的优化函数有很多种，下面是几种主流的优化器及其特点、原理和PyTorch实现：1.随机梯度下降（SGD）原理:随机梯度下降通过
机器学习-聚类算法不良人龍木木机器学习机器学习算法聚类
机器学习-聚类算法1.AHC2.K-means3.SC4.MCL仅个人笔记，感谢点赞关注！1.AHC2.K-means3.SC传统谱聚类：个人对谱聚类算法的理解以及改进4.MCL目前仅专注于NLP的技术学习和分享感谢大家的关注与支持！
程序员如何在AI时代保持核心竞争力 nfgo chatgpt 人工智能
程序员如何在AI时代保持核心竞争力随着AIGC（如ChatGPT、MidJourney、Claude等）大语言模型的相继涌现，AI辅助编程工具逐渐普及，程序员的工作方式正在发生深刻的变革。AI不仅能够自动生成代码，还能优化、调试、甚至提出解决方案。这一趋势让许多人担心：AI会不会最终取代部分编程工作？然而，也有人认为AI是提升效率的得力助手。那么，程序员在这个AI崛起的时代该如何应对？是专注某个领
xml解析小猪猪08 xml
1、DOM解析的步奏准备工作： 1.创建DocumentBuilderFactory的对象 2.创建DocumentBuilder对象 3.通过DocumentBuilder对象的parse(String fileName)方法解析xml文件 4.通过Document的getElem
每个开发人员都需要了解的一个SQL技巧 brotherlamp linux linux视频 linux教程 linux自学 linux资料
对于数据过滤而言CHECK约束已经算是相当不错了。然而它仍存在一些缺陷，比如说它们是应用到表上面的，但有的时候你可能希望指定一条约束，而它只在特定条件下才生效。使用SQL标准的WITH CHECK OPTION子句就能完成这点，至少Oracle和SQL Server都实现了这个功能。下面是实现方式： CREATE TABLE books ( id &
Quartz——CronTrigger触发器 eksliang quartz CronTrigger
转载请出自出处：http://eksliang.iteye.com/blog/2208295 一.概述 CronTrigger 能够提供比 SimpleTrigger 更有具体实际意义的调度方案，调度规则基于 Cron 表达式，CronTrigger 支持日历相关的重复时间间隔（比如每月第一个周一执行），而不是简单的周期时间间隔。二.Cron表达式介绍 1）Cron表达式规则表 Quartz
Informatica基础 18289753290 Informatica Monitor manager workflow Designer
1. 1）PowerCenter Designer：设计开发环境，定义源及目标数据结构；设计转换规则，生成ETL映射。 2）Workflow Manager：合理地实现复杂的ETL工作流，基于时间，事件的作业调度 3）Workflow Monitor：监控Workflow和Session运行情况，生成日志和报告 4）Repository Manager：
linux下为程序创建启动和关闭的的sh文件，scrapyd为例酷的飞上天空 scrapy
对于一些未提供service管理的程序每次启动和关闭都要加上全部路径，想到可以做一个简单的启动和关闭控制的文件下面以scrapy启动server为例，文件名为run.sh： #端口号，根据此端口号确定PID PORT=6800 #启动命令所在目录 HOME='/home/jmscra/scrapy/' #查询出监听了PORT端口
人--自私与无私永夜-极光
今天上毛概课,老师提出一个问题--人是自私的还是无私的,根源是什么? 从客观的角度来看,人有自私的行为,也有无私的
Ubuntu安装NS-3 环境脚本随便小屋 ubuntu
将附件下载下来之后解压，将解压后的文件ns3environment.sh复制到下载目录下（其实放在哪里都可以，就是为了和我下面的命令相统一）。输入命令： sudo ./ns3environment.sh >>result 这样系统就自动安装ns3的环境，运行的结果在result文件中，如果提示 com
创业的简单感受 aijuans 创业的简单感受
2009年11月9日我进入a公司实习，2012年4月26日，我离开a公司，开始自己的创业之旅。今天是2012年5月30日，我忽然很想谈谈自己创业一个月的感受。当初离开边锋时，我就对自己说：“自己选择的路，就是跪着也要把他走完”，我也做好了心理准备，准备迎接一次次的困难。我这次走出来，不管成败
如何经营自己的独立人脉 aoyouzi 如何经营自己的独立人脉
独立人脉不是父母、亲戚的人脉，而是自己主动投入构造的人脉圈。“放长线，钓大鱼”，先行投入才能产生后续产出。现在几乎做所有的事情都需要人脉。以银行柜员为例，需要拉储户，而其本质就是社会人脉，就是社交！很多人都说，人脉我不行，因为我爸不行、我妈不行、我姨不行、我舅不行……我谁谁谁都不行，怎么能建立人脉？我这里说的人脉，是你的独立人脉。以一个普通的银行柜员
JSP基础百合不是茶 jsp 注释隐式对象
1,JSP语句的声明 <%! 声明 %> 　　声明：这个就是提供java代码声明变量、方法等的场所。表达式 <%= 表达式 %> 　　这个相当于赋值，可以在页面上显示表达式的结果，程序代码段/小型指令　<% 程序代码片段 %> 2,JSP的注释
web.xml之session-config、mime-mapping bijian1013 java web.xml servlet session-config mime-mapping
session-config 1.定义： <session-config> <session-timeout>20</session-timeout> </session-config> 2.作用：用于定义整个WEB站点session的有效期限，单位是分钟。 mime-mapping 1.定义： <mime-m
互联网开放平台（1） Bill_chen 互联网 qq 新浪微博百度腾讯
现在各互联网公司都推出了自己的开放平台供用户创造自己的应用，互联网的开放技术欣欣向荣，自己总结如下： 1.淘宝开放平台(TOP) 网址：http://open.taobao.com/ 依赖淘宝强大的电子商务数据，将淘宝内部业务数据作为API开放出去，同时将外部ISV的应用引入进来。目前TOP的三条主线： TOP访问网站：open.taobao.com ISV后台：my.open.ta
【MongoDB学习笔记九】MongoDB索引 bit1129 mongodb
索引可以在任意列上建立索引索引的构造和使用与传统关系型数据库几乎一样,适用于Oracle的索引优化技巧也适用于Mongodb 使用索引可以加快查询,但同时会降低修改,插入等的性能内嵌文档照样可以建立使用索引测试数据 var p1 = { "name":"Jack", "age&q
JDBC常用API之外的总结白糖_ jdbc
做JAVA的人玩JDBC肯定已经很熟练了，像DriverManager、Connection、ResultSet、Statement这些基本类大家肯定很常用啦，我不赘述那些诸如注册JDBC驱动、创建连接、获取数据集的API了，在这我介绍一些写框架时常用的API，大家共同学习吧。 ResultSetMetaData获取ResultSet对象的元数据信息
apache VelocityEngine使用记录 bozch VelocityEngine
VelocityEngine是一个模板引擎，能够基于模板生成指定的文件代码。使用方法如下： VelocityEngine engine = new VelocityEngine();// 定义模板引擎 Properties properties = new Properties();// 模板引擎属
编程之美-快速找出故障机器 bylijinnan 编程之美
package beautyOfCoding; import java.util.Arrays; public class TheLostID { /*编程之美假设一个机器仅存储一个标号为ID的记录，假设机器总量在10亿以下且ID是小于10亿的整数，假设每份数据保存两个备份，这样就有两个机器存储了同样的数据。 1.假设在某个时间得到一个数据文件ID的列表，是
关于Java中redirect与forward的区别 chenbowen00 java servlet
在Servlet中两种实现： forward方式：request.getRequestDispatcher(“/somePage.jsp”).forward(request, response); redirect方式：response.sendRedirect(“/somePage.jsp”); forward是服务器内部重定向，程序收到请求后重新定向到另一个程序，客户机并不知
[信号与系统]人体最关键的两个信号节点 comsci 系统
如果把人体看做是一个带生物磁场的导体,那么这个导体有两个很重要的节点,第一个在头部,中医的名称叫做百汇穴, 另外一个节点在腰部,中医的名称叫做命门如果要保护自己的脑部磁场不受到外界有害信号的攻击,最简单的
oracle 存储过程执行权限 daizj oracle 存储过程权限执行者调用者
在数据库系统中存储过程是必不可少的利器，存储过程是预先编译好的为实现一个复杂功能的一段Sql语句集合。它的优点我就不多说了，说一下我碰到的问题吧。我在项目开发的过程中需要用存储过程来实现一个功能，其中涉及到判断一张表是否已经建立，没有建立就由存储过程来建立这张表。 CREATE OR REPLACE PROCEDURE TestProc IS fla
为mysql数据库建立索引 dengkane mysql 性能索引
前些时候，一位颇高级的程序员居然问我什么叫做索引，令我感到十分的惊奇，我想这绝不会是沧海一粟，因为有成千上万的开发者（可能大部分是使用MySQL的）都没有受过有关数据库的正规培训，尽管他们都为客户做过一些开发，但却对如何为数据库建立适当的索引所知较少，因此我起了写一篇相关文章的念头。最普通的情况，是为出现在where子句的字段建一个索引。为方便讲述，我们先建立一个如下的表。
学习C语言常见误区如何看懂一个程序如何掌握一个程序以及几个小题目示例 dcj3sjt126com c 算法
如果看懂一个程序，分三步 1、流程 2、每个语句的功能 3、试数如何学习一些小算法的程序尝试自己去编程解决它，大部分人都自己无法解决如果解决不了就看答案关键是把答案看懂，这个是要花很大的精力，也是我们学习的重点看懂之后尝试自己去修改程序，并且知道修改之后程序的不同输出结果的含义照着答案去敲调试错误
centos6.3安装php5.4报错 dcj3sjt126com centos6
报错内容如下: Resolving Dependencies --> Running transaction check ---> Package php54w.x86_64 0:5.4.38-1.w6 will be installed --> Processing Dependency: php54w-common(x86-64) = 5.4.38-1.w6 for
JSONP请求 flyer0126 jsonp
使用jsonp不能发起POST请求。 It is not possible to make a JSONP POST request. JSONP works by creating a <script> tag that executes Javascript from a different domain; it is not pos
Spring Security（03）——核心类简介 234390216 Authentication
核心类简介目录 1.1 Authentication 1.2 SecurityContextHolder 1.3 AuthenticationManager和AuthenticationProvider 1.3.1 &nb
在CentOS上部署JAVA服务 java--hhf java jdk centos Java服务
本文将介绍如何在CentOS上运行Java Web服务，其中将包括如何搭建JAVA运行环境、如何开启端口号、如何使得服务在命令执行窗口关闭后依旧运行第一步：卸载旧Linux自带的JDK ①查看本机JDK版本 java -version 结果如下 java version "1.6.0"
oracle、sqlserver、mysql常用函数对比[to_char、to_number、to_date] ldzyz007 oracle mysql SQL Server
oracle &n
记Protocol Oriented Programming in Swift of WWDC 2015 ningandjin protocol WWDC 2015 Swift2.0
其实最先朋友让我就这个题目写篇文章的时候，我是拒绝的，因为觉得苹果就是在炒冷饭，把已经流行了数十年的OOP中的“面向接口编程”还拿来讲，看完整个Session之后呢，虽然还是觉得在炒冷饭，但是毕竟还是加了蛋的，有些东西还是值得说说的。通常谈到面向接口编程，其主要作用是把系统设计和具体实现分离开，让系统的每个部分都可以在不影响别的部分的情况下，改变自身的具体实现。接口的设计就反映了系统
搭建 CentOS 6 服务器(15) - Keepalived、HAProxy、LVS rensanning keepalived
（一）Keepalived （1）安装 # cd /usr/local/src # wget http://www.keepalived.org/software/keepalived-1.2.15.tar.gz # tar zxvf keepalived-1.2.15.tar.gz # cd keepalived-1.2.15 # ./configure # make &a
ORACLE数据库SCN和时间的互相转换 tomcat_oracle oracle sql
SCN（System Change Number 简称 SCN）是当Oracle数据库更新后，由DBMS自动维护去累积递增的一个数字，可以理解成ORACLE数据库的时间戳，从ORACLE 10G开始，提供了函数可以实现SCN和时间进行相互转换；　　用途：在进行数据库的还原和利用数据库的闪回功能时，进行SCN和时间的转换就变的非常必要了；　　操作方法：　　1、通过dbms_f
Spring MVC 方法注解拦截器 xp9802 spring mvc
应用场景，在方法级别对本次调用进行鉴权，如api接口中有个用户唯一标示accessToken,对于有accessToken的每次请求可以在方法加一个拦截器，获得本次请求的用户，存放到request或者session域。 python中，之前在python flask中可以使用装饰器来对方法进行预处理，进行权限处理先看一个实例,使用@access_required拦截： ?