笔者把看到的一些内容进行简单罗列，此处还想分享的是交叉验证对不平衡数据训练极为重要。

所有的线性模型都位于sklearn.linear_model下，包含线性回归、岭回归、lasso、弹性网、最小角回归，及各自的多任务版本和带交叉验证的版本，还包括一些其他的模型，如感知机(Perceptron

分别为：训练集、交叉验证集、测试集训练集：训练模型，获得参数θ交叉验证集:获取模型其他最优参数。比如

stacking技术图示：完整代码：#-*-coding:utf-8-*-fromsklearn.datasetsimportload_irisimportnumpyasnpfromsklearn.ensembleimportRandomForestClassifierfromsklearn.metricsimportaccuracy_scorefromsklearn.model_selectio

eg训练集测试集70%30%80%20%但其实数据的划分有好多中，例如西瓜书中第二章介绍的留出法，交叉验证法，自助法。sklearn数据集划分API

目录(?)[+]有监督学习机器学习分为有监督学习，无监督学习，半监督学习，强化学习。对于逻辑回归来说，就是一种典型的有监督学习。既然是有监督学习，训练集自然可以用如下方式表述：{(x1,y1),(x2,y2),⋯,(xm,ym)}对于这m个训练样本，每个样本本身有n维特征。再加上一个偏置项x0,则每个样本包含n+1维特征：x=[x0,x1,x2,⋯,xn]T其中x∈Rn+1,x0=1,y∈{0,1

Sklearn库中关于交叉验证的资料http://scikit-learn.org/stable/modules/cross_validation.html交叉验证（CrossValidation）主要是用来验证分类器性能的一种统计分析方法

目录思路推导kNN的思想手动实现kNN计算距离distant思路代码实现预测器predict思路代码评价器evaluation思路代码交叉验证validation思路代码与sklearn比较k的影响预测效果完整代码这一系列是学习公众号

逻辑回归sklearn中主要有LogisticRegression和LogisticRegressionCV：LogisticRegressionCV使用交叉验证选择正则化参数C，而LogisticRegression

使用catboost进行五折交叉验证importnumpyasnpimportpandasaspdimportcatboostascbtfromsklearn.metricimportf1_scorefromsklearn.model_selectionimporttrain_test_splitfromsklearn.model_selectionimportStratifiedKFoldtra

K倍交叉验证是对模型的性能进行评估，可以用来防止过拟合，比如对决策树节点数目的确定或是回归模型参数个数地决定等情况。

交叉验证(CrossValidation)方法思想简介以下简称交叉验证(CrossValidation)为CV.CV是用来验证分类器的性能一种统计分析方法,基本思想是把在某种意义下将原始数据(dataset

机器学习》（周志华）、过拟合欠拟合、线性回归、目标函数、牛顿法、sklearnTableofContents1.机器学习的一些概念1.1有监督学习1.2无监督学习1.3泛化能力1.4过拟合欠拟合1.5交叉验证

训练集：55000行预测集：10000行交叉验证集：5000行mni

重抽样方法第五章：重抽样方法5.1交叉验证法(cross-validation)5.1.1验证集方法(validationsetapproach)5.1.2留一交叉验证法（leave-one-outcross-validation

概述：在调整模型参数的时候，往往会进行交叉验证(Cross-Validation)。绘制交叉验证的误差图。

#p是多少个变量x，p=1；n是100,记录了n行数据set.seed(1)y=rnorm(100)x=rnorm(100)y=x-2x^2+rnorm(100)plot(x,y)##############set.seed(1)y=rnorm(100)x=rnorm(100)y=x-2x^2+rnorm(100)error=c()#因为循环里出现了error[i]d=cbind(x,y)#c是竖

from:http://www.voidcn.com/blog/Mark_LQ/article/p-5983585.htmlIntroductionInthispostyouwillgettogripswithwhatisperhapsthemostessentialconceptinmachinelearning:thebias-variancetrade-off（偏差-方差权衡）.Themai

交叉验证法（CV）和自助法（bootstrap）验证集方法：为了估计在Auto数据集上拟合多个线性模型所产生的测试错误率下面通过一个示例来学习其原理：set.seed(12)#划分观测集library(

8.2交叉验证交叉验证是将数据拆分成训练集与测试集的一系列技术的统称。这采用多次hold-outcv。8.3不同

一过拟合与欠拟合及其解决方案过拟合、欠拟合的概念权重衰减丢弃法1训练误差与泛化误差训练误差：在训练集上的数据误差；泛化误差：在其他任意数据集上的误差的期望，常用测试集误差来近似模型选择：通常用验证集来进行模型选择K折交叉验证

图片发自App当然，还要通过其他指标交叉验证，我们周一阶段小结的时候一起回顾。一、概念“获利能力”的最后一个指标，即“每股收益（EPS）”，EPS的全称是“Earningspershare”

模型评估方法分类器的评估方法（evaluationsmeasuresforclassier）TP/TN/FP/FNPrecision/Recall/F-scoreTPR/FPR/ACCROCcurves(ReceiverOperatingCharacteristic接收器操作特性曲线)回归模型的评估方法（evaluationsmeasuresforregression）RootMeanSquare

模型的验证是模型在投入使用前的关键步骤，在此收集了当下比较流行的交叉验证技术资料，整理如下，方便查阅和温习：交叉验证(CrossValidation)方法思想简介以下简称交叉验证(CrossValidation

前言此片有很多别人的东西，直接搬过来了，都有注释，里面也有一些自己的理解和需要注意的地方，以此记录一下，总结如下，思想不够成熟，以后再补充，如有错误请不吝指正犀利的开头在机器学习中，我们用训练数据集去训练(学习)一个model(模型)，通常的做法是定义一个Lossfunction（误差函数），通过将这个Loss(或者叫error)的最小化过程，来提高模型的性能(performance)。然而我们学

统计学习导论之读书笔记（四）：重抽样方法1.交叉验证法（CrossValidation,CV）1.1验证集方法（Validationsetapproach）1.2留一交叉验证法（leave-one-out-validation

ZhouY,IsabelValesM,WangA,etal.Systematicbiasofcorrelationcoefficientmayexplainnegativeaccuracyofgenomicprediction.BriefingsinBioinformatics,2016,(June):bbw064.DOI:10.1093/bib/bbw064.相关系数的系统偏差可以解释基因组预测

文章目录一、残差、方差、偏差1.1残差统计概念1.2方差、标准差1.3偏差1.4残差、方差、偏差总结1.5MSE、RMSE、MAE1.6代码实现二、Bagging和Boosting的区别2.1基本介绍2.2Bagging:2.3Boosting：2.4Bagging，Boosting二者之间的区别三、过拟合欠拟合3.1Underfit(欠拟合)highbias3.1Overfit（过拟合）high

经验误差与泛化误差、偏差与方差、欠拟合与过拟合、交叉验证主要内容经验误差与泛化误差偏差与方差欠拟合与过拟合交叉验证一、经验误差（训练误差）与泛化误差  经验误差（训练误差）：模型在训练集上的误差称为“经验误差

5.1学习目标学习集成学习方法以及交叉验证情况下的模型集成学会使用深度学习模型的集成学习5.2集成学习方法5.2.1StackingStacking先从初始数据集训练出初级学习器（个体学习器），然后“生成

由于深度学习模型一般需要较长的训练周期，如果硬件设备不允许建议选取留出法，如果需要追求精度可以使用交叉验证的方法。例如构建了

零基础入门CV赛事-Task4模型训练与验证模型训练要求验证集划分方式1.留出法（Hold-Out）2.交叉验证法（CrossValidation，CV）3.自助采样法（BootStrap）Pytorch

交叉验证是将数据

当我们需要预测某个模型的真实“预测”效果时，我们需要具体的评价模型的预测效果，即使在训练集中有比较好的预测效果，在验证集中也不见得理想，这里涉及到模型的交叉验证和变量的相对重要性分析。

用Bagging优化模型的过程：1、对于要使用的弱模型（比如线性分类器、岭回归），通过交叉验证的方式找到弱模型本身的最好超参数；2、然后用这个带着最好超参数的弱模型去构建强模型；3、对强模型也是通过交叉验证的方式找到强模型的最好超参数

我们需要区分训练误差（trainingerror）和泛化误差（generalizationerror）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。让我们以高考为例来直观地解释训练误

数据集拆分数据均值标准化后，通常在机器学习中，我们会将数据集拆分为三个集合：训练集交叉验证集测试集划分方式通常为，训练集包含60%的数据，交叉验证集包含20%的数据，测试集包含20%的数据。

学习目标学习集成学习方法以及交叉验证情况下的模型集成学会使用深度学习模型的集成学习集成学习方法在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、Bagging和Boosting

第2章：模型评估与选择2.1经验误差与过拟合2.1.1一些概念2.1.2过拟合与欠拟合2.2学习器泛化误差评估方法2.2.1留出法2.2.2交叉验证法交叉验证法的特例：留一法2.2.3自助法（适合小数据集

问题建模主要包含三个部分：评估指标、样本选择和交叉验证1.1评估指标评估指标用于反映模型效果。通常，线下使用机器学习评估指标，线上使用业务指标评估指标根据任务类型分类，可分为分类指标、

2.4.2交叉验证t检验对于两个学习器A和B，如果我们使用k折交叉验证法得到的测试

学习目标：学习目标学习集成学习方法以及交叉验证情况下的模型集成学会使用深度学习模型的集成学习集成学习方法在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、Bagging

第二章-模型评估与选择1、课程笔记1.1经验误差与过拟合1.2评估方法1.2.1留出法1.2.2交叉验证法1.2.3自助法1.2.4调参与最终模型1.3性能度量1.3.1错误率与精度1.3.2查准率、查全率与

在第一部分中，我们使用5倍交叉验证从头开始训练我们提出的网络。在每个折叠中，我们使用三个数据子集，数据增加，用于训练，一个子集用于

文章目录项目介绍预处理方法augmentation(flip,resize,crop)spacingclassweight交叉验证模型权值初始化方法Xavier正态分布kaiming正态分布方法2维的方法

代码主要核心思想来自：https://www.cnblogs.com/JadenFK3326/p/12164519.htmlK折交叉交叉验证的过程如下：以200条数据，十折交叉验证为例子，十折也就是将数据分成

一、交叉验证1.fromsklearn.model_selectionimporttrain_test_split该功能可以快速将数据随机分为训练集和测试集#官方示例，使用鸢尾花的数据集importnumpyasnpfromsklearn.datasetsimportload_irisfromsklearnimportsvm

凌云时刻·技术导读：在上一篇笔记中我们又提到了训练数据集和测试数据集，拆分样本数据的这种做法目的就是通过测试数据集判断模型的好坏，如果我们发现训练出的模型产生了过拟合的现象，既在训练数据集上预测评分很好，但是在测试数据集上预测评分不好的情况，那可能就需要重新调整超参数训练模型，以此类推，最终找到一个或一组参数使得模型在测试数据集上的预测评分也很好，也就是训练出的模型泛化能力比较好。作者|计缘来源|

模型集成这里写目录标题5.1学习目标5.2集成学习方法5.3深度学习中的集成学习5.3.1Dropout5.3.2测试集数据扩增5.4结果后处理5.1学习目标1、学习集成学习方法以及交叉验证情况下的模型集成

目录1机器学习及深度学习基础知识1.1模型分类1.2交叉验证1.3评价指标1.4正则化（Regularization）1.5特征工程1.5.1样本不平衡问题1.5.2特征选择的方法1.5.3数据预处理1.6