终于搞清楚了Lasso回归和Ridge回归的区别

欢迎关注”生信修炼手册”!

回归分析是机器学习中的经典算法之一，用途广泛，在用实际数据进行分析时，可能会遇到以下两种问题

1. 过拟合, overfitting

2. 欠拟合, underfitting

在机器学习中，首先根据一批数据集来构建一个回归模型，然后在用另外一批数据来检验回归模型的效果。构建回归模型所用的数据集称之为训练数据集，而验证模型的数据集称之为测试数据集。模型来训练集上的误差称之为训练误差，或者经验误差；在测试集上的误差称之为泛化误差。

过拟合指的是模型在训练集中表现良好，而测试集中表现很差，即泛化误差大于了经验误差，说明拟合过度，模型泛化能力降低，只能够适用于训练集，通用性不强 ；欠拟合指的是模型在训练集中的表现就很差，即经验误差很大，图示如下

第一张图代表过拟合，可以看到为了完美匹配每个点，模型非常复杂，这种情况下，经验误差非常小，但是预测值的方差会很大，第二张图代表欠拟合，此时模型过于简单，在训练集上的误差就很大，第三张图则表示一个理想的拟合模型。

欠拟合出现的原因是模型复杂度太低，可能是回归模型自变量较少，模型不合适。针对欠拟合，要做的是增大模型复杂度，可以增加自变量，或者改变模型，比如将自变量由1次方改为2次方。

过拟合出现的原因则是模型复杂度太高或者训练集太少，比如自变量过多等情况。针对过拟合，除了增加训练集数据外，还有多种算法可以处理，正则化就是常用的一种处理方式。

所谓正则化`Regularization`, 指的是在回归模型代价函数后面添加一个约束项， 在线性回归模型中，有两种不同的正则化项

1. 所有参数绝对值之和，即L1范数，对应的回归方法叫做Lasso回归

2. 所有参数的平方和，即L2范数，对应的回归方法叫做Ridge回归，岭回归

岭回归对应的代价函数如下

lasso回归对应的代价函数如下

红框标记的就是正则项，需要注意的是，正则项中的回归系数为每个自变量对应的回归系数，不包含回归常数项。

L1和L2各有优劣，L1是基于特征选择的方式，有多种求解方法，更加具有鲁棒性；L2则鲁棒性稍差，只有一种求解方式，而且不是基于特征选择的方式。

在GWAS分析中，当用多个SNP位点作为自变量时，采用基于特征选择的L1范式，不仅可以解决过拟合的问题，还可以筛选重要的SNP位点，所以lasso回归在GWAS中应用的更多一点。

·end·

—如果喜欢，快分享给你的朋友们吧—

往期精彩

• 自己动手进行逻辑回归，你也可以！

• odd ratio置信区间的计算，你学会了吗？

• 多元回归分析存在多重共线性了怎么办？

• 基因型与表型的交互作用如何分析，多元回归来搞定

• 曼哈顿图就够了吗?你还需要LocusZoom

• GWAS做完了，下一步做什么？
  

• 逻辑回归or线性回归，傻傻分不清楚

• 没想到你是这个样子的置信区间

• 线性回归的这些细节，你都搞明白了吗？

• 3分钟掌握曼哈顿图的绘制

• 一文搞懂Q-Q plot图的含义

• Cochran-Mantel-Haenszel检验在关联分析中的应用

• plink中case/control关联分析细节解析

• odd ratio值在关联分析中的含义

• Cochran-Armitage趋势检验在关联分析中的应用

  基因型填充

• GWAS中的genotype imputation简介
  

• 基因型填充中的phasing究竟是什么
  

• 基因型填充前的质控条件简介
  

• 使用shapeit进行单倍型分析
  

• gtool:操作genotype data的利器
  

• 使用IMPUTE2进行基因型填充
  

• 使用Beagle进行基因型填充
  

• 使用Minimac进行基因型填充
  

• 使用Eagle2进行单倍型分析
  

• X染色体的基因型填充
  

• 文献解读|不同基因型填充软件性能的比较
  

• Haplotype Reference Consortium:最大规模的单倍型数据库
  

• Michigan Imputation Server:基因型填充的在线工具
  

  CNV分析

• aCGH芯片简介
  

• aCGH芯片分析简介

• 基于SNP芯片进行CNV分析中的基本知识点

• PennCNV:利用SNP芯片检测CNV

• DGV:人类基因组结构变异数据库

• dbvar:染色体结构变异数据库

• DGVa:染色体结构变异数据库

• CNVD:疾病相关的CNV数据库

• DECIPHER:疾病相关的CNV数据库

• 全基因组数据CNV分析简介

• 使用CNVnator进行CNV检测

• 使用lumpy进行CNV检测

• CNVnator原理简介

• WES的CNV分析简介

• XHMM分析原理简介

• 使用conifer进行WES的CNV分析

• 使用EXCAVATOR2检测WES的CNV

• 靶向测序的CNV分析简介

• 使用CNVkit进行CNV分析

• DECoN:最高分辨率的CNV检测工具

  TCGA

• TCGA数据库简介

• 使用GDC在线查看TCGA数据

• 使用gdc-client批量下载TCGA数据

• 一文搞懂TCGA中的分析结果如何来

• 通过GDC Legacy Archive下载TCGA原始数据

• 使用GDC API查看和下载TCGA的数据

• 使用GDC下载TCGA肿瘤患者的临床信息

• 使用TCGAbiolinks下载TCGA的数据

• 使用TCGAbiolinks进行生存分析

• 使用TCGAbiolinks分析TCGA中的表达谱数据

• 使用TCGAbiolinks进行甲基化和转录组数据的联合分析

• Broad GDAC:TCGA数据分析中心

• 使用cBioPortal查看TCGA肿瘤数据
  

• UCSC  Xena:癌症基因组学数据分析平台

• GEPIA:TCGA和GTEx表达谱数据分析平台

• TANRIC:肿瘤相关lncRNA数据库

• SurvNet:基于网络的肿瘤biomarker基因查找算法

• TCPA:肿瘤RPPA蛋白芯片数据中心

• TCGA Copy Number Portal:肿瘤拷贝数变异数据中心

  生存分析

• 生存分析详细解读

• 用R语言进行KM生存分析

• 使用OncoLnc进行TCGA生存分析

• 用R语言进行Cox回归生存分析

• 使用kmplot在线进行生存分析

  肿瘤数据库

• ICGC:国际肿瘤基因组协会简介

• HPA:人类蛋白图谱数据库

• Oncomine:肿瘤芯片数据库

• ONGene:基于文献检索的肿瘤基因数据库

• oncomirdb:肿瘤相关的miRNA数据库

• TSGene:肿瘤抑癌基因数据库

• NCG:肿瘤驱动基因数据库

• mutagene:肿瘤突变频谱数据库

• CCLE:肿瘤细胞系百科全书

• mSignatureDB:肿瘤突变特征数据库

• GTEx:基因型和基因表达量关联数据库

  肿瘤免疫和新抗原

• Cancer-Immunity Cycle:肿瘤免疫循环简介

• TMB:肿瘤突变负荷简介

• 肿瘤微环境:Tumor microenvironment (TME)简介

• 肿瘤浸润免疫细胞量化分析简介

• 使用EPIC预测肿瘤微环境中免疫细胞构成

• TIMER:肿瘤浸润免疫细胞分析的综合网站

• quanTIseq:肿瘤浸润免疫细胞定量分析

• The Cancer Immunome Atlas:肿瘤免疫图谱数据库

• 肿瘤新抗原简介

• TSNAdb:肿瘤新抗原数据库

• 使用NetMHCpan进行肿瘤新抗原预测分析

  Hi-C数据分析

• chromosome-territories:染色质疆域简介

• chromosome conformation capture:染色质构象捕获技术

• 3C的衍生技术简介

• 解密Hi-C数据分析中的分辨率

• A/B compartment:染色质区室简介

• TAD:拓扑关联结构域简介

• chromatin loops:染色质环简介

• Promoter Capture Hi-C:研究启动子区染色质互作的利器

• 使用HiCUP进行Hi-C数据预处理

• Juicer:Hi-C数据处理分析的利器

• Juicer软件的安装详解

• Juicebox:Hi-C数据可视化利器

• Juicer实战详解

• HiC-Pro:灵活的Hi-C数据处理软件

• HiC-Pro实战详解

• 3D Genome Browser:Hi-C数据可视化工具

• HiCPlotter:Hi-C数据可视化工具

• 3CDB:基于3C技术的染色质互作信息数据库
  

• 3DIV:染色质空间互作数据库

• 4DGenome:染色质相互作用数据库

• 4D nucleome project:染色质三维结构研究必不可少的参考项目

• 3dsnp:SNP在染色质环介导的调控网络中的分布数据库

• iRegNet3D:疾病相关SNP位点在三维调控网络中的作用

• 使用WashU Epigenome Browser可视化hi-c数据

• HiGlass:高度定制的Hi-C数据可视化应用

• Hi-C Data Browser:Hi-C数据浏览器

• 使用FitHiC评估染色质交互作用的显著性

• 使用TADbit识别拓扑关联结构域

• 使用pyGenomeTracks可视化hi-c数据

• hi-c辅助基因组组装简介

• 文献解读|使用hi-C数据辅助埃及伊蚊基因组的组装

  chip_seq数据分析

• Chip-seq简介

• chip_seq质量评估之计算样本间的相关性

• chip_seq质量评估之查看抗体富集效果

• chip_seq质量评估之PCA分析

• chip_seq质量评估之coverage分析

• chip_seq质量评估之FRiP Score

• chip_seq质量评估之cross correlation

• chip_seq质量评估之文库复杂度

• depth, bedgraph, bigwig之间的联系与区别

• bigwig归一化方式详解
  

• 使用igvtools可视化测序深度分布

• 使用UCSC基因组浏览器可视化测序深度分布数据

• 使用deeptools查看reads分布特征

• 使用phantompeakqualtools进行cross correlation分析
  

• blacklist regions:NGS测序数据中的黑名单

• MACS:使用最广泛的peak calling软件之一

• MACS2 peak calling实战

• 使用SICER进行peak calling

• 使用HOMER进行peak calling

• peak注释信息揭秘

• PAVIS:对peak区域进行基因注释的在线工具

• 使用UPORA对peak进行注释

• 使用GREAT对peak进行功能注释

• annoPeakR:一个peak注释的在线工具

• 使用ChIPpeakAnno进行peak注释

• 使用ChIPseeker进行peak注释

• 使用PeakAnalyzer进行peak注释

• 使用homer进行peak注释

• 利用bedtools预测chip_seq数据的靶基因
  

  motif

• 关于motif你需要知道的事

• 详解motif的PFM矩阵

• 详解motif的PWM矩阵

• 使用WebLogo可视化motif

• 使用seqLogo可视化motif

• 使用ggseqlogo可视化motif

• MEME:motif分析的综合性工具

• 使用MEME挖掘序列中的de novo motif

• 使用DREME挖掘序列中的de novo motif

• 使用MEME-ChIP挖掘序列中的de novo motif

  chip_seq数据库

• ENCODE project项目简介

• FactorBook:人和小鼠转录因子chip_seq数据库

• ReMap:人类Chip-seq数据大全

• IHEC:国际人类表观基因组学联盟

• Epifactors:表观因子数据库

• GTRD:最全面的人和小鼠转录因子chip_seq数据库

• ChIP-Atlas:基于公共chip_seq数据进行分析挖掘

• Cistrome DB:人和小鼠的chip_seq数据库

• chipBase:转录因子调控网络数据

• unibind:human转录因子结合位点数据库

• chip_seq在增强子研究中的应用

• DENdb:human增强子数据库

• VISTA:人和小鼠的增强子数据库

• EnhancerAtlas:人和小鼠的增强子数据库

• FANTOM5:人类增强子数据库

• TiED:人类组织特异性增强子数据库

• HEDD:增强子疾病相关数据库

• HACER:human增强子数据库

• SEdb:超级增强子数据库简介

• dbSUPER:人和小鼠中的超级增强子数据库

• dbCoRC:核心转录因子数据库

• 使用ROSE鉴定超级增强子

  18年文章目录

• 2018年推文合集

扫描下方二维码，关注我们，解锁更多精彩内容！

生物信息入门

只差这一个

公众号