了解《泛化误差》必看的6篇论文【附打包下载地址】

论文推荐

“ 本期推荐的文章主要关注于基础研究泛化误差领域,你可以认真阅读讲者推荐的论文,来与讲者及同行线上交流哦。

关注文章公众号

回复"SFFAI71"获取本主题精选论文

3篇领域经典

了解《泛化误差》必看的6篇论文【附打包下载地址】_第1张图片

推荐理由:ICLR 2017的最佳会议论文。作者通过一些很有意思的实验(比如random label实验)来试图反驳之前的机器学习理论,认为之前的一些泛化上界并不能解释深度学习的成功。很有趣的一个文章,也被后来大部分做泛化的工作引用了。

—— 骆轩源

了解《泛化误差》必看的6篇论文【附打包下载地址】_第2张图片

推荐理由:比较经典的关于SGD的泛化误差的论文。使用的是一个经典理论框架叫做algorithm stability。其结论为训练越快,泛化越好。

—— 骆轩源

了解《泛化误差》必看的6篇论文【附打包下载地址】_第3张图片

推荐理由:本文提出神经正切核(NTK)。NTK算是一个比较大的理论突破,其建立了over-parameterized neural network与Kernel Method的关系。而kernel相对于神经网络的复杂函数来说,性质更清晰一些,说不定更容易分析一些。后续有很多工作基于NTK,比如可以证明梯度下降能找到深度神经网路的全局最优解等等。

—— 骆轩源

3篇领域前沿

了解《泛化误差》必看的6篇论文【附打包下载地址】_第4张图片

推荐理由:本文精细地分析了两层 (超级宽) 神经网络的优化和泛化。结论非常有意义。

—— 骆轩源

了解《泛化误差》必看的6篇论文【附打包下载地址】_第5张图片

推荐理由:本文把传统的uniform stability的high probability bound基本做到了最优。

—— 骆轩源

了解《泛化误差》必看的6篇论文【附打包下载地址】_第6张图片

推荐理由:本文的理论分析表明,离散的梯度下降和连续的梯度流在最小化齐次神经网络的逻辑损失或交叉熵损失的过程中,也会逐渐增大标准化分类间隔的一个光滑版变种。经过足够长的训练,标准化分类间隔及其光滑版变种还将收敛到同一极限,并且该极限和一个分类间隔最大化问题的KKT点处值相等。本文的结果极大地推广了前人在线性网络上得到的类似结果;相比于前人在齐次网络上的研究,也在使用的假设更弱的情况下给出了更量化的结果。

—— 骆轩源

参会须知

会议主题

泛化误差专题

会议简介

训练集往往只是数据总体的一部分,无法包含所有可能的情况,训练出的学习算法在训练集和非训练集上的表现会是不一样的,我们使用泛化误差来度量这一差距,这也是机器学习理论最重要的问题之一。本期论坛我们邀请到了来自清华大学的骆轩源同学,分享他在ICLR2020发表的一个关于泛化误差上界的工作。

会议时间

2020年7月5日(周日)

20:00 -- 21:00

报名方式

公众号二维码

请同学们扫码关注本公众号,对话框回复“SFFAI71”,获取入群二维码。

SFFAI的介绍

现代科学技术高度社会化,在科学理论与技术方法上更加趋向综合与统一,为了满足人工智能不同领域研究者相互交流、彼此启发的需求,我们发起了人工智能前沿学生论坛SFFAI,邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果,使专注于各个细分领域的研究者开拓视野、触类旁通。SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展,进行学术传播,同时为讲者塑造个人影响力。

SFFAI还在构建人工智能领域的知识森林—AI Knowledge Forest。通过汇总各位参与者贡献的领域知识,沉淀人工智能前沿精华,使AI Knowledge Tree枝繁叶茂,为人工智能社区做出贡献。SFFAI自2018年9月16日举办第一期,每周一期学术分享交流,截止目前已举办70期学术交流活动,共有100+位讲者分享了他们的真知灼见,来自100多家单位的同学参与了现场交流,通过线上推文、网络直播等形式,50000+人次参与了人工智能前沿学生论坛。SFFAI自发起以来,迅速成长壮大,已经成为人工智能学生交流的第一品牌,有志同道合的论坛核心志愿者团队、乐于学术分享的讲者伙伴,还有许多认可活动价值、多次报名参加现场交流的观众,大家通过参与人工智能前沿学生论坛,收获了宝贵的知识和友谊,SFFAI致力于帮助大家解决在学术中遇到的相关问题,拓展学术人脉,为大家营造专业、开放的学术交流环境!

历史文章推荐

  • 朱时超:图平滑样条神经网络【附PPT与视频资料】

  • 曾仙芳:通过自监督解耦身份和姿态特征实现人脸再扮演任务

  • 张杰:针对图像处理网络的模型水印

  • 牛广林:规则引导的知识图谱组合式表示学习

  • 王玫:自然环境下的多种族人脸:利用信息最大化自适应网络去减少种族偏差

  • 傅朝友:Domain-Aware Diverse Face Manipulation

  • 申磊:多轮对话中的上下文信息建模

  • 方杰民:Recent Advances and Highlights of NAS

  • 张志鹏:SiamDW Real-Time Visual Tracking

  • 周龙:同步双向文本生成

  • 王亦宁:Multilingual Neural Machine Translation

  • 呼奋宇:深度层次化图卷积神经网络

若您觉得此篇推文不错,麻烦点点在看↓↓

你可能感兴趣的:(了解《泛化误差》必看的6篇论文【附打包下载地址】)