【讲座分享】| 复旦大学张奇教授——《自然语言发表论文如何打怪升级？NLP顶会论文发表》
文章目录
- 1 基础关
-
- 1.1 基础书籍
- 1.2 提高书籍
- 1.3 课程链接
- 1.4 编程实战
- 2 阅读关
-
- 2.1 分层过滤
- 2.2 集团作战，信息获取
- 2.3 论文如何泛读
- 3 动机 方向关
-
- 3.1 快速发论文
- 3.2 好的研究
- 4 写作关
-
- 4.1 论文写作流程
- 4.2 从读者角度出发
- 4.3 每一部分怎么写
-
- 4.3.1 Abstract摘要
- 4.3.2 Introduction 介绍
- 其他
- 4.3.3 实验设计
今天听了~复旦大学张奇教授的报告——《自然语言发表论文如何打怪升级？自然语言顶会论文发表》内容，我觉得收获很大，实际上我在听报告之前并不知道张奇教授竟然就是我前段时间阅读的一本自然语言书籍《大规模语言模型，从理论到实践》的作者，听报告的时候才发现，属实有点惊喜哈哈哈
张奇教授将论文最后的成功发表，分为了四关，一路打怪升级，最后达成目标！张奇教授讲述的时候可能是站到自然语言处理的角度，但是我觉得对计算机其他方向也都是适用的
张奇教授提到的四关分别是基础关，阅读关，动机关，写作关
1 基础关
基础需要我们阅读一些经典书籍，系统全面掌握相关知识
经典书籍推荐
1.1 基础书籍
1，2点 感觉做AI的都需要看，３的话做自然语言处理看即可
1 周志华老师的《机器学习》又叫做西瓜书
2 《神经网络与深度学习》
3 《统计自然语言处理》
1.2 提高书籍
１李航老师《统计学习方法》
２《深度学习》Ian Goodfellow、Yoshua Bengio 和Aaron Courville撰写的花书
1.3 课程链接
老师推荐了一些课程链接
1 神经网络与深度学习 邱锡鹏 https://www.bilibili.com/video/BV13b4y1177W
2 李宏毅2020机器学习深度学习(完整版)国语 https://www.bilibili.com/video/BV1JE411g7XF
3 斯坦福CS224N《深度学习自然语言处理》课程(2021) by Christopher Manning https://www.bilibili.com/video/BV1nP4y1j7rZ
4 神经网络与深度学习 邱锡鹏 https://www.bilibili.com/video/BV13b4y1177W
上面很多课程我都没看过，但我看了北京邮电大学鲁鹏老师的课程，我觉得对我帮助很大
计算机视觉与深度学习 北京邮电大学 鲁鹏 清晰版合集（完整版）_哔哩哔哩_bilibili
1.4 编程实战
我觉得李沐老师的动手深度学习非常棒，可以来提高代码实战能力
《动手学深度学习》 — 动手学深度学习 2.0.0 documentation (d2l.ai)
张奇老师提到两点
如果可以在一周之内
不看别人的代码手搓实现Transformer等基本架构，R-NET基本架构等就算基本入门了
2 阅读关
每年相关论文有上万篇，arxiv上每天也放出很多相关论文，怎么阅读？
老师给出的建议是分层过滤，集团作战，公众号热点，一些文章核心看motivation，一些文章重点看
2.1 分层过滤
从各大会议筛选出一万多篇
每个会议的Best Paper，oral（口头报告论文），Session，重点单位论文筛选出两千多篇
然后根据title，自己做的方向筛选出一千多篇
然后再阅读摘要Abstract和Introduction筛选出五百篇
2.2 集团作战，信息获取
筛选出五百篇还是很多，所以要和组内同学相互分享（集团作战）
每人精读一百多篇左右，主题分享阅读
从各大公众号上获取论文热门信息，核心要看论文的motivation是什么
在筛选过程中，如何泛读呢？
2.3 论文如何泛读
1 题目是什么
2 做的Motivation是什么，motivation可以理解为左这个研究的动机，即做这个研究的目的，出发点
3 大致用了什么方法，看重点的图
4 在什么数据集上面做了测试，结果怎么样
那么在阅读了大量论文之后，就要提出自己的研究动机和方向了
3 动机 方向关
研究方向怎么选？是否应该选择热门方向呢？还是选一些冷门方向
这得看自身情况？如果着急发论文，可以选一些热门的容易录取，但是如果打算长时间做研究，可以静下心来好好做自己真正感兴趣的
3.1 快速发论文
快速发论文可以用棋盘法
3.2 好的研究
好的研究的特点
- 做了的话，可以辅助很多的任务，有明显的益处
- 描述简单，如信息抽取，关系抽取，倾向性分析
- 研究问题尚且不具备明确的解法
- 解决方案具备可测试性，大问题可以拆解成多个子问题，能观察每个子问题的进程。怎么测试呢？
- 要确保研究中数据的可靠性以及足够数量
有一个经典的motivation 非常反面的例子——之前的方法精度低，本文提出的方法提升了精度，是不行的
精度低不是motivation，而是要讲明白为什么精度低，对于精度低，我们找到为什么会精度低，提出自己的方法，从而最后取得了哪些进步，解决的初衷才是motivation
比较好的motivation还有比如别人做的工作没注意到什么点，没有关注什么信息，我们充分利用了这些信息等等
4 写作关
4.1 论文写作流程
核心让读者读懂，降低读者的难度，尽量让读者提升他的愉悦感
这里，老师提到了清华大学刘洋老师的报告——论文发表流程
大致分为
1 确定方向
2 确定问题
3 确定思路
4 确定方法
5 实验验证
6 撰写论文
详细可看
刘洋：如何撰写高质量科技论文-清华大学智能产业研究院 (tsinghua.edu.cn)
4.2 从读者角度出发
1 信息的呈现符合读者的认知惯性，深入浅出，引人入胜，让读者快速找到想要的信息
2 尽量降低读者的理解难度 合理地综合使用信息元素：图>曲线>表>正文>公式
3 尽量提高读者阅读时的愉悦感 思想新颖、组织合理、逻辑严密 论证充分、文笔优美、排版美观
我们要核心理解审稿人的审稿一般也是赶DDL，所以我们要在五分钟之内打动审稿人
4.3 每一部分怎么写
4.3.1 Abstract摘要
两个都可以
4.3.2 Introduction 介绍
相当于是把Abstract的每一句话变成一段话详细阐述，中间加上现有的方法有哪些（最好分一下类）现有方法有什么问题
最后阐明自己的Contribution贡献，1,2,3分条列出来
一般在第一页右上部分加一个图说明自己的motivation
不要一上来就描述你的工作，可以先介绍背景知识（往往就是baseline）
• 有利于降低初学者或其他领域学者的理解难度
• 有利于对introduction中的论文做更详细的解释
• 有利于对比baseline和你的方法
其他
多用例子
4.3.3 实验设计
1 公认的标准数据和state-of-the-art系统
2 实验先主后辅
- 主实验（测试集）：证明显著超过baseline
- 辅实验：参数的影响
不辞辛劳，做到极致
最后，老师寄语
