研0_NLPer启程
前言
网易云保研互勉歌单
2021，自己通过努力，从边缘er，到综测上游，最后圆梦985，这里放一些自己心情浮躁时听过的一些歌曲。
上岸后希望自己早睡早起 坚持锻炼 坚持看论文 每天吃水果 多喝水。大家互勉!
要好好努力，培养学术能力了!
先画个大饼 研究生期间如何成为科研大佬？,
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？(知乎)
以及了解NLP领域的主要论文和benchmark: nlp方向论文+代码 paper-with-code
人还是要有梦想的: 中二青年付杰的逆袭故事：从二本生到 ICLR 杰出论文奖，我用了20年
评价指标
看到这个回答很有感悟
作者：重剑无锋
链接：https://www.zhihu.com/question/384512106/answer/1879956380
1.解题力：对于一个formulated problem 能写出正确的证明/发明高效的方法
2.课程完成：完成了足够的课程以支撑自己的研究以及毕业
3.文献阅读：每天阅读arxiv 每周保持10篇粗读 包括听talk
4.编程：熟练掌握至少一门编程语言
5.英语表达：熟练完整地进行日常对话 写作 阅读
6.Latex使用：是能美观的展示公式 图片（如使用pdf而非png) cleveref/bib管理参考文献；设计paper poster slides等
7.自我驱动：能主动做所有开始了的研究 主动读paper 主动与合作者update 主动推进项目 偶尔赶进度能放弃娱乐
8.研究力：对于一个not well formulated problem 能想出对应的解决办法
9.搜集力：能快速准确找到自己需要的知识点或代码 切忌浪费时间重复劳动前人做过 或者用正确但过时的工具事倍功半
10.创新力：能创造一个新的方法或者框架解决问题 包括followup别人成果并改进
11.交叉力：能发现跨领域或者不同工具或者不同流派的交集 从而完成交叉类研究
12.洞察力： 能快速理清文献的思路并准确判断该文献的价值 或者挑出毛病甚至加以改进
13.写作力：能在文法正确的基础上写出清晰 有趣 有立意高度的论文 将研究价值最大化呈现
14.影响力：有别于写作 专指海报 演讲 主动联系外校或企业获得合作和展示机会
15.研究格局：注重研究的深度 专注痛点问题而非无关紧要的交叉概念/涨点/调参/做小改进
16.多样性：注重研究的广度 不局限于一个细分领域/一种工具/一类发表渠道
17.独立性：能独立完成研究/教学/演讲/写作等
18.时间管理：包括对课业 研究 审稿 助教 阅读文献 演讲 实习 合作者之间时间管理 不会错过deadline
19.精力管理：保持体重稳定 睡眠充足 不产生心理和精神问题
20.情绪管理：在面对拒稿、卡壳、被抢发等外力因素时保持平常心 不被负面情绪（如嫉妒 不甘）降低效率
21.恋爱关系：不因工作顺逆而影响自己的感情线 独身主义者自动满级
22.向上管理：能主动和导师或其他教授沟通研究idea 并适当催促对方改稿子/批条子/推荐机会 以及表达自己的合理诉求（如放假和换课题）
23.向下管理：能主动和学弟学妹们一起研究 带领他们保持效率 合理安排工作和分配credit
24.平级管理：能主动和一批优秀的同龄人以平等地合作关系共同推进项目
25.行政管理：和秘书高效完成会议预定/财务报销/毕业要求咨询等行政任务 也包括学会写grant proposal和组织seminar
26.项目规划：熟悉并掌控过完整的科研流程 能提出idea 写出初步证明或跑出初步实验效果 邀请合作者 掌控研究进度 并在合理时间内中稿
27.攻击力：审稿时能有理有据的指出别人研究中地错误并判断错误的大小 修稿时能有底气反击审稿人无理的建议（如要求引用无关文献）
28.防御力：在演讲或修稿时不被莫名其妙的提问打乱阵脚 不被deadline pressure/peer pressure等影响
29.人脉网络：构建完善的人脉网络 覆盖研究 生活 找工作等多方面
30.学术服务：完成TA(助教）审稿等学术义务
先验知识
建议用Pytorch入手，这里之前总结了一些底层api pytorch底层api常用复习(2021 summer)
也推荐一本书
该书附带代码:
- hit plm-nlp github
Transformer
席卷NLP,CV,时间序列预测的模型。
文章推荐:
- 熬了一晚上，我从零实现了Transformer模型，把代码讲给你听
视频推荐:
- Transformer模型(1/2): 剥离RNN，保留Attention
- Transformer模型(2/2): 从Attention层到Transformer网络
- BERT (预训练Transformer模型)
幻灯片:
- 10_Transformer_1.pdf
- 10_Transformer_2.pdf
- 10_BERT.pdf
李沐论文讲解
- 李沐 如何读论文【论文精读】
- 李沐 Transformer论文逐段精读【论文精读】
hugginface
见我另一篇博客 hugginface-introduction 案例介绍
Bart源码剖析(知乎)
其他领域
注意其他领域的idea也可能给你带来启发。
小样本学习
Few-Shot Learning (1/3): 基本概念
对比学习
- SimCSE github EMNLP’2021
- DeCLUTR github
- DiffCSE github NAACL 2022