收藏！机器学习100个相关资源推荐

100篇导航检索式网站、学习笔记与教材推荐（资源持续更新中~）

前言

理工科生从大三往后，往往已经具备了学习机器学习和深度学习的基础了，此时已经具备了高等数学、概率统计和线性代数的初步知识，本篇文章主要想描绘从此刻开始，到一个合格的熟练掌握机器学习和深度学习知识的专业领域内的拔尖人才，这中间的路上需要踩过哪些地砖。都是一些个人的意见，仅供参考。

写之前先端正一个至关重要的观念，只有基础扎实的人，未来才可能成为一个具备创造力的人。许多人受迷惑于当今的神经网络热潮，在基础尚未训练牢靠时，致力于用奇思妙想改进网络，致力于阅读paper寻找idea来碰巧变个新模型有个好效果来发paper，这些都是舍本求末。其实许多的新东西万变不离其宗，极少极少能有好想法可以完全凭空出现而不依托于前人的思想，而有了想法也需要扎实的基础才能实现和证明。例如，只需要熟练掌握概率统计的知识，就知道已经有了方差描述数据为什么还需要有标准差，这其间的思想就足以产生batch normalization的idea；熟练掌握隐马尔可夫链的相关知识，也具备了发现RNN神经网络的能力；详细了解统计学习和数值分析的知识，就能通过基函数的知识得到神经网络的雏形以及如何优化。

明确了基本观念之后，就是如何做了。总结一下大牛们的观点就是以教材为主线，吃透教材中的基础知识。

为什么如此强调经典教材的学习呢？因为经典教材的内容往往代表了大牛们对知识点最本质的理解和梳理。最本质的理解和梳理有什么好处？那就是可以举一反三，用起来可以得心应手，只有这样这个知识点才真正属于自己。许多人热衷于主要通过博客的方式来学习东西，工程实操类的知识点还好，可是理论上的知识点如果不通过经典教材来学习就会埋下许多隐患。许多人会说：“可是我读完博客就确实理解了这个知识点了啊！”没错，大部分的用心的博客看起来都能让人有一种恍然大悟的感觉，可是许多时候产生这样的感觉往往是假象，当你面临另一个场景的时候就会发现，为什么还是束手无策还是一头雾水呢？其实就是盲人摸象的道理，博客的质量确实很好，但是如果把知识点比作象，有的博客摸到了象腿，于是就在博客中告诉你这是象腿，当然很令人恍然大悟，噢！这多简单！可是下次遇到象头呢？自然束手无策了。而大牛们在经典教材中会教你，如何识别一个大象，学会这个的过程可能很困难，可是这才是把握本质应当付出的努力。

个人整理了自己学习过程中收藏的一些资源，觉得质量很高，在此分享给大家。

基础知识篇

书本教材

大家耳熟能详的几篇大作，其重要性就无需多说了：

• 李航《统计学习方法》
• 周志华《机器学习》
• Ian Goodfellow《深度学习》以及花书GitHub代码与笔记

除了上面的书籍之外，还有下面基本书籍有助本质理解，是不可多得的经典好教材

• 《The Element of Statistical Learning》终极加强版《统计学习方法》
• 还有相关学者所写ESL中文翻译与笔记
• 《Pattern Recognition and Machine Learning》PRML经典好书
• 还有随书PRML GitHub代码和笔记
• 以及PRML中文翻译

个人阅读过的巩固基础，产生更深理解的书籍

• 《程序员的数学：概率统计》
• 《程序员的数学：线性代数》

理论和实践相结合的书籍

• 《动手学深度学习》以及pytorch版的书和代码
• 《python数据科学手册》

外文教材电子书免费下载

视频课

• Top5 机器学习课程
  

• ESL视频课
  如果觉得书太难，就看看这个面向应用的视频课吧。

• 很好的视频课学习网站——coursera

• 很好的视频课学习网站——MOOC

• 很好的视频课学习网站——网易云课堂

• 《数值分析》视频课
  MOOC上，东北大学的课程。

• 机器学习吴恩达
  经典机器学习入门视频课

• 机器学习课程笔记
  黄海广博士的吴恩达机器学习课程笔记，包含code和中文字幕视频

• 深度学习课程笔记
  黄海广博士的吴恩达深度学习课程笔记，包含code和中文字幕视频

• 深度学习吴恩达
  经典深度学习入门视频课

• CS231n计算机视觉课程主页
  经典CV课程

• CS520斯坦福知识图谱课程

• Coursera
  一个包含许多学习视频课的经典网站

• Coursera课程笔记
  在Coursera上的课程的笔记，你在Coursera上所学的课程笔记有可能包含在这个里面

• CS224n斯坦福自然语言处理课程：课程主页 / YouTube / Bilibili
  经典NLP课程，随课代码在后文也有罗列

• CS 11-747卡内基梅隆大学nlp课程 ：课程主页 / YouTube / Bilibili

• 包含许多学者分享会的B站号

工程实践篇

• pytorch官网：60分钟入门pytorch
  

• 深度学习中的normalization模型

• 调试机器学习模型的六种方法

• 33个神经网络“炼丹”技巧
  特斯拉人工智能部门主管 Andrej Karpathy 发布新博客，介绍神经网络训练的技巧。
  Andrej Karpathy 是深度学习计算机视觉领域、与领域的研究员。博士期间师从李飞飞。在读博期间，两次在谷歌实习，研究在 Youtube 视频上的大规模特征学习，2015 年在 DeepMind 实习，研究深度强化学习。毕业后，Karpathy 成为 OpenAI 的研究科学家，后于 2017 年 6 月加入特斯拉担任人工智能与视觉总监。
  他发布的这篇博客能为深度学习研究者们提供极为明晰的洞见，在 Twitter 上也引发了极大的关注。

• 如何更好地进行神经网络调参？

• 如何选择正确的机器学习算法

• CS224n的pytorch实现
  Pytorch implementations of various Deep NLP models in cs-224n(Stanford Univ)
  

• pytorch在所有任务中的应用
  A comprehensive list of pytorch related content on github,such as different models,implementations,helper libraries,tutorials etc.GitHub 9.7k标星。
  

• pytorch实战实例
  A set of examples around pytorch in Vision, Text, Reinforcement Learning, etc.GitHub 12.6k标星。
  

• pytorch中文handbook
  pytorch handbook是一本开源的书籍，目标是帮助那些希望和使用PyTorch进行深度学习开发和研究的朋友快速入门，其中包含的Pytorch教程全部通过测试保证可以成功运行，GitHub 11.1k标星。
  

• NumPy中文文档
  NumPy官方的中文文档，NumPy是用Python进行科学计算的基础软件包。有不知道功能或者相关属性（使用方法）的方法（函数），可以在该网站上检索

• TensorFlow中文文档
  有不知道功能或者相关属性（使用方法）的方法（函数），可以在该网站上检索

• pytorch中文文档
  有不知道功能或者相关属性（使用方法）的方法（函数），可以在该网站上检索

• hugging face 预训练语言模型使用文档
  

• Deep Neural Networks不得不知的tips&tricks

• NLP指南——100行内代码完成NLP任务
  nlp-tutorial is a tutorial for who is studying NLP(Natural Language Processing) using TensorFlow and Pytorch. Most of the models in NLP were implemented with less than 100 lines of code.(except comments or blank lines)

• 如何跳出魔改网络结构的火坑？

• 所有文本分类模型
  all kinds of text classification models and more with deep learning，GitHub6.1k标星。
  

• 很棒的DeepLearning资源
  Deep Learning and deep reinforcement learning research papers and some codes，还有许多中文数据集罗列，GitHub2.2k标星。
  

• chinese-poetry: 最全中文诗歌古典文集数据库
  The most comprehensive database of Chinese poetry最全中华古诗词数据库, 唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人，21050首词。
  

• 词法分析工具包
  THULAC（THU Lexical Analyzer for Chinese）由清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包，具有中文分词和词性标注功能。
  
  下面是自己原创整理的学习笔记，包含了代码实例，原理介绍以及方法罗列。个人认为质量不错，整理笔记也用了很久时间。所以在下面罗列。

• pytorch中GPU的使用

• pytorch中的正则化方法

• pytorch中的模型保存与加载

• 动手理解Batch Normalization

• 常见的几种normalization方法

• 图解6种pytorch学习率调整策略

• 10种优化迭代算法基础详解及其pytorch实现

• 梯度消失与梯度爆炸原理&初始化方法

• 18种损失函数全详解及其PyTorch实现与机制

如何做研究

• 如何写一篇合格的NLP论文

• MIT研究生学习指导——怎样做研究生原版pdf下载网址

• 人工智能博士万字长文分享——读博那些事

• 初入NLP领域的一些小建议

• 初学者如何查阅NLP领域学术资料

• NLP研究入门之道

• 那些高产的学者都是怎样工作的
  所谓“高产出”本身就不一定是人人希望追求的东西。而一个人的方法论严格来讲只属于他自己，别人难以复制 。但真正重要的大概是对自己如何管理时间、如何持续成长、如何完成个人目标的持续性思考。在此方面别人走过的路、做过的努力、展现的意志都有借鉴意义。

• 初学者如何查阅NLP领域学术资料

• dblp计算机类文章检索

有关如何写作的书籍：Strunk和White的《Elements of Style》对写作中基本的应该如何不应该如何做了介绍。Claire的《The MLA’s Line By Line》（Houghton Mifflin）是有关在句子级别如何进行编辑的书籍。Jacques Barzun的《Simple and Direct: A Rhetoric for Writers》（Harper and Row, 1985）是有关如何作文的。

paper资源

• LyrnAI
  在这个网页上有可能找到对于一些paper或深度学习模型的精彩解读
  

• NLP论文大礼包
  知乎一个NLPer分享的paper list

• Deep Learning Roadmap深度学习全导览
  All You Need to Know About Deep Learning，包含了许多deep learning的模型，研究方向，以及研究方向上的paper和代码资源
  
  

• NLP领域必读的100篇paper

• 近期NLP领域的GNN paper

• GNN必读paper

• 基于graph的深度学习literature

• GNN paper list

• Geometric Deep Learning Extension Library for PyTorch

• 自然语言处理领域国内外著名会议和期刊

• Paper With Code
  一个非常棒的罗列了许多领域sota研究成果的网站，还附带paper的代码链接
  

• 机器之心SOTA模型导览
  同样包含了许多计算机研究方向的sota模型，可供检索
  

• 关系抽取必读papers

• BERT学习笔记

• 跟着代码理解transformer（哈弗NLP出品）
  

• 理解XLnet

• transformer全详解
  细分到模型每一个部分的说明

其他资源

• 机器之心2018高分教程合集

• pytorch深度强化学习算法导览
  PyTorch implementations of deep reinforcement learning algorithms and environments
  

写在最后

辛勤整理，抛砖引玉，诚邀好资源的推荐补充与交流。请勿抄袭与未经允许的转载。祝所有辛勤工作的人都能少走弯路，拥有可期的未来。