李沐-斯坦福《实用机器学习》-第一章

一、课程介绍

1、ML处理流程

2、技能提升流程

二、数据获取

什么时候需要考虑数据的获取?

常见数据集
基百科中关于数据集的列表 https://en.wikipedia.org/wiki/List_of_datasets_for_machine-learning_research 其中收录了一系列的数据集。

1. MNIST: 手写数字数据集 http://yann.lecun.com/exdb/mnist/
2. imageNet : 大规模图片数据集 https://www.image-net.org/
3. AudioSet: 油管的声音片段数据 https://research.google.com/audioset/
4. Kinetic : 油管人类动作视频片段 https://deepmind.com/research/open-source/kinetics
5. KITTI : 无人驾驶数据集 http://www.cvlibs.net/datasets/kitti/
6. Amazon Review: 亚马逊用户评价数据 https://s3.amazonaws.com/amazon-reviews-pds/readme.html
7. SQuAD: 维基百科问答 https://rajpurkar.github.io/SQuAD-explorer/
8. LibriSpeech : 有声书数据集 https://www.tensorflow.org/datasets/catalog/librispeech

去哪找数据集

1. Paperwithcodes 论文相关数据集 https://paperswithcode.com/
   提供了学术论文和相关的数据，并且给出了这个论文在数据集上面的运行表现
2. Kaggle https://www.kaggle.com/
   除了竞赛数据集以外，很多用户也上传数据集, 这些用户上传的数据集质量鱼龙混杂.
3. google 数据集搜索. https://datasetsearch.research.google.com/
   这是谷歌的一个搜索入口. 可以搜到其他各种来源的数据.
4. 开源工具自带的数据集
   比如tensow flow深度学习软件, 往往会自带一些数据集
5. 各种数据比赛的竞赛数据 往往质量比较高.
   保存在云盘上的数据集，比如说 open data on AWS
6. 公司本身的数据仓库或者数据湖(data lakes)