爬虫就业冲刺20180818

一、教学内容

1、使用scrapy实现之前的音乐爬虫

教学内容：

• 复习之前的音乐爬虫项目
• scrapy使用进阶
• 使用scrapy实现之前的音乐爬虫

2、面试交流

教学内容：
面试经验分享

python爬虫面试1
python爬虫面试2
python爬虫面试3
python爬虫面试4

二、课堂笔记

image.png

抓取思路：

S1 : 抓取专辑列表页，将专辑任务存在album_task表
S2：从album_task表获取album url，把歌曲url存在 song_task
S3: 从song_task表取出url，把歌曲信息放在song_info

scrapy 爬虫

pip3 install scrapy
scrapy startproject music_scrapy
cd music_scrapy
scrapy genspider qq_album_list y.qq.com