学习笔记——爬虫

个人学习笔记，几乎都是在别人代码的基础上自己稍作修改，方便二次利用，介意的话请跳过这个系列文章，谢谢

参考资料《Python爬虫开发与项目实战》《精通Scrapy网络爬虫》《Python3网络爬虫开发实战》

基础篇

Python编程 代码 总结
WEB前端基础
初识网络爬虫

	Urllib	Requests
文本	Urllib+BeautifulSoup 豆瓣书评	Requests+Xpath 豆瓣书评
图片	Urllib+BeautifulSoup 豆瓣图书封面	Requests+Xpath 豆瓣图书封面
音频	Urllib+BeautifulSoup 喜马拉雅FM	Requests+Xpath 喜马拉雅FM

HTML解析大法
数据存储（本地）
基础爬虫
简单分布式爬虫

中级篇

数据存储（数据库）
动态网站抓取

• 爬取影评信息
• 爬取今日头条图片
• Selenium——爬取去哪儿网
• Selenium——利用爬虫发布打卡帖
• Selenium——爬取淘宝商品

Web端协议分析
终端协议分析

爬虫框架&深入篇

Scrapy——爬取博客
Scrapy——爬取知乎
Scrapy——爬取云起
PySpider——爬取TripAdvisor
PySpider——爬取豆瓣电影

freestyle

	链接	相关描述
股票	https://blog.csdn.net/weixin_39777626/article/details/79319705	Tushare接口
花瓣网	https://blog.csdn.net/weixin_39777626/article/details/79341541	图片、正则表达式
微博	https://blog.csdn.net/weixin_39777626/article/details/79361110	视频链接
微博	https://blog.csdn.net/weixin_39777626/article/details/80212216	微博&评论（文本内容）
淘宝	https://blog.csdn.net/weixin_39777626/article/details/79434636	评论
淘宝	https://blog.csdn.net/weixin_39777626/article/details/79361091	商品信息
智联招聘	https://blog.csdn.net/weixin_39777626/article/details/80288064	招聘信息
中国邮政	https://blog.csdn.net/weixin_39777626/article/details/89376623	网点信息
招商银行	https://blog.csdn.net/weixin_39777626/article/details/101995308	商户编码