前段时间抢茅台脚本非常火,它是Python脚本,加上刚好最近在学习Python,我们准备通过这个脚本,来加深学习Python。
抢茅台的脚本其实属于爬虫脚本的一类,它实现了模拟登陆,模拟访问并抓取数据。于是我们从爬虫开始来学习Python做项目。从这篇开始记录下爬虫相关的笔记和知识点。
有兴趣也可以看下我们之前的文章
python抢购京东茅台脚本-提升成功概率
python常用的数据结构list,tuple,dict,set总结
到底什么是爬虫?你可以理解为爬虫是互联网上的一只蜘蛛,如果遇到一些网络数据或资源,这只“蜘蛛”可以把这些数据和资源爬取下来。
官方地讲,爬虫是请求网站并提取数据的自动化程序。
使用茅台脚本来举例,脚本程序实现模拟登陆京东账号,保存登陆信息,也实现访问商品-茅台,并且帮你抢购商品,成功下订单等等。这类似于你打开京东网站登陆账号密码,浏览商品并下单的操作,脚本将这些操作都实现,形成一个自动化的程序。
通用网络爬虫是捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。
比如你发布的网站,需要给搜索引擎(百度)爬取过,才能在对应的搜索引擎(baidu)上搜索到。
聚焦爬虫,是"面向特定主题需求"的一种网络爬虫程序,它与通用搜索引擎爬虫的区别在于: 聚焦爬虫在实施网页抓取时会对内容进行处理筛选,尽量保证只抓取与需求相关的网页信息。
抢购脚本就是这种“面向特定主题需求”的爬虫程序。而我们主要学习的也是这样的爬虫程序。
说实话,写爬虫程序最难的不是码代码,最难的要熟悉被爬网站的业务逻辑,了解网络请求的链接,需要的参数,反爬的处理等等。
对被爬网站的抓包分析我们后面再说,这里主要讲一般的爬虫程序的工作逻辑。
logger.info('访问商品的抢购连接...')
headers = {
'User-Agent': self.user_agent,
'Host': 'marathon.jd.com',
'Referer': 'https://item.jd.com/{}.html'.format(self.sku_id),
}
self.session.get(
url=self.seckill_url.get(
self.sku_id),
headers=headers,
allow_redirects=False)
发起请求前,需要组装好访问的headers,目的是模拟浏览器访问。访问目标链接,还要带上必须的参数,比如商品ID。
常用的请求方法是GET 和 POST
GET: 参数一般放在链接上,我们在浏览器上输入链接访问,就是GET方法。
POST: 参数一般放在请求方法上,不会暴露,而且POST方法能携带的数据量比较大,比GET方法安全。常用在登陆,下订单等敏感操作上。
200 成功响应
3xx:跳转使用
404:找不到资源
500以上:服务器错误
{"code":0,"whwswswws":"jM92rBfD0JFPpdmhM5FyRAw==","openall":1,"openalltouch":1,"processtype":1}
家居
家具
家装
厨具
一般解析的方法有几种
1.直接处理,保存文本
2.json解析字符串,结构化处理
3.正则表达式,解析规则字符串,使用re库
4.beautifulsoup解析库,解析HTML数据的库
5.pyquery
6.xpath
爬虫程序的应用和价值显而易见,可以自动抢购茅台。当然,你也可以写抢购各种优惠券,秒杀,高铁抢票等,女同学可以爬取你喜欢的文章,微博保存下来,男同学可以爬取各种妹子图保存下来yy。
有的人还会爬股票的数据,分析涨跌关系,制定模型,实现自动化炒股等。
对我们来说,能学会爬虫,相当于也熟悉了python,可以自己写一写自动化的程序,减少很多重复的劳动,提高我们的工作效率,有更多时间做自己想做的事情。
学习Python,学习爬虫,可以帮助我们实现很多功能,大家有空可以一起学习,一起进步。
关注博主公众号 “phper进阶笔记”,获取学习资料,一起学习Python。
希望大家点赞、评论、收藏