前言
python实现网络爬虫非常简单,只需要掌握一定的基础知识和一定的库使用技巧即可。本系列目标旨在梳理相关知识点,方便以后复习。
目录结构
这里的爬虫,一般指的是网络爬虫,即可以自动去网络上爬取我们所需的内容的脚本程序,当然这里的自动其实是说你已经写好了程序。
爬虫有一句很关键的话:所见即所得。意思是你自己能在网上看见的,就是可以爬取的内容。这里需要说明一下:一个网站,你是普通用户,那么你写的爬虫也是用你自己普通用户的身份,那么只能爬取普通用户可以看见的内容,那些vip用户的内容你无法爬取(如果想要爬取,要么换一个用户账号,要么嘿嘿嘿)。
主要流程如下:
1. 确定目标:确定要爬取的网页/网站
2. 请求网页以获取网页源码
3. 解析网页源码以获取所需的内容
4. 将获取的内容保存到我们的本地
如果你只是学来玩(我也是菜鸡),那么可以学习的内容其实不是很多,主要为:
嗯,学的东西不多,只有亿点点。
这里简单说明一下html的基础知识,主要是方便看后面教程时大家都懂。
首先,随便打开一个网页,鼠标右键,选择”查看源码“,你就可以html代码了:
可以发现一个最简单的事实:html代码都是类似于
标签里面的字母自然具有其特殊意义。这里我肯定不会列完,只列几个最为重要的标签,也是爬虫时用到最多的标签:
href
,其包好的值就是跳转的链接src
,其包含了图片的下载地址 **其实,我们爬虫,爬取的就是网页中这些具有关键信息的代码内容,然后再去利用这些去获取所需。**比如我们获取图片,其实不是真的直接就把图片下载下来,而是先获取网页源码,接着获取图片链接,最后再去下载图片。
现在网页常见的有两类:
最常见的两种请求方式:
GET请求
POST请求
为什么需要学习数据库的基础知识,主要是方便管理爬取的内容/构建代理池。
但是,其实对于我们个人学习者来说,一般用不到数据库,普通的txt文件就够用了,因此学不学习还是看自己的需求。
为什么需要代理?主要目的是提高爬取速度。因为爬虫对于大部分网站来说就是害虫,因此如果你的脚本程序不限制访问速度,那么容易被判断出来是一个爬虫,就会被短时间禁掉ip。这其实属于爬虫与反爬的斗争。
对于这个问题,我们可以构建代理池,即用网上别人提供的ip去访问,这样我们可以同时调用几百个ip去访问,即使一个ip一秒钟访问1次,那么速度也提升了。
网上有免费的代理网站,不过肯定没有付费爽,但是建议大家使用免费的。
好的,本篇文章主要梳理了一下学习爬虫的基础知识,并为大家介绍了主要用到的基础知识。下一篇就开始介绍python的请求库requests了。