学习爬虫的目的是什么?
我目前的理解是爬虫是为了批量访问并获取数据,比如我希望分析各地房价的变化,那我就需要定期爬取房地产相关网站最新房价数据。
先看下面的代码
import requests #import requests包
url = 'http://www.baidu.com'
resp = requests.get(url)
print(resp) #返回
如果是小白,可能会有以下几个问题
1. url是什么?
2. requests.get(url)这一步发生了什么?
3. 返回
我想这里需要暂时脱离Python,推荐看一看《网络是怎么连接的》这本书
1. url是什么?
用户在浏览器中输入的网址,即url。"http:"表示使用http协议访问web服务器,"www.baidu.com"即需要访问名称为www.baidu.com的web服务器,这里省略了具体要访问的文件,默认为index.html
2. requests.get(url)这一步发生了什么?
生成HTTP请求消息需要两个内容:访问目标(通过解析url就知道用户想访问的目标是什么,比如是百度的某个图片),需要进行什么操作(一般我们可以感知到的就get和post方法)
略过一系列的发送请求消息过程,得到响应消息……
3. 返回
status code 为200,表示请求已成功,请求所希望的响应头或数据体将随此响应返回。