python网络爬虫学习1

一、网络爬虫理解

网络爬虫,又名网络蜘蛛,即通过网络蜘蛛来获取有关网页的内容。

网络爬虫是从某一个网站开始,读取网页的内容,如果网页中有其他网页的链接地址,则顺着这些地址继续读取网页内容,直至该网站所有网页内容都被读取完为止。

二、网页浏览过程

浏览器通过DNS服务器查找域名对应的ip地址;

向ip地址对应的web服务器发送请求;

web服务器响应请求,发回html页面;

浏览器解析html内容,并显示出来。

三、url解释

url由三部分组成:

1.第一部分是协议。

2.第二部分是存有该资源的主机ip地址。

3.第三部分是主机资源的具体地址,如目录和文件名等。

例:protocol :// hostname[:port] / path / [;parameters][?query]#fragment

其中第一部分和第二部分用 "://" 隔开;

第二部分和第三部分用 "/" 隔开。(第一部分和第二部分是必不可少的,第三部分可以没有)

 

你可能感兴趣的:(python网络爬虫学习1)