python网络爬虫（一，抓取网页的含义和URL基本构成）

阅读更多

1，网络爬虫的定义

网络爬虫（Web Spider），把互联网比作一张蜘蛛网，Spider就是在这张蜘蛛网上面爬来爬去的蜘蛛。Spider从网站的某一个页面开始读取网页内容，找到这个网页的链接地址，然后通过这个链接地址找下一个网页内容，这样一直循环直到将整个网站的所有网页抓取完为止。

2，浏览网页的过程

浏览器中输入“www.baidu.com”后，向服务器发送了一次请求，把服务端的文件抓取过来，浏览器再进行解析、展现出来给我们看。HTML是一种标记语言，用标签标记内容并加以解析和区分。

3，URI的理解

我们通常看到的是类似“www.baidu.com”这样的是URL，这样在浏览器里面输入的字符串。

那么URI是什么呢？Web上每种资源，如html文档、图像、视频、程序等都是一个通用资源标识符（Universal Resource Identifier，简称URI）进行定位。

URI分为三个部分组成：

①，访问资源的命名机制

②，存放资源的主机名

③，资源自身的名称，由路径表示。

比如：http://xiaojingjing.iteye.com/admin/blogs/new ，这个就是URI。我们可以这样解释：

①，这是通过http协议访问的资源

②，位于主机xiaojingjing.iteye.com上

③，通过路径“/admin/blogs/new”来访问

4,URL的理解

URL是URI的一个子集，它是Uniform Resource Locator的缩写，意思是“统一资源定位符”。

可以说URL是Internet上描述信息资源的字符串，采用URL可以用统一的格式来描述各种信息资源，包括文件、服务器地址和目录等，主要用在www客户端和服务器程序上。

URL分为三个部分组成：

①请求协议（或称为服务方式）

②存放该资源主机的IP地址，有时候也包括端口号。

③主机资源的具体位置，如目录和文件名等。

 

爬虫最重要的处理对象是URL，它根据URL地址取得所需要的文件内容，然后对它进一步处理。因此，准确的理解URL对理解网络爬虫至关重要。