python3.x爬虫（一）：打开网页，获取网页内容

1.网页结构（了解）

网页构成三要素：HTML、JavaScript、css

head：网页的标题，不在网页内显示。body：网页内显示的内容（上边右图）。我们是爬取body中的内容。

（这是我本地写的一个网站，所以没有链接，所以肯定是不能用来爬虫的）

2.python爬虫用的库

python用于爬虫的库为urllib

1. urllib.request 用于打开和读取URL,

2. urllib.error 用于处理前面request引起的异常,

3. urllib.parse 用于解析URL,

  4.urllib.robotparser用于解析robots.txt文件

3.通过request模块下的urlopen函数打开一个网页并获取内容。

代码如下：

urlopen参数如下：

urlopen(url, data=None, timeout=