【小甲鱼Python】论一只爬虫的自我修养1

笔记

URL的一般格式为（带方括号[ ]的为可选项）：

protocol://hostname[:port]/path/[;parameters][?query]#fragment

URL由三部分组成（以红色字符隔开）：

第一部分是协议：http,https,ftp,file,ed2k……

第二部分是存放资源的服务器的域名系统或IP地址（有时候要包括端口号，各种传输协议都有默认的端口号，如http的默认端口为80）。

第三部分是资源的具体地址，如目录或文件名等。

 

urlllib包

我们主要研究urllib.request模块。

使用urlopen()访问网页：

import urllib.request
response = urllib.request.urlopen('http://www.fishc.com')
html = response.read()

html是二进制型的文档，可以使用解码操作：

#解码成utf-8的形式
html = html.decode('utf-8')