第五十三课：论一只爬虫的自我修养：入门

内容来源于网络，本人只是在此稍作整理，如有涉及版权问题，归小甲鱼官方所有。

练习题（来自小甲鱼官方论坛）

0.请写下这一节课你学习到的内容：格式不限，回忆并复述是加强记忆的好方式！

• URL由三部分组成
  1️⃣协议（不可缺少）
  2️⃣存放资源的服务器的域名系统（DNS）主机名或IP地址（有时候需要端口号）（不可缺少）
  3️⃣主机资源的具体地址，如目录或文件名等（可以省略）

• urllib模块
  Python2中urllib还分urllib和urllib2，到了Python3就只有urllib模块，这其实也不是一个模块，它是一个包（package）。

  
  
  urllib模块.png
  
  

  总共有4个模块，第一个模块是最重要的模块，它包含了对服务器请求的发出、跳转、代理和安全等各个方面。

>>> import ssl
>>> import urllib.request
>>> context = ssl._create_unverified_context()
>>> response = urllib.request.urlopen("http://www.fishc.com", context=context)
>>> html = response.read()
>>> print(html)
b'\n\n\n    \n    \n    \n    \n    \n    \n    \n    \n    \n    \n    \n    \n\n\n
\n\n'
>>> html = html.decode("utf-8")  # 解码
>>> print(html)



    
    
    
    
    
    
    
    
    
    
    
    

我们要对拿到的字节对象进行解码，把他变成Unicode编码，这样我们才能看懂。
备注：目前鱼C已经是https，所以无法用书上的内容爬取。修改方式参考如下链接：https://blog.csdn.net/xiaopangxia/article/details/49908889

• 编码