Python爬虫学习第0关_2019-11-28

爬虫学习第0关

1.requests.get()

1 import requests
#引入requests库
2 res = requests.get('URL')
#requests.get是在调用requests库中的get()方法，它向服务器发送了一个请求，括号里的参数是你需要的数据所在的网址，然后服务器对请求作出了响应。
#我们把这个响应返回的结果赋值在变量res上。

解释:
1.导入requests库
2.向服务器发送(请求^①,服务器响应^①后,把结果赋值到res上面
3.服务器响应的数据是一个response对象
4.存储在res变量里面
举例说明

1 import requests
2 res = requests.get('www.sohu.com')
3.print

2.对象的常用属性

理解数据是什么对象是非常! 非常! 非常重要的一件事情
对象的属性有四种:
①.response.status.code #请求是否成功(,2xx:成功 ;1xx:还需要;3xx:代理;4xx:终端禁止;5xx:服务器禁止)
②.response.content #图片,多媒体等数据二进制
③.response.text #文本文件内容
④.response.encoding #response的编码

举例1:图片等多媒体文件的下载

import requests
res = requests.get('https://res.pandateacher.com/2018-12-18-10-43-07.png')
pic = res.content
with open('ppt.jpg','wb')as photo:
	photo.write(pic)

举例2:文本下载

import requests
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/sanguo.md')
novel=res.text
with open('三国演义.txt','a')as sgyy:
	sgyy.write(novel)

举例3:数据响应状态码^①

import requests
res = requests.get('www.sohu.com')
print(res.status.code)

举例4:数据编码类型

import requests
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/exercise/HTTP%E5%93%8D%E5%BA%94%E7%8A%B6%E6%80%81%E7%A0%81.md')
d=res.encoding
print(d)

输出结果:

UTF-8

修改乱码方式：

import requests
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/exercise/HTTP%E5%93%8D%E5%BA%94%E7%8A%B6%E6%80%81%E7%A0%81.md')
res.encoding = 'utf-8'
tf = res.text
with open('<编码规则>.txt','w') as book:
	book.write(tf)