python爬虫实战(一)→requests
现在说起爬虫，大部分人的第一反应就是python爬虫。
那么今天就来说说python爬虫
Requests是使用Apache2 licensed 许可证的HTTP库，用python编写较简洁。
Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。
在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。requests会自动实现持久连接keep-alive，较为友好。
① 导入模块
import requests
② 发送请求
url = www.baidu.com
response = requests.get(url=url)
③设置请求头
我们在使用python爬虫过程中，大多数需要伪装成浏览器发送请求
url= 'xxxxxxxxxxxxxxxxxxxxxxx'
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36',
'Cookie': 'xxxxxxxxxxxxxxxxxxxx'
}
④获取响应内容
response = requests.get(url=url,headers=header)
这里，我们可以使用 .content 或者 .text 来获取响应内容
⑤编码解码
我们可以使用 encoding decode 等方式
也可以使用 json的方式
import json
json.loads(response)
最后我们只要在返回内容里面找到自己想要的数据即可
最够附上实战内容：
import requests
import json
import time
class spider_():
def __init__(self):
#影视
# self.url = 'https://sv.baidu.com/videoui/api/videorec?tab=yingshi&act=pcFeed&pd=pc&num=20&shuaxin_id=1589354614665'
#音乐
# self.url = 'https://sv.baidu.com/videoui/api/videorec?tab=yinyue&act=pcFeed&pd=pc&num=20&shuaxin_id=1589354123512'
#搞笑
self.url = 'https://sv.baidu.com/videoui/api/videorec?tab=gaoxiao&act=pcFeed&pd=pc&num=20&shuaxin_id=1589354553450'
#娱乐
# self.url = 'https://sv.baidu.com/videoui/api/videorec?tab=yule&act=pcFeed&pd=pc&num=20&shuaxin_id=1589354718578'
#动漫
# self.url = 'https://sv.baidu.com/videoui/api/videorec?tab=dongman&act=pcFeed&pd=pc&num=20&shuaxin_id=1589354765572'
#综艺
# self.url = ' https://sv.baidu.com/videoui/api/videorec?tab=zongyi&act=pcFeed&pd=pc&num=20&shuaxin_id=1589354801895'
#军事
# self.url = ' https://sv.baidu.com/videoui/api/videorec?tab=junshi&act=pcFeed&pd=pc&num=20&shuaxin_id=1589354839248'
#科技
# self.url = ' https://sv.baidu.com/videoui/api/videorec?tab=keji&act=pcFeed&pd=pc&num=20&shuaxin_id=1589354870549'
self.header = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
'tab':'yingshi',
'act':'pcFeed',
'pd':'pc',
'shuaxin_id':'1589334676944',
'num':'20',
'cookie':'PSTM=1564311462; BIDUPSID=9478F7985C38E78B92F7AF6BF89EB9D4; MCITY=-%3A; BAIDUID=B22141A6F325C4F908B57B4BFBF91AA1:FG=1; BDUSS=GxoZW9yNkNHNC14V3pPeU5SMjUyTkQxWE5qMXU4b0FCZFduTEJhSXB2Z2xDcmxlRVFBQUFBJCQAAAAAAAAAAAEAAADj43o4YWlyZWFkMTMxNAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAACV9kV4lfZFeN; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; yjs_js_security_passport=71c6112c4a650adf0cbf830b896a17f788cb3776_1589189848_js; cflag=13%3A3; H_PS_PSSID=31358_1420_31325_21126_31253_31463_31228_30823_31163; BDRCVFR[feWj1Vr5u3D]=I67x6TjHwwYf0; delPer=0; PSINO=2; Hm_lvt_4aadd610dfd2f5972f1efee2653a2bc5=1589246280; COMMON_LID=164cc820a7c5e83078effb0043f75ebc; PC_TAB_LOG=haokan_website_page; Hm_lpvt_4aadd610dfd2f5972f1efee2653a2bc5=1589254822; reptileData=%7B%22data%22%3A%2262e08890e27c44ea563adb1238af2cbb446a5e37376e760d65628066c4605508cbaf1d69bda4c7c207ef6350b3e4ab57ff80e934d947be2a867535ce7e70651e15fde67845472caeadbffee6b481e5e4165a36903f534ce8dfc4392dc2bbf72ab345d1cec944c40ecdf8425250efe5b080014a3d26db3fb6e842594b8de5dbcc882e620ae659aaa3585fecb3d2834979%22%2C%22key_id%22%3A%2230%22%2C%22sign%22%3A%220a4cd7af%22%7D'
}
def down_videos(self):
#防止被发现 每爬取20条 等待3秒
time.sleep(3)
self.response = requests.get(url=self.url, headers=self.header).content
self.response = json.loads( self.response)
self.response_ = self.response['data']['response']['videos']
print(self.response_)
for item in range(1):
for i in self.response_:
filename = i['title'] + '.mp4'
with open(filename, "wb") as f:
f.write(requests.get(i['play_url']).content)
print(filename, '下载成功')
if name == ‘main’:
spider_().down_videos()