如何使用python爬取数据

在爬取数据之前首先使用：pip install requests 命令

下载：requests包提示下载完成后执行下列代码：

 

import requests

base_url ="http://list.iqiyi.com/www/1/-------------11-1-1-iqiyi--.html"#此处为你所要爬取数据的网址

header = {'user-agent': 'Mozilla/5.0'}#此处为伪装成浏览器
res = requests.get(base_url, headers=header)#发送请求并返回包含相应的html文件内容的长字符串
# print(res.text)
print(res.apparent_encoding)#打印字符串的编码格式
# res.encoding = "GB2312"#如果编码格式不是‘utf-8’则应显示的指明对应的编码格式
# print(res.text)
with open("data1.txt", 'w', encoding='utf-8') as f:#将读取到的内容打印在相应的.txt文件中
    f.write(res.text)