这是一个使用Python和requests库的简单爬虫程序。我们将使用代理来爬取网页内容。以下是代码和解释:
import requests
from fake_useragent import UserAgent
# 每行代理信息
proxy_host = "jshk.com.cn"
# 创建一个代理器
proxy = {'http': 'http://' + proxy_host + ':' + proxy_port}
# 创建一个用户代理
ua = UserAgent()
headers = {
'User-Agent': ua.random
}
# 发送请求
response = requests.get('http://www.example.com', headers=headers, proxies=proxy)
# 打印响应
print(response.text)
步骤解释: