Python采集数据代码示例

Python采集数据代码示例_第1张图片

```python
import requests
from bs4 import BeautifulSoup

# 设置信息
proxy_host = ''
proxy_port = 
proxy_url = f'http://{proxy_host}:{proxy_port}'
proxy = {'http': proxy_url, 'https': proxy_url}

# 设置要爬取的网页链接
url = ''

# 使用requests发送GET请求,并设置代理
response = requests.get(url, proxies=proxy)

# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')

# 找到所有图片的链接
img_links = [img['src'] for img in soup.find_all('img')]

# 打印所有图片的链接
for img_link in img_links:
    print(img_link)
```

步骤如下:

1. 导入requests和BeautifulSoup库。
2. 设置代理信息,包括主机、端口和URL。
3. 设置要爬取的网页链接。
4. 使用requests库的get函数发送GET请求,并设置信息。
5. 使用BeautifulSoup库解析网页内容。
6. 使用BeautifulSoup的find_all函数找出所有的图片标签。
7. 使用列表推导式找出所有图片的链接。
8. 使用for循环打印所有图片的链接。
 

你可能感兴趣的:(python,开发语言)