python+fastapi自建HTTP爬虫IP池

使用的库

  • bs4
  • requests
  • pymongo
  • fastapi
  • uvicorn

爬取ip

网络上搜索一下有很多提供HTTP代理的网站,直接使用BeautifulSoup将IP爬下来。

html =requests.get(url).text
bs =BeautifulSoup(html,'html.perser')
#findAll()
#select()

验证ip

res = requests.get(url,headers=headers,proxies=proxies)
#判断res.status_code是否等于200
#db.insert_one()

如果验证成功写入数据库。

接口

使用fastapi

@app.get('/api')
def api():
    data = 查询数据库随机返回一条
    return data

效果展示

python+fastapi自建HTTP爬虫IP池_第1张图片
https://998ip.com

python+fastapi自建HTTP爬虫IP池_第2张图片
https://www.ipzdc.com

演示地址:找IP

你可能感兴趣的:(python+fastapi自建HTTP爬虫IP池)