随机选出代理ip,免费的代理ip地址

from bs4 import BeautifulSoup
import requests
import random

#从ip代理网站获取ip列表
def get_ip_list(url,headers):
    web_data = requests.get(url,headers=headers)
    soup = BeautifulSoup(web_data.text,'lxml')
    ips = soup.find_all('tr')
    ip_list = []
    for i in range(1,len(ips)):
        ip_info = ips[i]
        tds = ip_info.find_all('td')
        ip_list.append(tds[1].text + ':' +tds[2].text)  #拼接成【ip:端口】的格式
    return ip_list


#在ip列表中随机取出一个ip
def get_random_ip(ip_list):
    proxy_list = []
    for ip in ip_list:
        proxy_list.append('https://' + ip)   #拼接成网址
    proxy_ip = random.choice(proxy_list)    #随机选择一个网址
    proxies = {'https':proxy_ip}  #proxies的格式是一个字典:{‘http’: ‘http://123.123.321.123:808‘}
    return proxies


if __name__ == '__main__':
    proxy_url = 'http://ip.yqie.com/proxygaoni/'    #ip代理网站
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1'}

    ip_list = get_ip_list(proxy_url,headers)  #调用函数get_ip_list 传入参数url和headers,返回一个IP列表
    proxies = get_random_ip(ip_list)    #调用函数get_random_ip 传入参数是第一个函数得到的列表,返回一个随机的proxies

    print(proxies)

随机选出代理ip,免费的代理ip地址_第1张图片
免费的IP地址:

免费代理IP http://ip.yqie.com/ipproxy.htm
66免费代理网 http://www.66ip.cn/
89免费代理 http://www.89ip.cn/
无忧代理 http://www.data5u.com/
云代理 http://www.ip3366.net/
快代理 https://www.kuaidaili.com/free/
极速专享代理 http://www.superfastip.com/
HTTP代理IP https://www.xicidaili.com/wt/
小舒代理 http://www.xsdaili.com
西拉免费代理IP http://www.xiladaili.com/
小幻HTTP代理 https://ip.ihuan.me/
全网代理IP http://www.goubanjia.com/
飞龙代理IP http://www.feilongip.com/

你可能感兴趣的:(笔记,python,爬虫)