python爬虫实战-自动IP地址查询

该段代码实现IP地址的自动查询。
IP地址查询结果的来源:http://www.ip138.com/ips138.asp

假设查询IP地址为:172.18.92.222,在上面那个网站的查询结果如下:
python爬虫实战-自动IP地址查询_第1张图片
观察发现查询结果在其中一对tr标签的li标签中。

对应的源代码为:
python爬虫实战-自动IP地址查询_第2张图片

Python实现:

# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
import bs4
import re

def getHTMLText(inputIP,url):
    try:
        kv = {'ip': inputIP}
        r = requests.get(url,params=kv)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print("Failed!")

def getData(html):
    data=[]
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find_all('tr'):
        if isinstance(tr, bs4.element.Tag):  # 过滤掉非标签类型
            lis = tr('li')  #取出tr标签的li标签,若tr标签没有li标签,则lis为None
            if(lis!=None):
                data+=[i.string for i in lis]#去除标签,得到数据
    return data

url = "http://www.ip138.com/ips138.asp"
inputIP=input('请输入IP地址:')
html=getHTMLText(inputIP,url)
data=getData(html)
for i in data:
    print(i)

在Pycharm上的测试效果:
python爬虫实战-自动IP地址查询_第3张图片

你可能感兴趣的:(python)