用python模块写一个简单的网页中邮箱地址爬虫

曾经困扰很久的问题,没想到这么简单就解决了.

使用python写一个网页中邮箱地址的爬虫,小练习而已,不要笑话.

文件名: emailspider.py

import urllib.request
import re

#爬取的目标网页上的邮箱地址


#构造url地址
#url = "http://www.hangmow.com/thread-1739-1-1.html"
#把这个功能封装成一个函数

def outputemail(url):
    #使用urllib打开该地址
    responseobject = urllib.request.urlopen(url)
    #验证输出
    #print(requestobject)
    #获取解析的数据
    html = responseobject.read().decode("utf-8")
    #输入验证获取的内容
    #print(html)
    #使用正则解析文档中存在的email地址
    emaillist = re.findall("\w+@\w+\.\w+",html)
    #处理超链接中的邮箱地址
    #循环输入email的结果
    for email in emaillist:
        print(email)

文件名:forulr.py

本练习是用来循环构造 url地址的'''#目标循环样式如下:#url = 'http://www.hangmow.com/thread-1739-1-1.html'#仅有1739-X-1,中X位置数字在更改#范围是 1-32页,这是个分页#使用for循环拼装url地

from emailspider import outputemail

urlh = "http://www.hangmow.com/thread-1739-"
urlf = "-1.html"
#urlm = i , i 属于[1-32]

for i in range(1,33):
    url = urlh+str(i)+urlf
    #调用构造的函数,输出结果
    outputemail(url)

吐槽一下,这个博客功能太不好用了.