爬虫入门实践之爬取虎扑论坛帖子

         现在网络以及移动互联网发展迅速,大家花费越来越多的时间逛一些网站浏览帖子,比如贴吧、论坛等。博主喜欢打篮球,爱看NBA,因此常常行迹于虎扑论坛,看一些精彩赛事以及比较好的帖子。本文主要通过对虎扑某一版的帖子进行统一收集,并总结这些帖子的相关信息。

1.选择需要操作的版块

        本文主要针对NBA版块进行信息的批量收集,https://bbs.hupu.com/all-nba这是该版块的网址。

爬虫入门实践之爬取虎扑论坛帖子_第1张图片

        根据上图所示,本文需要收集的是这些帖子的标题,来源,url,发表时间,以及作者姓名。其中从上图网页在哪个只能知道标题与来源,并从源码中获取url,然后打开对应url页面,获取发表时间与作者信息,并将这些信息整理。

2.信息筛选、编写正则表达式、爬虫

         进入上述论坛页面,点击F12,点击标题对应的源代码如下图所示:

根据上图可以定义标题匹配规则, pattern3=''

url匹配规则:pattern1=''

上图可以获得该帖子的来源,匹配规则可以定义为: pattern2='(.*?)'

     对于时间和作者,则可以根据获取的url,进入相应页面获取。

爬虫入门实践之爬取虎扑论坛帖子_第2张图片

根据上图可定义作者的匹配规则:pattern='(.*?)'

编写帖子的时间定义为:pattern4='(.*?)'

 

因此爬虫步骤如下:

1.打开https://bbs.hupu.com/all-nba页面,根据上面定义的标题、url、来源三个规则分别筛选出标题、url、来源集合。

2.根据1中筛选的url集合,遍历集合,构造完整的url,访问url对应的页面,根据作者和时间的规则获取作者和时间信息,分别构造两个集合。

3.将五个集合信息一一对应整理。

具体代码如下:

import re
import urllib.request


def getcontent(url):
    req=urllib.request.Request(url)
    req.add_header('User-Agent', 'Mozilla/5.0(Windows NT 10.0;Win64;x64;rv:66.0)Gecko/20100101 Firefox/66.0')
    data=urllib.request.urlopen(req).read().decode('utf-8')

    pattern1=''
    urlList=re.compile(pattern1).findall(data)
    pattern2='(.*?)'
    pattern3=''
    sourceList=re.compile(pattern2).findall(data)
    titleList=re.compile(pattern3).findall(data)
    authorList=[]
    totalUrlList=[]
    timeList=[]
    info=[]
    for url in urlList:
        url="https://bbs.hupu.com/"+url
        totalUrlList.append(url)
        html=urllib.request.urlopen(url).read().decode('utf-8')
        pattern='(.*?)'
        pattern4='(.*?)'
        aulist=re.compile(pattern).findall(html)
        tiList=re.compile(pattern4).findall(html)
        authorList.append(aulist[0])
        timeList.append(tiList[0])
    info.append(totalUrlList)
    info.append(sourceList)
    info.append(titleList)
    info.append(authorList)
    info.append(timeList)
    return info
if __name__ == '__main__':
    url="https://bbs.hupu.com/all-nba"
    info=getcontent(url)
    totalurlList=info[0]
    sourceList=info[1]
    titleList=info[2]
    authorList=info[3]
    timeList=info[4]
    length=len(totalurlList)
    for i in range(length):
        str="标题:"+titleList[i]+" "+"作者:"+authorList[i]+" "+"URL:"+totalurlList[i]+" "+"发布时间:"+timeList[i]+" "+"帖子来源:"+sourceList[i]
        print(str)

运行之后,结果如下:

标题:持续高光的杜兰特,交相辉映的伦纳德,心态失衡的小学生 作者:步虚词终 URL:https://bbs.hupu.com/27256859.html 发布时间:2019-05-06 18:27 帖子来源:篮球场
标题:NBA有哪些严肃而不刻意的搞笑瞬间? 作者:leo1824 URL:https://bbs.hupu.com/27253940.html 发布时间:2019-05-06 14:53 帖子来源:湿乎乎的话题
标题:【狂言Doggy】终极杀戮机器莱昂纳德 作者:我是狂言Doggy URL:https://bbs.hupu.com/27256293.html 发布时间:2019-05-06 17:37 帖子来源:篮球场
标题:美媒评四大总决赛fmvp 是否实至名归 作者:Ronagio URL:https://bbs.hupu.com/27256570.html 发布时间:2019-05-06 18:02 帖子来源:湿乎乎的话题
标题:杜兰特季后赛受助攻率60%,哈登仅10% 作者:哈登卖萌 URL:https://bbs.hupu.com/27257971.html 发布时间:2019-05-06 19:51 帖子来源:湿乎乎的话题
标题:说真,这批超巨里最早出现断崖式退化的有可能是库里… 作者:降A大调Waltz URL:https://bbs.hupu.com/27256225.html 发布时间:2019-05-06 17:30 帖子来源:湿乎乎的话题
标题:下一个有这种热图的全明星会是谁? 作者:大悟道人 URL:https://bbs.hupu.com/27257154.html 发布时间:2019-05-06 18:47 帖子来源:湿乎乎的话题
标题:朱芳雨什么水平? 作者:亦辰呦 URL:https://bbs.hupu.com/27256730.html 发布时间:2019-05-06 18:15 帖子来源:湿乎乎的话题
标题:早期的NBA直播原来是在CCTV2! 作者:龙腾轩 URL:https://bbs.hupu.com/27253595.html 发布时间:2019-05-06 14:30 帖子来源:湿乎乎的话题
标题:NBA的那些经典的庆祝动作,你觉得哪个动作最撩? 作者:格李芬 URL:https://bbs.hupu.com/27256871.html 发布时间:2019-05-06 18:28 帖子来源:湿乎乎的话题
标题:洛瑞:上一个我搭档过像伦纳德这么强的是姚明 作者:虎扑颜值MVP URL:https://bbs.hupu.com/27254163.html 发布时间:2019-05-06 15:08 帖子来源:湿乎乎的话题
标题:一图流:约老师赛后采访扯断话筒什么水平? 作者:F.Cristiano URL:https://bbs.hupu.com/27253266.html 发布时间:2019-05-06 14:08 帖子来源:湿乎乎的话题
标题:保罗的正式绰号叫什么? 作者:立早雨林 URL:https://bbs.hupu.com/27253544.html 发布时间:2019-05-06 14:27 帖子来源:湿乎乎的话题
标题:小卡新绰号投票 作者:于海8 URL:https://bbs.hupu.com/27257913.html 发布时间:2019-05-06 19:46 帖子来源:湿乎乎的话题
标题:格林对小里弗斯犯规的裁判报告出炉 作者:Joshua徐 URL:https://bbs.hupu.com/27254550.html 发布时间:2019-05-06 15:35 帖子来源:湿乎乎的话题
标题:ZT Reddit【ESPN BR】内内考虑本赛季结束后退役 作者:wjamesh URL:https://bbs.hupu.com/27252961.html 发布时间:2019-05-06 13:48 帖子来源:火箭专区
标题:NBA搞笑防守,我就服掐老詹的 作者:年轻的勒布朗詹姆斯 URL:https://bbs.hupu.com/27249017.html 发布时间:2019-05-06 10:06 帖子来源:湖人专区
标题:鲨鱼今天发的,什么水平? 作者:crazy丶寒辰 URL:https://bbs.hupu.com/27250990.html 发布时间:2019-05-06 11:44 帖子来源:湖人专区
标题:勇士输球后还有更大的打击 作者:安颜泪人 URL:https://bbs.hupu.com/27255467.html 发布时间:2019-05-06 16:37 帖子来源:火箭专区
标题:[流言板]洛瑞:伦纳德的统治力可以和姚明相比 作者:第22頁無奈 URL:https://bbs.hupu.com/27253933.html 发布时间:2019-05-06 14:53 帖子来源:火箭专区
标题:蛋糕官宣!卧槽卢指导真的来啦!zt朗佐鲍尔频道 作者:火箭少女泰伦卢 URL:https://bbs.hupu.com/27255118.html 发布时间:2019-05-06 16:14 帖子来源:湖人专区
标题:谈谈我对欧文的认识 作者:队长皮尔斯 URL:https://bbs.hupu.com/27256486.html 发布时间:2019-05-06 17:55 帖子来源:凯尔特人区
标题:一年前的今天,詹姆斯高难度拋投绝杀猛龙 作者:那就湖人总冠军吧 URL:https://bbs.hupu.com/27254030.html 发布时间:2019-05-06 14:59 帖子来源:湖人专区
标题:塔图姆昨天凌晨三天被发现在赌场 作者:慈航道人 URL:https://bbs.hupu.com/27250195.html 发布时间:2019-05-06 11:05 帖子来源:凯尔特人区
标题:回顾一下17年季后赛首轮对阵灰熊,小卡在天王山之战上的精彩时刻 作者:就回忆你温柔 URL:https://bbs.hupu.com/27257346.html 发布时间:2019-05-06 19:00 帖子来源:猛龙专区
标题:身在井隅,心向璀璨,纳什维尔小船长——达里厄斯-加兰(照片,视频,球探报告,前景讨论) 作者:哈里狗 URL:https://bbs.hupu.com/27252850.html 发布时间:2019-05-06 13:40 帖子来源:NBA选秀-NCAA
标题:凤凰涅槃,浴火重生——琼泰-波特 Jontay Porter(照片,视频,球探报告,前景讨论) 作者:1946Celtics URL:https://bbs.hupu.com/27249783.html 发布时间:2019-05-06 10:47 帖子来源:NBA选秀-NCAA
标题:兄弟们卡文顿放pg不主攻算不算大个pg? 作者:马马马马努 URL:https://bbs.hupu.com/27253025.html 发布时间:2019-05-06 13:52 帖子来源:NBA2KOL2
标题:这个人把我逗笑了。但是又有点后悔 作者:乔丹CMJ URL:https://bbs.hupu.com/27252998.html 发布时间:2019-05-06 13:51 帖子来源:NBA2KOL2
标题:“3D or more”活力野猫——凯尔登-约翰逊 Keldon Johnson(照片,视频,球探报告,前景讨论) 作者:拉斯特蓝 URL:https://bbs.hupu.com/27249606.html 发布时间:2019-05-06 10:39 帖子来源:NBA选秀-NCAA

 

你可能感兴趣的:(爬虫)