python爬虫(按贴吧和帖子主题关键词筛选帖子的URL)

python爬虫(按贴吧和帖子主题关键词筛选帖子的URL)

#!/usr/bin/env python
# -*- coding :gb2312 -*-
import urllib.request
from urllib.request import urlopen
from bs4 import BeautifulSoup
import time


def writeAl(all_nr_print):
    # now = time.strftime("%Y%m%d%H%M%S", time.localtime(time.time()))
    # now = time.strftime("%Y%m%d%H", time.localtime(time.time()))
    # fname = (kw + "吧_" + kw2 + now + r".txt")
    fname = (kw + "吧_P" + str(beginPage) + "-P" + str(endPage) + "_" + kw2 + r".txt")
    with open(fname, 'a') as f:
        f.write(all_nr_print+"\n")


def all_nr(full_url):
    html = urlopen(full_url)
    bsObj = BeautifulSoup(html, 'html.parser')
    t1 = bsObj.find_all('a')
    for t2 in t1:
        t3 = str(t2.get('href'))
        t31 = str(t2.get('title'))
        if len(t3) == 13:
            if kw2 in t31:
                all_nr_print = t31 + " " + str(kw2_url) + str(t3)
                print(all_nr_print)
                writeAl(all_nr_print)


def tiebaSpider(kw_url, beginPage, endPage):
    for page in range(beginPage, endPage + 1):
        pn = (page - 1) * 50
        full_url = kw_url + "&pn=" + str(pn)
        print("\n%s"% full_url)
        all_nr(full_url)
        # writeAl(full_url)


if __name__ == '__main__':
    kw = input('请输入贴吧名：')
    beginPage = int(input("请输入起始页："))
    endPage = int(input("请输入结束页："))
    kw2 = input('请输入帖子主题的\"关键词\"：')
    kw_url = "http://tieba.baidu.com/f?"
    kw2_url = "http://tieba.baidu.com"
    kw_key = urllib.parse.urlencode({"kw": kw})
    full_url = kw_url + kw_key
    tiebaSpider(full_url, beginPage, endPage)

 

效果展示

【招募】志同道合的小伙伴 http://tieba.baidu.com/p/5978320266
【招募】不搞事，不入社，让圈不要那么青黄不接。 http://tieba.baidu.com/p/5818071634
【招募】大型神话广播剧《复遁》招募cv        诛神灭 http://tieba.baidu.com/p/5951882277
【招募】全年龄广播剧《儿童列车》招募CV http://tieba.baidu.com/p/5962267374
【招募】声御轩广播剧社持续招新中 http://tieba.baidu.com/p/5962547207
【招募】叮咚~您有一份待签收的邀请函~ http://tieba.baidu.com/p/5972716719
【招募】招募编剧，歌基，CV http://tieba.baidu.com/p/5973923547
【招募】绘音配音2018双十一特别招募开始啦！ http://tieba.baidu.com/p/5946805942
【招募】拂声剧社招新啦！ http://tieba.baidu.com/p/5876019775
【招募】不停与笙社团招新 http://tieba.baidu.com/p/5976567325
【招募】全一期古风bl剧《清潭》招募cv。人物和试音词看图 http://tieba.baidu.com/p/5978456005
【招募】陌熏熏工作组出品，全12期原创虐心系列之《半生戏》， http://tieba.baidu.com/p/5919689319
[招募]工作室招志同道合伙伴 http://tieba.baidu.com/p/5950106274
【招募】流连声色广播剧社招新 http://tieba.baidu.com/p/5513767446
【招募】全两期科幻耽美广播剧《机器》招募sc啦! http://tieba.baidu.com/p/5973981263
【招募】听弦小筑团队招人啦~~~ http://tieba.baidu.com/p/5954552471
分享：【招募】招募后期学徒 http://tieba.baidu.com/p/5977220335
【招募】广播剧《狼毫轶事录》求剧后 http://tieba.baidu.com/p/5977050477
【招募】三号广播剧社2018年招新~~来看看这个沉寂了两年的社团吧 http://tieba.baidu.com/p/5739440029
【招募】歌姬看过来，这有一首填翻需要歌姬，最好是御姐音，少御 http://tieba.baidu.com/p/5978220042
【招募】有没有老年人或者小新人想找个归属呀！我们家专收无家可 http://tieba.baidu.com/p/5876316759
【招募】平声欢社团招新啦！ http://tieba.baidu.com/p/5972804085
【招募】全一期原创恐怖灵异广播剧《白衣成血》招募sc啦! http://tieba.baidu.com/p/5976285465
【招募】招募广播剧社入驻～ http://tieba.baidu.com/p/5958522967
【招募】栀子于归配音社招募啦 http://tieba.baidu.com/p/5870842105
【招募】拂声剧社招募啦~需要副社一枚~ http://tieba.baidu.com/p/5972040098
【招募】全一期古风BG广播剧《长歌诀》招募CV，美工 http://tieba.baidu.com/p/5971507781
分享：【招募】有偿 http://tieba.baidu.com/p/5977187731
【招募】你猜哪个工作组招募各工种 http://tieba.baidu.com/p/5960617052
【招募】一位无偿画师 《重生之恶少》广播剧第二期 春溪笛晓原著 http://tieba.baidu.com/p/5974780587
【招募】现代架空全一期原创耽美广播剧《魔窟的爱情轮回》招募cv http://tieba.baidu.com/p/5944614573
【招募】现代微悬疑全一期原创bg广播剧《镜面》招募cv http://tieba.baidu.com/p/5962239680
【招募】原创短剧 全一期 现代全年龄 广播剧《相遇》CV招募 http://tieba.baidu.com/p/5953852568
【招募】全一期亲情广播剧《相遇》继续招募CV http://tieba.baidu.com/p/5958363399
【招募】全年龄原创短剧《相遇》 http://tieba.baidu.com/p/5960516165
【招募】音玖广播剧社团招募 http://tieba.baidu.com/p/5422417242
【招募】全一期现代BG广播剧《星辰似你》招募cv http://tieba.baidu.com/p/5949823490
【招募】绿叶ACG动漫配音社团招新了！ http://tieba.baidu.com/p/5709436979
【招募】「韵寥幽音原创团队」五周年团队招新啦～～～ http://tieba.baidu.com/p/5959834856
【招募】广播剧，求一萝莉音 http://tieba.baidu.com/p/5961227120
【招募】纯男音微时配音社年末招新（长期） http://tieba.baidu.com/p/5961400299
【招募】夜雨声繁广播剧社招新第六弹 http://tieba.baidu.com/p/5886257950
【招募】《因为风就在那里》剧组招募CV http://tieba.baidu.com/p/5905474046
【耽美广播剧cv龙套招募】全一期现代耽美广播剧《有何不可》 http://tieba.baidu.com/p/5968767308
【招募】708工作室招新~欢迎大可爱小可爱们加入 http://tieba.baidu.com/p/5970854197
【招募】现代写实向广播剧《沉默》招募cv啦 http://tieba.baidu.com/p/5972644325
【招募】有声小说招募一批主播 http://tieba.baidu.com/p/5869491333
【招募】现代耽美广播剧《天生敌对》下期招募CV请各位踊跃试音！ http://tieba.baidu.com/p/5572391112
【招募】有声漫画《男神恋爱系统》招募CV http://tieba.baidu.com/p/5972707560
【招募】广播剧中介无偿接新群本群的宗旨是找寻圈子里至今还无偿 http://tieba.baidu.com/p/5825823553
【招募】此生浮华音社招新 http://tieba.baidu.com/p/5819980058
【招募】七米末年配音组招新 http://tieba.baidu.com/p/5958504165
【招募】《天官赐福》招募cv啦 http://tieba.baidu.com/p/5841752098
【招募】招一个歌后小可爱！急！打算十二月二十号左右发歌。剧情 http://tieba.baidu.com/p/5970157276
【招募】全一期古风BL剧《相思令》招募CV http://tieba.baidu.com/p/5950575551
【招募】校园自媒体x微信公众号“七夕特辑”活动《我对象呢》c http://tieba.baidu.com/p/5842735372

广播剧吧_P1-P3_招募.txt

 

转载于:https://www.cnblogs.com/huanu/p/10111507.html