Python爬取晋江文学城网友交流区（兔区）帖子里的共多少个id

晋江文学城网友交流区，俗称兔区，是一个以明星八卦为主要讨论内容的匿名论坛。

1：该区帖子特点如下：

第一：论坛中每一个帖子回复只会显示一个id；
第二：同一个帖子里，同一个登录账号的id是固定不变的。

2：在取得一个帖子内有多少个固定id时，按照以下思路：

第一：该贴有多少页;
第二：找到id;
第二：对于多次回复的同一账号id的去重。

3：分析网页的特点:

第一：定位这帖子共多少页:

首先打开帖子的第一页：
以帖子为例（找一个不引战的帖子很难，我寻思二次元应该好一点）
网址：http://bbs.jjwxc.net/showmsg.php?board=2&boardpagemsg=1&id=6577455
可以看到首页有一个“共5页”，所以我们就可以知道这个帖子有5页了，所以把这个参数取下来就行。
具体参数右键-“检查网页源代码”可以找到：

1.PNG

2.PNG

另外还有帖子是一页的情况，那么是没有这个参数的，因此具体的代码如下：

#1:先查一下这个帖子一共有几页
print ("请输入帖子第一页的网址:" )
url = str( input() )
req = requests.get(url,cookies=cookies,headers=headers)
text = req.content.decode('GB2312','ignore')
soup = BeautifulSoup(text,features='lxml')
try :
    page_top = soup.find(name='div',attrs={'id':'pager_top'}).text  
    page_count_text =  re.findall(r'\d+(?:\.\d+)?', page_top)
    page_count = int ( page_count_text[0] )
    print ( '该帖子一共：' + str(page_count) + '页')
except :
    page_count = 1
    print ( '该帖子一共：' + str(page_count) + '页')

第二：查询固定id

如图具体的id，右键-“网页源代码”查看id对应的具体的参数：

3.PNG

4.PNG

因此具体的代码如下：

i = 1 
count_id = 1
for i in range(page_count):
    url_2 = url+ str( '&page=' )+ 'str(i-1)'
    req = requests.get(url_2,cookies=cookies,headers=headers)
    text = req.content.decode('GB2312','ignore')
    soup = BeautifulSoup(text,features='lxml')
    authorname = soup.find_all(name='td',attrs={'class':'authorname'})
    list = []
    for id in authorname:
        id_list =list.append( id.find(color="#999999").string )   
    #因为一个楼里同一个人多次回复，所以我们可能会重复的id，因此需要去重
    dis_li = []
    for i in list:
        if i not in dis_li:
            dis_li.append(i)
    #依次输出去重后的id    
    print ('帖子的具体id：')    
    for ev_id in dis_li:
        print ( str(count_id) + '______' + ev_id)
        count_id = count_id + 1
    time.sleep(5)

运行效果：

5.PNG

完整的代码如下：

# -*- coding: utf-8 -*-

import requests
from bs4 import BeautifulSoup
import time
from future.backports.http import cookies
from http import cookies
from pip._internal import req
import xml.etree.ElementTree as ET
import re

headers = {'user-agent':
          '自行补充'  
          }
          
cookies = {'cookies':
           '自行补充'    
          }

#1:先查一下这个帖子一共有几页
print ("请输入帖子第一页的网址:" )
url = str( input() )
req = requests.get(url,cookies=cookies,headers=headers)
text = req.content.decode('GB2312','ignore')
soup = BeautifulSoup(text,features='lxml')
try :
    page_top = soup.find(name='div',attrs={'id':'pager_top'}).text  
    page_count_text =  re.findall(r'\d+(?:\.\d+)?', page_top)
    page_count = int ( page_count_text[0] )
    print ( '该帖子一共：' + str(page_count) + '页')#帖子大于1页时
except :
    page_count = 1
    print ( '该帖子一共：' + str(page_count) + '页')#帖子只有1页



#2:将每一个的ID提取出来
i = 1 
count_id = 1
for i in range(page_count):
    url_2 = url+ str( '&page=' )+ 'str(i-1)'
    req = requests.get(url_2,cookies=cookies,headers=headers)
    text = req.content.decode('GB2312','ignore')
    soup = BeautifulSoup(text,features='lxml')
    authorname = soup.find_all(name='td',attrs={'class':'authorname'})
    list = []
    for id in authorname:
        id_list =list.append( id.find(color="#999999").string )   
    #因为一个楼里同一个人多次回复，所以我们可能会重复的id，因此需要去重
    dis_li = []
    for i in list:
        if i not in dis_li:
            dis_li.append(i)
    #依次输出去重后的id    
    print ('帖子的具体id：')    
    for ev_id in dis_li:
        print ( str(count_id) + '______' + ev_id)
        count_id = count_id + 1
    time.sleep(5)