Task3 学习beautifulsoup

1.常用的几个beautifulsoup技巧

html对象 text文本去掉标签
print(soup)
print(soup.text)

对象类型
print(type(soup))

查找a标签 .text打印a的内容
print(soup.find(‘a’))
print(soup.find(‘a’).text)

查找a标签 class=poster的
print(soup.find(‘a’,class=‘poster’))

查找id=info
print(soup.find(id=‘info’))

查找title=‘content’ 前边可以写具体找哪个标签
print(soup.find(title=‘content’))

find_all 找所有 返回一个list 数组类型
print(soup.find_all(‘p’))
print(soup.find_all(‘p’)[1]) #第一个

2.使用beautifulsoup提取下面丁香园论坛的特定帖子的所有回复内容，以及回复人的信息

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2019/3/2 0002 下午 10:34
# @Author  : StalloneYang
# @File    : request_douban.py
# @desc:Task3 学习beautifulsoup，并使用beautifulsoup提取内容，使用beautifulsoup提取丁香园论坛的回复内容。

from bs4 import BeautifulSoup
import requests

url = "http://www.dxy.cn/bbs/thread/626626"

req = requests.get(url)
# print(req.soup.decode("utf-8"))  # 打印接口请求到的信息
html_reponse = req.text

soup = BeautifulSoup(html_reponse, 'html.parser')

all_comment = soup.select('#postcontainer > div')  # 找有多少个评论list

for i in range(len(all_comment)):
    post = "#post_"+str(i+1)  # 通过for循环去取每一次评论的信息
    user_name = soup.select(post + ' table tbody tr td.tbs div.auth a')  # 楼主姓名
    # print(user_name[0].text)
    # print(len(user_name))

    user_level = soup.select(post + ' table tbody tr td.tbs div.info.clearfix')  # 等级
    # print(user_level[0].text)
    # print(len(user_level))

    user_score = soup.select(post + ' table tbody tr td.tbs div.user_atten ul li:nth-of-type(1)')  # 积分  （解决办法为：nth-child改为nth-of-type）
    # print(user_score[0].text)
    # print(len(user_score))

    user_votes = soup.select(post + ' table tbody tr td.tbs div.user_atten ul li:nth-of-type(2)')  # 得票
    # print(user_votes[0].text)
    # print(len(user_votes))

    user_home_money = soup.select(post + ' table tbody tr td.tbs div.user_atten ul li:nth-of-type(3)')  # 叮当
    # print(user_home_money[0].text)
    # print(len(user_home_money))

    user_comment = soup.find_all("td", class_="postbody")  # 评论
    # print(user_comment[i].text.strip())
    # print(len(user_comment))

    print("第" + str(i+1) + "楼复人的信息>>姓名：" + user_name[0].text + " 等级:" + user_level[0].text.strip() + " 积分:" + user_score[0].text + " 得票:" + user_votes[0].text + " 叮当:" + user_home_money[0].text + " 评论内容：" + user_comment[i].text.strip())
    

运行结果如下：

E:\Python36\python3.exe E:/PY/test/req_task/request_dingxiang.py
第1楼复人的信息>>姓名：楼医生 等级:常驻站友 积分:3积分 得票:1得票 叮当:168丁当 评论内容：我遇到一个“怪”病人，向大家请教。她，42岁。反复惊吓后晕厥30余年。每次受响声惊吓后发生跌倒，短暂意识丧失。无逆行性遗忘，无抽搐，无口吐白沫，无大小便失禁。多次跌倒致外伤。婴儿时有惊厥史。入院查体无殊。ECG、24小时动态心电图无殊；头颅MRI示小软化灶；脑电图无殊。入院后有数次类似发作。请问该患者该做何诊断，还需做什么检查，治疗方案怎样？
第2楼复人的信息>>姓名：lion000 等级:丁香园准中级站友 积分:43积分 得票:7得票 叮当:82丁当 评论内容：从发作的症状上比较符合血管迷走神经性晕厥，直立倾斜试验能协助诊断。在行直立倾斜实验前应该做常规的体格检查、ECG、UCG、holter和X-ray胸片除外器质性心脏病。贴一篇“口服氨酰心安和依那普利治疗血管迷走性晕厥的疗效观察”作者：林文华 任自文 丁燕生http://www.ccheart.com.cn/ccheart_site/Templates/jieru/200011/1-1.htm
第3楼复人的信息>>姓名：xghrh 等级:丁香园荣誉版主 积分:68积分 得票:15得票 叮当:413丁当 评论内容：同意lion000版主的观点：如果此患者随着年龄的增长，其发作频率逐渐减少且更加支持，不知此患者有无这一特点。入院后的HOLTER及血压监测对此患者只能是一种安慰性的检查，因在这些检查过程中患者发病的机会不是太大，当然不排除正好发作的情况。对此患者应常规作直立倾斜试验，如果没有诱发出，再考虑有无可能是其他原因所致的意识障碍，如室性心动过速等，但这需要电生理尤其是心腔内电生理的检查，毕竟是有一种创伤性方法。因在外地，下面一篇文章可能对您有助，请您自己查找一下。心理应激事件诱发血管迷走性晕厥1例 ，杨峻青、吴沃栋、张瑞云，中国神经精神疾病杂志， 2002 Vol.28 No.2
第4楼复人的信息>>姓名：keys 等级:常驻站友 积分:8积分 得票:0得票 叮当:141丁当 评论内容：该例不排除精神因素导致的，因为每次均在受惊吓后出现。当然，在作出此诊断前，应完善相关检查，如头颅MIR(MRA),直立倾斜试验等。

Process finished with exit code 0

截图如下：