Python-BeautifulSoup 实战（二）：获取文章详细信息

上一篇的笔记中我们学习了如何通过 BeautifulSoup 获取作者的基本信息，这篇将按照同样的思路，用BeautifulSoup获取作者文章的信息（阅读次数、评论数、喜欢数和打赏次数）。

和之前一样，做好准备工作：

from bs4 import BeautifulSoup
import requests
url = 'http://www.jianshu.com/users/65ed1c462691/top_articles'
header = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:36.0) Gecko/20100101 Firefox/36.0'}
response = requests.get(url, headers=header)
html = response.text

上面的过程把作者的主页内容存储在了html中，接下来就是 BeautifulSoup 登场的时候了：

soup = BeautifulSoup(html, 'lxml')

我还是挑选重要的东西贴上来：

...
Python 代码就该是这种味道


          阅读 1817
 
           · 评论 36
  · 喜欢 82

Cescfangs ·

PyQt5学习笔记（一）： 来创建第一个PyQt应用吧！

阅读 398 · 评论 3 · 喜欢 15

...

发现了什么？所有文章的题目都是在

标签里，而文章的数据信息都是在

标签里，我们先把文章题目找出来：

h4 = soup.find_all('h4')

结果是这样子的：

[
Python 代码就该是这种味道
,
 
PyQt5学习笔记（一）： 来创建第一个PyQt应用吧！
,
 
Python-matplotlib：快速入门教程
,
 
混合编程：用 C 语言来扩展 Python 大法吧！
,
 
 PyQt5学习笔记（八）：工具栏、菜单栏、状态栏整合
,
 
PyQt5学习笔记（五）：弹出对话框请求确认
,
 
可能会有用的Clion技巧—— Mac篇
,
 
PyQt5学习笔记（六）：创建菜单栏
,
 
PyQt5学习笔记（四）：退出按钮
]

通过列表推导简单处理一下数据：

h4_title = [item.string for item in h4]
h4_title

'''
['Python 代码就该是这种味道',
 'PyQt5学习笔记（一）： 来创建第一个PyQt应用吧！',
 'Python-matplotlib：快速入门教程',
 '混合编程：用 C 语言来扩展 Python 大法吧！',
 ' PyQt5学习笔记（八）：工具栏、菜单栏、状态栏整合',
 'PyQt5学习笔记（五）：弹出对话框请求确认',
 '可能会有用的Clion技巧—— Mac篇',
 'PyQt5学习笔记（六）：创建菜单栏',
 'PyQt5学习笔记（四）：退出按钮']
 '''

文章的题目已经提取好了，接下来去寻找所有的

标签，和上面的方法一样：

list_footer = soup.find_all('div', class_='list-footer')
list_footer
''''内容稍多，贴一部分
[

 
           阅读 1817
  
            · 评论 36
   · 喜欢 82
 
, 

 
           阅读 398
  
            · 评论 3
   · 喜欢 15
 
, 

 
           阅读 361
  
            · 评论 4
   · 喜欢 13
 
, 

 
           阅读 274
  
            · 评论 3
   · 喜欢 10
  · 打赏 1
 
,
 ...]''''

情况比之前的稍微复杂一点，阅读和评论在标签里，而喜欢和打赏却在标签里，还好BeautifulSoup的find_all可以添加多个参数：

list_footer_list = [item.find_all(['a','span']) for item in list_footer]
list_footer_list
'''
[[
            阅读 1817
  , 
             · 评论 36
  ,  · 喜欢 82], [
            阅读 398
  , 
             · 评论 3
  ,  · 喜欢 15], [
            阅读 361
  , 
             · 评论 4
  ,  · 喜欢 13], [
            阅读 274
  , 
             · 评论 3
  ,  · 喜欢 10,  · 打赏 1], [
            阅读 167
  ,
  
             · 评论 4
  ,
   · 喜欢 6], [
            阅读 114
  , 
             · 评论 2
  ,  · 喜欢 5], [
            阅读 1057
  , 
             · 评论 4
  ,  · 喜欢 5], [
            阅读 133
  , 
             · 评论 3
  ,  · 喜欢 4], [
            阅读 148
  , 
             · 评论 4
  ,  · 喜欢 4]]
'''

BeautifulSoup提供的string属性可以返回标签的内容比如‘阅读 167’，在此基础上我们还是需要处理一下字符串，只保留我们想要的数字，我们先定义一个函数去掉字符串里的非数字内容：

def trans2numbers(string):
    return int(''.join(a for a in string.strip() if a.isdigit()))

还需要一个新的函数来处理list_footer_list ：

def article_status(article_list):
    result = []
    for item in article_list:
        result.append(trans2numbers(item.string))
    
    return result

有了上面的两个函数，就可以进行列表推导来构造新的列表了：

article_status_list = [article_status(item) for item in list_footer_list]
article_status_list
'''
[[1817, 36, 82],
 [398, 3, 15],
 [361, 4, 13],
 [274, 3, 10, 1],
 [167, 4, 6],
 [114, 2, 5],
 [1057, 4, 5],
 [133, 3, 4],
 [148, 4, 4]]
'''

构造了一个二维的列表，每一个列表第一个数字是阅读数量，第二个是评论数，第三个是喜欢的数量，如果文章被打赏的话还会有一个打赏的数字，然后我们把数字和文章的题目对应起来：

articles = []
for title, status in zip(h4_title, article_status_list):
    articles.append([title, status])
    
articles
'''
[['Python 代码就该是这种味道', [1819, 36, 82]],
 ['PyQt5学习笔记（一）： 来创建第一个PyQt应用吧！', [400, 3, 15]],
 ['Python-matplotlib：快速入门教程', [362, 4, 13]],
 ['混合编程：用 C 语言来扩展 Python 大法吧！', [275, 3, 10, 1]],
 [' PyQt5学习笔记（八）：工具栏、菜单栏、状态栏整合', [169, 4, 6]],
 ['PyQt5学习笔记（五）：弹出对话框请求确认', [116, 2, 5]],
 ['可能会有用的Clion技巧—— Mac篇', [1064, 4, 5]],
 ['PyQt5学习笔记（六）：创建菜单栏', [135, 3, 4]],
 ['PyQt5学习笔记（四）：退出按钮', [149, 4, 4]]]
'''

大功告成!!!

不知道细心如你有没有发现以上得到的文章只有九篇，但是我明明写了20篇啊啊啊！嗯嗯，其实主页的内容是分次加载的，并不会一次性把你所有的文章加载，而是采用下拉刷新的模式加载第二页第三页的内容，解决这个并不难，找到其他文章展示页的地址就行了。