初级爬虫使用指北(6)--很多目标

目录

  1. 目的
  2. 分析需求
  3. 分析网页
  4. 重复之道
  5. 与爬虫结合
  6. 附加题

写在前面:
从现在开始,教程可能会变成这样:


来源:微博@英式没品笑话

好,让我们开始吧

1. 目的

我已经知道如何收集 & 解析 网页数据了,那么问题来了,如果有很多很多的网页等待着我收集,难道我要每次都去修改“目标URL”再运行一次程序吗?

是时候发挥程序的作用了:

  • 函数化
  • 循环作业

2. 分析需求:一个实战任务

我希望收集ACM的Fellow的基础信息,做一些基础的统计,那么我将:

  • 首先,抽取这些fellow的基本信息,以及他们的对应的Digital Library的档案信息 (https://awards.acm.org/fellows/award-winners)

    ACM的fellow列表

  • 其次,在Digital Library的档案信息中,这两个地方是我即将收集的信息点——专家的“单位”信息,以及他/她过往出版物的统计信息 (https://dl.acm.org/author_page.cfm?id=81100622053)

    对应的DL档案信息


3. 分析网页

我可以直接访问“Fellow”列表的网页,抽取这些专家的基础信息(姓名/年份/来源),但是我也需要抽取每个人对应的Digital Library数据中的档案信息。

所以,使用“右键->检查”查看鼠标点击出对应的元素的具体源代码:


使用“检查”功能

使用BeautifulSoup解析网页

t_table = soup.find(
    'table', attrs={'summary': 'Awards Winners List'})

如果我没说清楚的话,那么在看一次。
我需要抽取档案信息的Affiliation History 信息,在这行字上点击鼠标右键,再选中“检查”:


再次使用“检查”功能

这样我们就知道了我们即将抽取的标签的路径


chrome 浏览器上使用“检查”功能的结果

使用BeautifulSoup解析网页

tableList_pub = soup.find_all(
        'table',
        attrs={'width': '90%', 'style': 'margin-top: 1px; margin-bottom: 10px',
               'border': '0', 'align': 'left'})

4. 重复之道

函数化:定义一种动作

将一个常见的动作(代码)固定下来,每次只改变想更改的部分即可。“函数化”还可以使代码块的

print('I fetch apple')
print('I fetch pencil')
print('I fetch your heart')
print('I fetch your love in my dream')

以上代码等价于:

def fetch(something):
    print('I fetch ' + something)

fetch('apple')
fetch('pencil')
fetch('your heart')
fetch('love in my dream')

循环:迈向自动化

循环可以让某些动作重复,而不用代码一次次地重复写

print('0')
print('1')
print('2')
print('3')
print('4')
print('5')
print('6')
print('7')

以上代码等价于:

for i in range(8):
    print(str(i))

5. 与爬虫结合

当我找到

里的所有标签后,我应该遍历每一个tr标签,找到目标信息点:

再次再次使用“检查”功能

我当然不会一个个写代码抽取它们,所以使用“循环”:

fellowList = [] # 初始化一个空的列表,用于存放数据

# 对于每一个找到的‘tr’标签,循环处理
for tr in t_table.tbody.find_all('tr', attrs={'role': 'row'}):

    tdList = tr.find_all('td') # 找到‘tr’中的‘td’标签

    name = tdList[0].string # 第一个‘td’标签是 姓名

    year = tdList[2].string # 第三个‘td’标签是 年份

    nation = tdList[3].string # 第四个‘td’标签是 来源

    dlLink = tdList[4].a['href'] # 第五个‘td’标签是 对应的Digital Library 的档案链接

    fellowList.append([name, year, nation, dlLink]) # 把这些标签的内容放置于列表中

当然我还要清理抽取内容中的乱码,所以以上代码进一步更改为:

# 清理网页文本数据
def cleanStr(text):
    ''' 清理网页字符串里的无用字符'''
    # 清理 空格
    # 'Masinter,\xa0Larry\xa0M' -> 'Masinter, Larry M'
    # \xa0 是 html 里的空格  
    text.replace('\xa0', ' ')

    text.replace('\t', '')  # 清理 回车
    text.replace('\n', '')  # 清理 退格

    return text

# 使用一个列表放置数据
fellowList = []

# 对于每一个找到的‘tr’标签,循环处理
for tr in t_table.tbody.find_all('tr', attrs={'role': 'row'}):

    # 找到‘tr’中的‘td’标签
    tdList = tr.find_all('td')

    # 第一个‘td’标签是 姓名
    name = tdList[0].string
    cleanStr(name)

    # 第三个‘td’标签是 年份
    year = tdList[2].string
    cleanStr(year)

    # 第四个‘td’标签是 来源
    nation = tdList[3].string
    cleanStr(nation)

    # 第五个‘td’标签是 对应的Digital Library 的档案链接
    dlLink = tdList[4].a['href']

    # 把这些标签的内容放置于列表中
    fellowList.append([name, year, nation, dlLink])

6. 附加题

  • 这些代码可以进一步精简,但是为了增加可读性,保持一定的冗余也是好的
  • 完整代码将在下一章给出

你可能感兴趣的:(初级爬虫使用指北(6)--很多目标)