Python爬虫案例,腾讯动漫爬虫,步骤超详细解释。

实施步骤

(1) 数据爬取:使用requests请求为基础获取数据源。
(2) UA伪装:模拟浏览器访问网址。
(3) 数据解析:使用xpath语法处理数据。
(4) 数据存储:获取需求数据后使用Excrl进行存储

目标网址

https://ac.qq.com/Comic/all/search/hot/page/1

库的使用

Openpyxl:openpyxl 模块是一个读写 Excel 2010 文档的 Python 库,如果要处理更早格式的 Excel 文档,需要用到其它库(如:xlrd、xlwt 等),这是 openpyxl 比较其他模块的不足之处。openpyxl 是一款比较综合的工具,不仅能够同时读取和修改 Excel 文档,而且可以对Excel文件内单元格进行详细设置,包括单元格样式等内容,甚至还支持图表插入、打印设置等内容,使用 openpyxl 可以读写xltm, xltx, xlsm, xlsx 等类型的文件,且可以处理数据量较大的 Excel 文件,跨平台处理大量数据等。

Requests:requests是基于Python开发的HTTP 库,与urllib标准库相比,它不仅使用方便,而且能节约大量的工作。实际上,requests是在urllib的基础上进行了高度的封装,它不仅继承了urllib的所有特性,而且还支持一些其它的特性,比如使用Cookie保持会话、自动确定响应内容的编码等,可以轻而易举地完成浏览器的任何操作。

Lxml:lxml是一个Python库,使用它可以轻松处理XML和HTML文件,还可以用于web爬取。这个库的主要优点是易于使用,在解析大型文档时速度非常快,归档的也非常好,并且提供了简单的转换方法来将数据转换为Python数据类型,从而使文件操作更容易。

数据采集

简单分析网页后发现该网页翻页操作可通过对url的相关参数修改得知。
在这里插入图片描述

测试如下:
在这里插入图片描述

进行多次测试得知通过对url相关参数修改的确实现了换页功能。
!!!!!!

共292页,我们可以通过简单的for循环实现每一页的替换。
在这里插入图片描述

for n in range(293):
	请求数据

对url进行修饰后使得for循环的参数可以对请求的目标网址url进行影响。

url = f'https://ac.qq.com/Comic/all/search/hot/page/{n}'

因为绝大多数门户网站的服务器会检测对应请求的载体身份标识,如果检测到载体身份标识为某一浏览器说明该请求是一个正常请求. 但是!如果检测到请求载体身份标识不是基础于莫一款浏览器的,则表示该请求为不正常请求(爬虫),则服务器端就很有可能拒绝该次请求。所以为了应对我们进行一点小小的操作UA伪装(UA伪装:让爬虫对应的请求载体身份标识伪装成某一款浏览器

Python爬虫案例,腾讯动漫爬虫,步骤超详细解释。_第1张图片

这里我们直接复制浏览器的UA让爬虫携带上就可以进行UA伪装了。

headers={"User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/85.0.4183.83 Safari/537.36'}

综上所述采集获取部分如下:

for n in range(293):
    url = f'https://ac.qq.com/Comic/all/search/hot/page/{n}'
    headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'
    }
    response = requests.get(url=url,headers=headers)

数据分析
首先对采集的数据进行简单的处理。
response = response.text
tree = etree.HTML(response)

对网址检查分析。

Python爬虫案例,腾讯动漫爬虫,步骤超详细解释。_第2张图片

发现它的每一页的每一部漫画的相关数据在这样一个li标签里面。

使用xpath进行解析

li_all = tree.xpath('/html/body/div[3]/div[2]/div/div[2]/ul/li')

获取了每一页的所有漫画大概内容后,就可以对每本的细节进行分析。
这里我们获取每本漫画漫画名,作者,人气。
Python爬虫案例,腾讯动漫爬虫,步骤超详细解释。_第3张图片

对网页分析如下:
Python爬虫案例,腾讯动漫爬虫,步骤超详细解释。_第4张图片
Python爬虫案例,腾讯动漫爬虫,步骤超详细解释。_第5张图片
Python爬虫案例,腾讯动漫爬虫,步骤超详细解释。_第6张图片

使用xpath语法解析得

作品名字 = li_all[q].xpath('./div[2]/h3/a/text()')
作者 = li_all[q].xpath('./div[2]/p[1]/text()')
人气 = li_all[q].xpath('./div[2]/p[2]/span/em/text()')

因为一个的本数刚好就是之前

  • 的个数,我们对li标签的列表进行长度获取就可以。
  • len(li_all)
    

    然后进行for循环遍历,获取每页每本的详细数据。

    for q in range(len(li_all)):
        e = li_all[q].xpath('./div[2]/h3/a/text()')
        z = li_all[q].xpath('./div[2]/p[1]/text()')
        r = li_all[q].xpath('./div[2]/p[2]/span/em/text()')
    

    综上所述解析获取部分如下:

    response = response.text
    
    tree = etree.HTML(response)
    
    li_all = tree.xpath('/html/body/div[3]/div[2]/div/div[2]/ul/li')
    
    for q in range(len(li_all)):
        e = li_all[q].xpath('./div[2]/h3/a/text()')
        z = li_all[q].xpath('./div[2]/p[1]/text()')
        r = li_all[q].xpath('./div[2]/p[2]/span/em/text()')
    

    源码

    import openpyxl
    import requests
    from lxml import etree
    
    
    wb = openpyxl.Workbook() # 新建一个workbook
    # print(wb)
    ws = wb.active   # 调用正在运行的工作表
    
    ws['A1'] = '漫画';ws['B1'] = '作者名字';ws['C1'] = '人气'
    
    number = 2
    for n in range(293):
        url = f'https://ac.qq.com/Comic/all/search/hot/page/{n}'
        headers = {
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'
        }
        response = requests.get(url=url,headers=headers)
        response = response.text
    
        tree = etree.HTML(response)
    
        li_all = tree.xpath('/html/body/div[3]/div[2]/div/div[2]/ul/li')
    
        for q in range(len(li_all)):
            e = li_all[q].xpath('./div[2]/h3/a/text()')
            z = li_all[q].xpath('./div[2]/p[1]/text()')
            r = li_all[q].xpath('./div[2]/p[2]/span/em/text()')
            ws[f'A{number}'] = e[0]
            ws[f'B{number}'] = z[0]
            ws[f'C{number}'] = r[0]
            print('漫画:',e[0],'\n作者名字:',z[0],'\n人气:',r[0])
            print()
            number += 1
        wb.save('./漫画.xlsx')
    

    结果演示
    Python爬虫案例,腾讯动漫爬虫,步骤超详细解释。_第7张图片
    Python爬虫案例,腾讯动漫爬虫,步骤超详细解释。_第8张图片

你可能感兴趣的:(python)