分享个pyppeteer 通用爬虫
突然发现自己之前写过的代码
虽然现在爬虫都逆向了，但是有时候获取个一次性数据，或者不需要维护的时候 pyppeteer 还是非常好用的。
因为pyppeteer 是puppeteer的python 版本 所以不是特别火 网上资料也非常少
.简单记录一下
如果想详细了解
https://zhaoqize.github.io/puppeteer-api-zh_CN/
去看看官网
这边分析一个可以爬取几乎任何网站的一组python代码 写的比较粗糙。
去年八月份写的 也没做什么处理
本人发这个网站提供参考，如有其他 不关我事。
示例网站 也不要一直爬取，会给别人带来困扰。
# -*- coding: utf-8 -*-
# home.php?mod=space&uid=238618 : 2022/8/19 13:17
# home.php?mod=space&uid=686208 : lzc
# home.php?mod=space&uid=621973 : [email protected]
# home.php?mod=space&uid=267492 : __init__.py
# @Software: PyCharm
import asyncio
from pyppeteer import launch
from collections import namedtuple
def screen_size():
"""使用tkinter获取屏幕大小"""
# 导入gui编程的模块
import tkinter
# 创建一个空间界面
tk = tkinter.Tk()
# 获得宽高
width = tk.winfo_screenwidth()
height = tk.winfo_screenheight()
tk.quit()
# 得到返回值
return width, height
async def main():
# 默认无头浏览器 沙盒模式
browser = await launch({'headless': False, 'args': ['--no-sandbox'], })
# 新开一个page对象
page = await browser.newPage()
# 拿到一个尺寸 作为你的谷歌浏览器大小
width, height = screen_size()
# 也可以自定义
await page.setViewport(viewport={"width": width, "height": height})
# 开启js
await page.setJavaScriptEnabled(enabled=True)
# 设置请求头
await page.setUserAgent(
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
'(KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'
)
# 开启 隐藏 是selenium 让网站检测不到
await page.evaluate('''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''')
# 访问url
await page.goto(website.url)
now_page = 0
while True:
now_page += 1
# 滑动js 动态加载
await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')
# 优雅的等待1秒 不会造成 资源阻塞
await asyncio.sleep(1)
# xpath
li_list = await page.querySelectorAll(website.list_query)
# 可将返回值返回到列表中 可省略
# item_list = []
for li in li_list:
# 防止有些网站 第一条数据获取不到 第二条数据获取的到 故加个try
try:
# 找寻下面所有的a标签 详情页链接地址
title_obj = await li.querySelector("a ")
# 找到 其 链接地址和链接标题
title_url = await page.evaluate('(element) => element.href', title_obj)
title_name = await page.evaluate('(element) => element.textContent', title_obj)
# 由于网站的时间 千奇百怪 有的在td 有的在p 有的在div 所有还是不要写死了
date_obj = await li.querySelector(website.title_date_query)
title_date = await page.evaluate('(element) => element.textContent', date_obj)
# 开一个新的对象
detail_page = await browser.newPage()
# 访问详情页
await detail_page.goto(url=str(title_url))
# 拿到源码
await detail_page.content()
# 拿到 详情页的selector 对象
element = await detail_page.querySelector(website.content_query)
# 拿到详情页
content_html = await detail_page.evaluate('(element) => element.outerHTML', element)
print(title_url, title_name, title_date, len(content_html))
await detail_page.close()
except Exception as e:
print(e)
print(f"第{now_page}页访问>>>>>")
# 点击下一页
next_page_link = website.next_page_query
if next_page_link:
await page.click(next_page_link)
else:
raise Exception("already Crawl complete Exit coming soon....")
await asyncio.sleep(2)
# return item_list
async def page_close(browser):
for _page in await browser.pages():
await _page.close()
await browser.close()
if __name__ == '__main__':
Websites = namedtuple('websites', ['url', 'list_query', 'title_date_query', 'content_query', 'next_page_query'])
websites = [
(
'http://www.cqzbtb.cn/_jiaoyixinxi/',
'.listbox ul',
'.ys',
'.article-wrap',
"body > section > div > div.list-wrap.row > div.listpa > ul > li:nth-child(7)"
),
]
for i in websites:
website = Websites._make(i)
a = main()
loop = asyncio.get_event_loop()
results = loop.run_until_complete(asyncio.gather(a))