Puppeteer爬取Youtube列表页面

Puppeteer 是基于nodejs的爬取工具,小巧轻便,它提供各种API 来控制Chrome 或Chromium 浏览器,用来做为测试、爬虫都相当合适,并且所提供的API 语法浅显易懂。
Puppeteer 地址

通过几句简单的语句,我们可以是用Puppeteer爬取Youtube视频列表页面中的视频内容

const puppeteer = require('puppeteer')

const browser = await puppeteer.launch({
args: ['--no-sandbox']
})
const page = await browser.newPage()
await page.goto('https://www.youtube.com/channel/UChaPcyq-uGOio8S_7-bguZA')
const html = await page.content()

await browser.close()

爬取的网页内容经过简单的筛选就能得到视频内容。

具体的项目请看视频:

https://www.bilibili.com/vide...

https://www.bilibili.com/vide...

你可能感兴趣的:(Puppeteer爬取Youtube列表页面)