Puppeteer

puppeteer stop redirect 的正确姿势及 net::ERR_FAILED 的解决

在官方文档(puppeteer/api.mdatmaster·GoogleChrome/puppeteer·GitHub)中，中断redirect的标准做法是这样的：constpuppeteer=require
panyanyany·2019-02-26 00:00

详解Puppeteer前端自动化测试实践

起因目前我们在持续开发着一个几十个页面，十万+行代码的项目，随着产品的更迭，总会出现这样的问题。在对某些业务逻辑或者功能进行添加或者修改的时候（尤其是通用逻辑），这些通用的逻辑或者组件往往会牵扯到一些其他地方的问题。由于测试人员受限，我们很难在完成一个模块单元后，对所有功能重新测试一遍。同时，由于环境及数据的区别，（以及在开发过程中对代码完备性的疏忽），代码会在某些特殊数据的解析和和展示上出现问题
Athon·2019-02-21 09:03

Puppeteer前端自动化测试实践

本篇内容将记录并介绍使用Puppeteer进行自动化网页测试，并依靠约定来避免反复修改测试用例的方案。主要解决页面众多时，修改代码导致的牵连错误无法被发现的运行时问题。文章首发于个人博客。
Athon·2019-02-20 00:00

windows国内最简单的安装puppeteer环境

puppeteer是配合Chromium使用的，所以本地必须有Chromium，所以npm命令提供了下载Chromium和不下载两种命令先创建一个本地文件夹puppeteer，然后使用cmd或者powershell
Mint6·2019-01-13 23:59

puppeteer实现html截图的示例代码

puppeteer是谷歌官方出品的一个通过DevTools协议控制headlessChrome的Node库。
morethink·2019-01-10 08:18

Windows下Node爬虫神器Puppeteer安装记

今天介绍一款node的爬虫利器：Puppeteer。Puppeteer正如其名“木偶”，它允许我们像牵线木偶一样操纵它。它是一个建立在DevTools协议
风萧萧梦潇·2019-01-09 14:36

爬虫利器Puppeteer实战

Puppeteer介绍Puppeteer翻译是操纵木偶的人，利用这个工具，我们能做一个操纵页面的人。
撸起袖子吃鸡·2019-01-09 11:44

puppeteer库入门初探

puppeteer是一个Chrome官方出品的headlessChromenode库。
Whirring·2019-01-09 11:39

使用nodejs+puppeteer+mysql+electron+vue等解决自动化弹幕之虎牙直播

使用nodejs+puppeteer+mysql+electron+vue等解决自动化弹幕之虎牙直播核心代码：1、发送消息代码：conststartHySendOne=asyncfunction(href
geds·2019-01-06 17:12

详解puppeteer使用代理

背景在使用puppeteer进行访问页面的时候，有时候需要用到代理。环境：centos7chrome安装puppeteer使用chrome。参考chrome的命令行使用方式。
面向未来的历史·2018-12-27 15:37

使用puppeteer爬取网站并抓出404无效链接

检查网页无效链接前言自动化技术可以帮助我们做自动化测试，同样也可以帮助我们完成别的事情，比如今天我们要做的检查网站404无效链接。原理实现这样的功能，大致分为以下步骤：1.打开官网首页，获取页面上所有的链接。2.添加规则对这些链接过滤，把外链去掉。3.遍历访问这些链接，打开打开其中的每一个链接，检查是否为404，如果是距离下来。4.重复执行1，2，3。直到把整个网站所有的链接都遍历完。准备Cuke
赵阳阳·2018-12-20 15:17

使用puppeteer爬取知乎文章，评论

初始的一些准备constbrowser=awaitpuppeteer.launch({executablePath:'/Applications/Google\Chrome.app/Contents/MacOS
ape_caesar·2018-12-14 19:28

抖音数据抓取

目的是防止抓取这个简单demo实现抓取抖音的防抓数据思路截图下数据发送到AI接口识别数字返回数据依赖puppeteer百度AI接口pm2使用cddypm2startdy-i4//可以借助pm2实现多进程抓取演示
小绿龙·2018-12-14 16:06

node与Puppeteer安装

1、Linux下node及npm环境安装下载安装node-v10.12.0-linux-x64wgethttps://npm.taobao.org/mirrors/node/v10.12.0/node-v10.12.0-linux-x64.tar.xz1.tar-xvfnode-v10.12.0-linux-x64.tar.xz2.确认一下nodejs下bin目录是否有node和npm文件，如果有
半天的半天·2018-12-09 21:00

使用puppeteer之全网页截图-修订版

内容简介：接上一篇的内容之前，简单介绍一下puppeteer环境的快速搭建；修订版目的；修订版具体实现，代码展示。
lcjasas·2018-12-06 10:54

nodejs 使用 js 模块的方法实例详解

Intro#最近需要用nodejs做一个爬虫，Google有一个Puppeteer的项目，可以用它来做爬虫，有关Puppeteer的介绍网上也有很多，在这里就不做详细介绍了。
Love it or leave it·2018-12-04 11:28

Puppeteer爬虫

constpuppeteer=require('puppeteer');constfs=require("fs");letscrape=async()=>{//headless为true时不会弹出浏览器
指尖上旳世界·2018-11-27 17:13

Puppeteer之爬虫入门

译者按：本文通过简单的例子介绍如何使用Puppeteer来爬取网页数据，特别是用谷歌开发者工具获取元素选择器值得学习。
Fundebug·2018-11-26 15:59

Puppeteer之爬虫入门

译者按：本文通过简单的例子介绍如何使用Puppeteer来爬取网页数据，特别是用谷歌开发者工具获取元素选择器值得学习。
Fundebug·2018-11-26 15:40

puppeteer爬虫

@(爬虫)[puppeteer|]爬虫又称网络机器人。每天或许你都会使用搜索引擎，爬虫便是搜索引擎重要的组成部分，爬取内容做索引。现如今大数据，数据分析很火，那数据哪里来呢，可以通过网络爬虫爬取啊。
ixlei·2018-11-16 00:00

Puppeteer 爬取动态生成的网页实战

Puppeteer相关介绍与安装不过多介绍，可通过以下链接进行学习一、Puppeteer开源地址英文文档中文社区二、爬取动态网页1.需求首先，了解下我们的需求:爬取zoomcharts文档中NetChart
Alone1469546971808·2018-11-14 09:34

手动下载Chrome并解决puppeteer无法使用问题

因为网络原因，国内安装puppeteer的时候会报网络超时。这里使用puppeteer-core之后使用手动下载的Chrome进行操作。
Marx·2018-11-12 08:26

2018-10-28 国内区块链存证法律效力调研

保全网通过公开，任何人可下载的谷歌程序puppeteer，自动化获取网页及其他相关源码，调用信息,获取流程按照固定的软件程序流程执行，取证和固证过程被人篡改的可能性较小。然后将获取的信息做哈希值
Andrew91·2018-10-28 17:22

2018-10-28 国内区块链存证法律效力调研

保全网通过公开，任何人可下载的谷歌程序puppeteer，自动化获取网页及其他相关源码，调用信息,获取流程按照固定的软件程序流程执行，取证和固证过程被人篡改的可能性较小。然后将获取的信息做哈希值
Andrew91·2018-10-28 17:22

如何用Node写页面爬虫的工具集

最近做了几个写爬虫的小项目（从页面端到APP端的都有），在网上搜寻了一番好用的爬虫工具，做了个工具集整理：Puppeteer简介Puppeteer是一个Node库，它提供了一个高级API来通过DevTools
SP-Lyu·2018-10-26 11:02

(实践)Node爬虫与网易云不解的渊源

前言koa2利用puppeteer爬取网易云音乐列表，一键下载(包括无版权音乐)[侵权即删]之前看看自己网易云的音乐都下架了。。付费都听不到。。那么我想听我的列表里面的歌怎么办？
winward·2018-10-24 00:00

unbuntu安装puppeteer中遇到的问题

在安装puppeteer过程中遇到一些错误，记录一下首先，因为墙的原因，下载chom内核的时候可能会卡住，其实加上一条指令就完美解决：//下载不了内核要设置下面的变量//exportPUPPETEER_DOWNLOAD_HOST
qq_23676873·2018-10-17 19:33

Puppeteer安装完美解决 - 自动从国内镜像下载

模式下运行，宣布了phantomjs下岗几大应用：爬虫技术前端unittest单元测试，比如结合karma+jasmine这些UIautomationtest，web界面自动化测试然后，谷歌还做了一个Puppeteer
qimming·2018-10-14 13:50

puppeteer实现线上服务器任意区域截图

同时，截图依赖的浏览器服务也存在很多兼容性问题，好在google提供了puppeteer模块依
RoyalRover·2018-09-28 00:00

Puppeteer环境搭建的详细步骤

简介Puppeteer是Google开发并开源的一款工具，可用代码驱动浏览器操作。由于诸多优秀的特性，Puppeteer常被用在爬虫与自动化测试上。详细介绍参见官方README。
严北·2018-09-21 08:17

爬虫利器Puppeteer

Puppeteer介绍Puppeteer1翻译是操纵木偶的人，利用这个工具，我们能做一个操纵页面的人。
lilongsy·2018-09-18 11:27

Node 实现爬虫

github.com/webxing/crawler_node爬虫按照一定的规则自动抓取网络信息的程序反爬虫user-Agent，Referer，验证码单位时间访问次数，访问量关键信息图片混淆异步加载爬虫利器puppeteer
阿昕_·2018-09-07 14:20

Puppeteer拦截某条url并返回其响应内容(场景和方法) API RequestInterception拦截器的使用

page.setRequestInterception(true)拦截器的使用方法和场景现附上Puppeteer的Api的链接https://github.com/GoogleChrome/puppeteer
Kevin-March·2018-08-30 18:30

前端使用puppeteer 爬虫生成《React.js 小书》PDF并合并

1、puppeteer是什么？
若川·2018-08-29 00:00

puppeteer初始探索

Puppeteer是Node.js的一个库类，由于puppeteer这玩意玩得还不太熟，但是基本命令还是懂得的，例如这是我从某游官网去自行点击的一小部分操作，原本目的就不是爬虫而是对官网的中队系统奖励自动点击分配物资使用的
SherrinfordL·2018-08-28 14:00

将自己在CSDN上的文章下载到本地并上传到掘金

不过，作为技术型体力劳动者人才，重复一种动作几十甚至上百遍未免有点丢失biger，想起前段时间我花费了大量时间翻译的Puppeteer，至今还没
Quiet-Night·2018-08-28 10:18

NodeJS简单爬虫-资源下载

1、需求扒取当前网页的请求资源，包括：js、css、2、环境及使用工具NodeJSpuppeteerGulp3、环境的搭建3-1、安装nodejs为了支持async和await，我们需要安装较高版本的node
朦dada·2018-08-25 15:12

好用的 Puppeteer 辅助工具 Puppeteer Recorder

PuppeteerPuppeteer是一个Node库，它提供了一个高级API来控制DevTools协议上的Chrome或Chromium，常用于爬虫、自动化测试等，你在浏览器手动完成的大多数事情都可以使用它来完成
改名字很伤神·2018-08-20 00:00

使用puppeteer之全网页截图-第一个版本

Puppeteer是谷歌官方出品的一个通过DevTools协议控制headlessChrome的Node库。
lcjasas·2018-08-13 17:59

puppeteer爬虫扒取数据后存入数据库

puppeteer爬虫扒取数据后存入数据库由于最近的工作内容接触到了爬虫与测试所以这里就记录了一个小小的例子爬虫puppeteer+Koa2+Mysql是从之前koa2项目上增强了爬虫的功能爬虫是以网易公开课的例子为例之前
无来往·2018-08-09 16:48

Puppeteer 中文文档 （与官方同步更新）

EnvironmentVariablesWorkingwithChromeExtensionsclass:Puppeteerclass:BrowserFetcherclass:Browserclass:
陈平安·2018-08-07 00:00

破解新浪微博登录手势验证码

使用Google出品的puppeteer库，可以轻松实现手势操作。解析手势路径由于可见的图形经过了切片编码，已不能从前端代码中
平仄_pingze·2018-08-06 09:10

关于 vue 预渲染

首先，setPUPPETEER_SKIP_CHROMIUM_DOWNLOAD=1  然后，npmipuppepeer-S  puppepeer安装上了，并且chromium也下载成功（莫名其妙）。np
常青1890·2018-08-04 11:15

Puppeteer搭配Node.js提供有验证码的登录的爬虫服务 可加代理 http接口调用

接上一篇,本人是java,但是为了项目研究了一段时间的nodejs和puppeteer,就是用http服务提供爬虫服务,这个爬虫服务调用的是puppeteer,有验证码的可以调用验证码服务然后继续执行!
Kevin-March·2018-08-02 16:14

Puppeteer 与 Chrome Headless 搭配Node.js的web服务提供爬虫服务入门和跳坑(Linux上部署)

一组件安装配置和常规错误解决1node和npm的安装(最新版本)wget-qO- https://raw.githubusercontent.com/creationix/nvm/v0.33.2/install.sh |bashsource~/.nvm/nvm.shnvminstallnode nvmusenode2查看安装版本node-vnpm-v3给linux加环境配置yuminstallpa
Kevin-March·2018-08-02 15:31

CentOS6.5-64位安装puppeteer，提示Chrome无法启动，查找并安装缺失依赖包——吕江民·敬上

1、进入chrome目录cd/mnt/project/express/back/chrome-linux2、检测缺失的依赖包lddchrome|grepnot//检测结果libatk-bridge-2.0.so.0=>notfoundlibgtk-3.so.0=>notfoundlibgdk-3.so.0=>notfoundlibGL.so.1=>notfound3、查找云端哪些软件下面包含对应的
web525·2018-07-28 00:00

puppeteer:官方出品的chrome浏览器自动化测试工具

puppeteer发布应该有一段时间了，这两天正好基于该工具写了一些自动化解决方案，在这里抛砖引给大家介绍一下。
乙醇·2018-07-26 16:00

使用puppeteer爬虫，检查页面静态资源丢失

因此，基于puppeteer写了一个简单的页面抓取图片资源进行排查的node.js脚本。优势可配置通过配置排查的页面的URL地址，根据顺序逐个排查，把错误的静态资源详情持久化。
271626514·2018-07-18 00:00

puppeteer安装

puppeteer在执行安装的过程中需要执行install.js，这里会下载Chromium，也下载失败，导致安装不成功，官网建议是进行跳过，解决办法：>npmi--savepuppeteer--ignore-scripts
yewenxiang·2018-07-12 10:14

【Puppeteer】爬虫脚本中插入 jQuery 的方法

利用Puppeteer操作无头浏览器进行数据爬取的时候，如果targetPage已经引入了jQuery则可以直接用$操作DOM结构，方法是声明一个变量var$=window.
Brown·2018-07-01 00:00
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他