puppeteer

puppeteer在linux使用

1chrome下载https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpmyumlocalinstall2puppeteer
随风九天·2020-08-23 18:03

selenium自动化测试

一.自动化选型不同点selenium类（RF、Katalon、Macaca等）UFT(QTP)JS类库（Phantomjs、CasperJS、Puppeteer)是否开源是否是支持平台Linux、Windows
MR_Hanjc·2020-08-23 09:06

618前端竞品分析研究（互动篇）

为了降低开发测试的成本，在这方面使用强化学习模拟用户行为，在两个方面提效：mock接口：将学习过程中的状态作为服务接口的测试数据；回归测试：根据mock接口数据回溯到特定状态，Puppeteer根据强化学习触发前端操作
凹凸实验室·2020-08-22 16:35

基于page-skeleton-webpack-plugin分析自动生成骨架屏原理

二、插件自动生成骨架屏的主要原理通过无头浏览器puppeteer打开要生成骨架屏的页面等待页面渲染完后注入提取
weixin_33795093·2020-08-22 14:50

一个简单的puppeteer例子

工具和资料QQ群-Javascript高级爬虫(832946826)-作者自建群，欢迎加入！awesome-java-crawler-作者收集的爬虫相关工具和资料前言本脚本作用是抓取掌阅书城里男频女频各分类的已完结书籍信息，按好评排序只抓前三页。这个页面没有任何反爬措施，适合作为简单例子。大概开发流程：人工分析页面，解析URL和分页、分类等关键参数人工分析页面内容，控制台验证数据提取方法编码代码说
rockswang·2020-08-22 12:34

使用 puppeteer 实现前端 E2E 测试

基于puppeteer的E2E测试什么是E2EE2E（EndToEnd）即端对端测试，属于沙盒测试，通过编写测试用例，模拟用户操作，确保页面交互时，组件间通信正常、数据传递如预期
棕旨·2020-08-22 11:38

Puppeteer前端自动化测试实践

本篇内容将记录并介绍使用Puppeteer进行自动化网页测试，并依靠约定来避免反复修改测试用例的方案。主要解决页面众多时，修改代码导致的牵连错误无法被发现的运行时问题。文章首发于个人博客。
Athon·2020-08-22 11:22

之四--使用 selenium 抓取和分析股票数据

本文为系列文章"从入门到劝退"第四篇，同时也可作为上一篇puppeteer应用的后续。本篇读者对象：python初级用户，想学习爬虫或数据抓取的同学。
neveryield·2020-08-22 11:46

端到端测试哪家强？不容错过的Cypress

项目WebStarpuppeteerChromium(~170MbMac,~282MbLinux,~280MbWin)31906nightmareElectron15502nightwatchWebDriver8135protractorselenium7532casperjsPhantomJS7180cypressElectron5303Zombie
Carl·2020-08-22 10:07

Laravel 中使用 puppeteer 采集异步加载的网页内容

采集网页内容是一项很常见的需求，比较传统的静态页面，curl就能搞定。但如果页面中有动态加载的内容，比如有些页面里通过ajax加载的文章正文内容，又如果有些页面加载完成后进行了一些额外处理（图片地址替换等等……）而你想采集这些处理过后的内容。那么牛逼闪闪的curl也束手无策了。做过类似需求的人可能会说，老铁，上PhantomJS啊！没错，这是一个办法，而且在相当长的时间里PhantomJS是为数不
田较瘦·2020-08-22 10:31

node与Puppeteer安装

1、Linux下node及npm环境安装下载安装node-v10.12.0-linux-x64wgethttps://npm.taobao.org/mirrors/node/v10.12.0/node-v10.12.0-linux-x64.tar.xz1.tar-xvfnode-v10.12.0-linux-x64.tar.xz2.确认一下nodejs下bin目录是否有node和npm文件，如果有
weixin_34348805·2020-08-21 22:28

npm安装puppeteer失败

今天试着使用apify这个库，玩玩爬虫，在使用npminstallapify--save安装依赖的时候，发现一直卡着不动，然后发现apify这个库依赖于puppeteer，而安装puppeteer的时候会需要下载一个一百多
weixin_30685029·2020-08-21 22:53

前端e2e测试尝试

环境node:12.14.0puppeteer：3.3.0resemblejs：3.2.4解决问题通过puppeteer模拟用户操作，将操作后的页面效果进行截屏保存，此外保留第一次成功运行后的所有截屏图片
wl_·2020-08-21 21:58

npm install.js 卡主的问题

本来是要在docker中安装puppeteer的安装的时候发现有个install.js这一步会一直卡主，原因是因为这个脚本是谷歌被墙了，网上找了很多都没几个靠谱的，很多都是胡咧咧。
一直敲代码的闲鱼·2020-08-21 17:33

Java爬虫：使用Jvppeteer(Puppeteer)轻松爬淘宝商品

Java爬虫：使用Jvppeteer(Puppeteer)轻松爬淘宝商品想要爬取某宝的商品，如果只是用HttpURLConnection发个请求，失败率是很高的。
往前一直走·2020-08-21 10:54

使用nodejs+puppeteer+mysql+electron+vue等解决自动化弹幕之六房间直播

使用nodejs+puppeteer+mysql+electron+vue等解决自动化弹幕之六房间直播coding...
geds·2020-08-21 09:20

使用nodejs+puppeteer+mysql+electron+vue等解决自动化弹幕之熊猫直播

使用nodejs+puppeteer+mysql+electron+vue等解决自动化弹幕之熊猫直播coding...
geds·2020-08-21 09:20

使用nodejs+puppeteer+mysql+electron+vue等解决自动化弹幕之斗鱼直播

使用nodejs+puppeteer+mysql+electron+vue等解决自动化弹幕之斗鱼直播coding...
geds·2020-08-21 09:49

Java爬虫：使用Jvppeteer(Puppeteer)轻松爬淘宝商品

Java爬虫：使用Jvppeteer(Puppeteer)轻松爬淘宝商品想要爬取某宝的商品，如果只是用HttpURLConnection发个请求，失败率是很高的。
一直往前走·2020-08-21 02:39

优化puppeteer爬取IATA数据

前述文章中提到的puppeteer爬取IATA数据的方法，此方法遗留下两个性能问题：1.puppeteer大量使用async/await来实现同步代码，这样方便大家理解，但是爬取速度上有问题，没有发挥javascript
老谢·2020-08-21 00:50

优化puppeteer爬取IATA数据

前述文章中提到的puppeteer爬取IATA数据的方法，此方法遗留下两个性能问题：1.puppeteer大量使用async/await来实现同步代码，这样方便大家理解，但是爬取速度上有问题，没有发挥javascript
老谢·2020-08-21 00:49

使用puppeteer爬取IATA 航空公司数据

背景从iata网页中爬取全球航空公司的相关信息，目标页面:iata查询页面数据爬取目标分析分析目标网页的结构确定爬取的锚点确定有效数据上图是浏览器开发者工具中显示的网页结构。我们可以分析出要提取有效数据，可以先找到.airlinecodesearchblock然后再在这个div中找到tr，再对每一个tr遍历抽出td中的数据，每一行的数据就是我们要找的有效数据。程序流程画出程序流程图之后可看出，打开
老谢·2020-08-21 00:18

使用puppeteer爬取IATA 航空公司数据

背景从iata网页中爬取全球航空公司的相关信息，目标页面:iata查询页面数据爬取目标分析分析目标网页的结构确定爬取的锚点确定有效数据上图是浏览器开发者工具中显示的网页结构。我们可以分析出要提取有效数据，可以先找到.airlinecodesearchblock然后再在这个div中找到tr，再对每一个tr遍历抽出td中的数据，每一行的数据就是我们要找的有效数据。程序流程画出程序流程图之后可看出，打开
老谢·2020-08-21 00:18

Puppeteer 系列踩坑日志—3—开启支持插件

在使用puppeteer自动化的过程中，会发现其实开启的chrome往往自动禁用了插件功能，如果我们想在自动化测试的过程中，再去使用一些常用的插件提升效率（偷懒）的话，就行不通了，其实解决办法还是有的，
前端大白·2020-08-21 00:21

Puppeteer 系列踩坑日志—3—开启支持插件

在使用puppeteer自动化的过程中，会发现其实开启的chrome往往自动禁用了插件功能，如果我们想在自动化测试的过程中，再去使用一些常用的插件提升效率（偷懒）的话，就行不通了，其实解决办法还是有的，
前端大白·2020-08-21 00:21

Puppeteer 系列踩坑日志—2—去掉自动化提示

在使用puppeteer自动化的过程中，经常出现一个自动化提示：正在被自动化测试。而这个提示不仅仅有这个作用，它还能让很多网站识别出来，你是在使用爬虫访问，从而采取了相应的反制措施，怎么反制，你懂得。
前端大白·2020-08-21 00:20

Puppeteer 系列踩坑日志—2—去掉自动化提示

在使用puppeteer自动化的过程中，经常出现一个自动化提示：正在被自动化测试。而这个提示不仅仅有这个作用，它还能让很多网站识别出来，你是在使用爬虫访问，从而采取了相应的反制措施，怎么反制，你懂得。
前端大白·2020-08-21 00:19

puppeteer 登陆处理

因此打算使用puppeteer登陆获取cookie的方式解决问题。
papermoon·2020-08-21 00:17

puppeteer 登陆处理

因此打算使用puppeteer登陆获取cookie的方式解决问题。
papermoon·2020-08-21 00:17

Ubuntu18最简puppeteer安装备忘

作者收集的爬虫相关工具和资料一个帮你自动创建阿里云抢占式实例并开启网络加速的脚本-自动创建阿里云海外抢占式节点CentOS上安装node.js二进制发布包-CentOS上安装nodejs最新版CentOS7最简puppeteer
rockswang·2020-08-20 23:17

Ubuntu18最简puppeteer安装备忘

作者收集的爬虫相关工具和资料一个帮你自动创建阿里云抢占式实例并开启网络加速的脚本-自动创建阿里云海外抢占式节点CentOS上安装node.js二进制发布包-CentOS上安装nodejs最新版CentOS7最简puppeteer
rockswang·2020-08-20 23:16

有了 serverless，前端也可以快速开发一个 Puppeteer 网页截图服务

Puppeteer是什么？
阿里巴巴云原生·2020-08-20 23:12

有了 serverless，前端也可以快速开发一个 Puppeteer 网页截图服务

Puppeteer是什么？
阿里巴巴云原生·2020-08-20 23:12

Puppeteer 系列踩坑日志—4—跨域的几种方式

浏览器支持跨域，说实话在puppeteer里面其实意义不太大，本身就在node环境中。
前端大白·2020-08-20 23:41

Puppeteer 系列踩坑日志—5—运行崩溃

在使用puppeteer的时候，本机运行简直是和谐的不得了。但是一旦放到了服务器上长期运行，则要遭受众多的问题。我曾一度怀疑是不是服务器趁我看不见，故意给我搞事情。
前端大白·2020-08-20 23:41

Puppeteer 系列踩坑日志—5—运行崩溃

在使用puppeteer的时候，本机运行简直是和谐的不得了。但是一旦放到了服务器上长期运行，则要遭受众多的问题。我曾一度怀疑是不是服务器趁我看不见，故意给我搞事情。
前端大白·2020-08-20 23:41

Puppeteer 系列踩坑日志—4—跨域的几种方式

浏览器支持跨域，说实话在puppeteer里面其实意义不太大，本身就在node环境中。
前端大白·2020-08-20 23:40

Puppeteer 系列踩坑日志—1—批量截图变白

在平时使用puppeteer最多的就是截图了（每日批量自动截图），我的目标是X宝的一些店铺首页，这次遇到的问题就是在一些无线端，商家的页面非常长，甚至多的达到了6-10万像素。
前端大白·2020-08-20 23:40

Puppeteer 系列踩坑日志—1—批量截图变白

在平时使用puppeteer最多的就是截图了（每日批量自动截图），我的目标是X宝的一些店铺首页，这次遇到的问题就是在一些无线端，商家的页面非常长，甚至多的达到了6-10万像素。
前端大白·2020-08-20 23:39

在puppeteer和request之间互相传输cookies

awesome-java-crawler-作者收集的爬虫相关工具和资料puppeteer中文文档request.js库前言目的是实现用puppeteer实现登录流程自动化，把登录后获取到的合法cookies
rockswang·2020-08-20 22:40

在puppeteer和request之间互相传输cookies

awesome-java-crawler-作者收集的爬虫相关工具和资料puppeteer中文文档request.js库前言目的是实现用puppeteer实现登录流程自动化，把登录后获取到的合法cookies
rockswang·2020-08-20 22:05

CentOS6.5-64位安装puppeteer，提示Chrome无法启动，查找并安装缺失依赖包——吕江民·敬上

1、进入chrome目录cd/mnt/project/express/back/chrome-linux2、检测缺失的依赖包lddchrome|grepnot//检测结果libatk-bridge-2.0.so.0=>notfoundlibgtk-3.so.0=>notfoundlibgdk-3.so.0=>notfoundlibGL.so.1=>notfound3、查找云端哪些软件下面包含对应的
web525·2020-08-20 20:20

CentOS6.5-64位安装puppeteer，提示Chrome无法启动，查找并安装缺失依赖包——吕江民·敬上

1、进入chrome目录cd/mnt/project/express/back/chrome-linux2、检测缺失的依赖包lddchrome|grepnot//检测结果libatk-bridge-2.0.so.0=>notfoundlibgtk-3.so.0=>notfoundlibgdk-3.so.0=>notfoundlibGL.so.1=>notfound3、查找云端哪些软件下面包含对应的
web525·2020-08-20 20:19

初尝Puppeteer

初尝Puppeteer首先肯定是照搬它的项目简介了哈哈哈哈利用网页生成截图以及pdf爬取SPA生成预渲染页面内容(我们说的ssr)可以从网站爬取内容自动化表单提交、UI测试、键盘输入等等创建一个最新的自动化测试环境
ZWkang·2020-08-20 20:15

初尝Puppeteer

初尝Puppeteer首先肯定是照搬它的项目简介了哈哈哈哈利用网页生成截图以及pdf爬取SPA生成预渲染页面内容(我们说的ssr)可以从网站爬取内容自动化表单提交、UI测试、键盘输入等等创建一个最新的自动化测试环境
ZWkang·2020-08-20 20:15

如何结合Node和Puppeteer做网络爬虫

相信大家都听说过爬虫，我们也听说过Python是可以很方便地爬取网络上的图片，但是奈何本人不会Python，就只有通过Node来实践一下了。01前言何谓爬虫其实爬虫用很官方的语言来描述就是“自动化浏览网络程序”，我们不用手动去点击、去下载一些文章或者图片。大家或许用过抢票软件，其实就是不断地通过软件访问铁路官方的接口，达到抢票的效果。但是，这类抢票软件是违法的。那么怎么判断爬虫是不是违法呢？关于爬
Alan-wu·2020-08-20 20:56

Puppeteer 入门与实战

本文首发于vivo互联网技术微信公众号链接：https://mp.weixin.qq.com/s/P-YdQPOQ9GZgjDEP7VG8ag作者：WangZhenzhengPuppeteer是Chrome
vivo互联网技术·2020-08-20 17:51

Puppeteer 入门与实战

本文首发于vivo互联网技术微信公众号链接：https://mp.weixin.qq.com/s/P-YdQPOQ9GZgjDEP7VG8ag作者：WangZhenzhengPuppeteer是Chrome
vivo互联网技术·2020-08-20 17:51

给Node.js加个远程调试系统

效果收获下一步方向MonacoEditor遇到的障碍远程调试系统这个项目适用于所有的node.js程序.本文不涉及任何Puppeteer的内容.起因因为最近很长一段时间的工作内容都是用Puppeteer
dalerkd·2020-08-20 15:00

使用TestCafe进行UI测试

TestCafe进行UI测试1.新建一个前端项目2.写测试用例3.运行测试用例4.Live模式5.多浏览器运行用例6.远程设备运行测试用例7.配置configure文件Cypress，TestCafe，Puppeteer
Connie尧尧·2020-08-19 19:36
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他