nodejs爬虫

用Electron写个带界面的nodejs爬虫

什么是Electron使用JavaScript,HTML和CSS构建跨平台的桌面应用[官网](https://electronjs.org/)实质就是一个精简的Webkit浏览器显示html页面，通过electron做中间层可以和系统交流。给web项目套上一个node环境的壳。前言公司买的推广居然没有后台的api，没有api又不想死板手动操作。那就做个爬虫吧。但是又是给小白用的，自然最好带个界面，
Skylrk·2020-06-27 01:56

《【nodeJS爬虫】前端爬虫系列 -- 小爬「博客园」》

【nodeJS爬虫】前端爬虫系列--小爬「博客园」写这篇blog其实一开始我是拒绝的，因为爬虫爬的就是cnblog博客园。搞不好编辑看到了就把我的账号给封了：）。
cx_2016·2020-06-26 23:00

Nodejs 爬虫Github项目汇总

Nodejs爬虫Github项目汇总DistributedCrawler博客地址nodejs_crawlernode.js主从分布式爬虫采用Redis为任务队列服务主程序获取任务从程序获得数据并下载通过代理接口获取数据
南方有乔木·2020-06-25 03:07

一个细致入微的nodejs爬虫项目介绍（上）

为了完成作业以及让自己看上去没有真的在划水，决定开始写博客了。*5.1：给代码们加上了分号，改掉了一些拼错的代码。虽然说写博客这件事的出发点是为了交作业，但博客这种形式说到底是为了给别人看的，是为了尽可能让别人理解的。如果只是自顾自地讲，而不以“让别人理解”为目标，写博客这件事就沦为一种自我满足，其实也就没有什么意义了。所以，既然是要写出来，放到网上的，那么在介绍的过程中，我会尽可能指出所有可能产
MorphLing_·2020-06-22 01:59

教你nodejs爬虫制作知乎专栏RSS抓取程序

现在这个社会是信息爆炸的社会，各个网站、app上铺天盖地的都是各种新闻和信息。为了获取信息，我们每天都要进行各种麻烦的操作，打开各种网站或者手机app,操作显得低效，后来发现了一个神器，那就是RSS。什么是RSSRSS中文名是简易信息聚合，就是让网站一个按照一定周期更新网站的文章概要内容（有些是全文）到一个xml中。RSS订阅工具一定时间抓取这个RSS订阅源生成数据供订阅者读取网站内容。有了RSS
前端-发际线还在·2020-05-23 15:00

Nodejs爬虫——机票查询学习笔记(2).md

2017.3.20-2017.3.31笔记索引mongodb数据库去重日期数组编造同步查询代码编写https://segmentfault.com/q/1010000005615722/a-1020000005615887insertMany函数.insertMany([{key:"1",key1:"value1"},{key:"2",key1:"value1"},{key:"3",key1:"v
daisimin7·2020-04-10 20:16

nodeJS爬虫（完整版）

nodeJs爬虫varhttp=require('http');varfs=require('fs');varhttps=require('https');variconv=require('iconv-lite
bear_new·2020-04-05 13:30

nodeJS爬虫

确定开发语言、框架、工具等node.js(express)+SublimeText3Let'sstart新建项目目录1.在合适的磁盘目录下创建项目目录baiduNews（我的项目目录是：F:\web\baiduNews）注：因为在写这篇文章的时候用的电脑真心比较渣。安装WebStorm或者VsCode跑项目有些吃力。所以后面的命令行操作我都是在Window自带的DOS命令行窗口中执行的。初始化pa
有版权的Bug·2020-04-05 07:54

NodeJS爬虫初试

缘由接触前端(FontEnd)已一年多，但还是半桶水啊，可能半桶水都算不上，自己都担心自己。噗呲爬虫这个东西，我记得在很久之前我就听说过他，但一直没去了解过他，甚至概念都不太清晰，只知道他是一只网络的虫子，爬取网站的信息。那么，由于自己技能树的不成熟，目前只在前端入门阶段，╮(╯▽╰)╭。大概了解了一下爬虫可以用什么语言来写，其实是废话，大神的话什么语言都可以写吧。在结束考试之后，就开始了node
平凡数·2020-04-01 10:00

爬虫黑科技，我是怎么爬取indeed的职位数据的

最近在学习nodejs爬虫技术，学了request模块，所以想着写一个自己的爬虫项目，研究了半天，最后选定indeed作为目标网站，通过爬取indeed的职位数据，然后开发一个自己的职位搜索引擎，目前已经上线了
lanmao163·2020-03-20 17:12

2019-04-04

Nodejs爬虫初试探效果.gif代码varhttp=require('http');varfs=require('fs');varurl='http://moe.005.tv/77510.html';
一曲一人听·2020-03-16 05:04

第一个nodejs爬虫

根据手把手教你做爬虫这一教程，我完成了第一个Nodejs爬虫，并且自己修改了一下。做了一个爬取豆瓣电影首页正在热映的电影的爬虫。
zxxxxxxxxx·2020-03-12 16:10

Nodejs爬取cnode精华板块

学习nodejs已经有段时间，网上很多nodejs爬虫的文章，所以着手练习写一段nodejs爬取鼎鼎大名的nodejs中文社区精华板块大神们的头像并且把图片下载以他们的昵称命名。
Evtion·2020-03-11 15:03

Nodejs爬虫爬取黄色网站全站，且以base64加密将资源存进数据库

talkischeap,showyouthecode'usestrict';consthttp=require('http');constcheerio=require('cheerio');constmysql=require('mysql');//createdblinkconstconnection=mysql.createConnection({host:'192.168.199.194'
报告老师·2020-02-24 06:42

实践｜用NodeJS爬了一个阿里表情包

问题是、我也没写过爬虫啊一、找了个NodeJS爬虫框架网上搜到个爬虫框架叫crawler:https://www.npmjs.com/package/crawler#options-reference上面的示例代码我也试了一下
王小筷_Cayla·2019-12-26 09:30

10分钟教你撸一个nodejs爬虫系统

最近在捣鼓一个仿的开源项目，从前端到后台，一战撸到底。就需要数据支持，最近mock数据，比较费劲。的很多数据都是后台渲染的，很难快速抓api请求数据，本人又比较懒，就想到用写个简易爬虫系统。项目初始化安装nodejs，官网，中文网。根据自己系统安装，这里跳过，表示你已经安装了nodejs。选择一款顺手拉风的编辑器，用来写代码。推荐webstorm最新版。webstorm创建一个工程，起一个喜欢的名
jiayisheji·2019-12-17 22:14

简单的 nodejs 爬虫

简单的nodejs爬虫最近想用node写爬虫，然后将爬取的数据存入mongodb。一开始想用phantom去写，但是一看GitHub上面有好多的issue都没有解决，所以就选了puppeteer。
bo_song·2019-12-15 11:36

基于Nodejs爬虫简单对比Callback、Promise与Async

爱好三维立体图多年，近期打算将网络上能找到的资源收集一下。本着“偷懒至上”的原则，写一简单爬虫脚本解放手指。作为前端狗，不敢忘本职工作。于是一式三份，分别用Callback，Promise和Async实现一遍，权当学习ES6/7了。源码戳我callback形式目标网站：http://www.3wtu.com/流程简述：图片url分别存储在http://www.3wtu.com/picture/${
黄努努·2019-12-07 10:41

Node JS爬虫：爬取瀑布流网页高清图

原文链接：[NodeJS爬虫：爬取瀑布流网页高清图]https://www.bougieblog.cn/blog/2018/05/16%20-%20Node%20JS%E7%88%AC%E8%99%AB
92e6a2b361e8·2019-12-06 09:15

nodeJS实现基于Promise爬虫 定时发送信息到指定邮件

本文一步步完成了一个基于promise的nodeJS爬虫程序，收集任意指定作者的文章信息。并最终把爬下来结果以邮件的
LucasHC·2019-11-08 18:30

简单NodeJS爬虫和使用cookie进行模拟登录

NodeJS做爬虫也是很方便的。因为nodejs有HTTP模块直接可以使用，而且还有很多简单粗暴的库可以即拿即用。首先，需要的库文件，1、superagent是个轻量的的http方面的库，就像jquery的post，和get一样，很简单。2、cheerio是一个服务端操作DOM的库，简直就是服务端的jquery。好的，我们需要抓取某个网站的题目。如下图。这个系统下，及时是游客状态也是可以查看题目的
清晨点支烟·2019-11-04 13:57

nodejs爬虫 http，cheerio，mysql模块

nodejs相关模块获取网页内容（httprequestsuperagent等）筛选网页信息（cheerio）输出或存储信息（consolefsmongodbmysql等）1、使用request模块来获取网页内容varrequest=require('request');//通过GET请求来读取http://cnodejs.org/的内容request('http://cnodejs.org/',
saber·2019-10-29 23:57

nodejs爬虫抓取数据之编码问题

cheerioDOM化并解析的时候1.假如使用了.text()方法，则一般不会有html实体编码的问题出现2.如果使用了.html()方法，则很多情况下(多数是非英文的时候）都会出现，这时，可能就需要转义一番了类似这些因为需要作数据存储，所有需要转换复制代码代码如下:Халккрушит.Новыйспособисполнен大多数都是&#(x)?\w+的格式所以就用正则转换一番varbody=.
·2019-09-25 03:27

nodejs爬虫抓取数据乱码问题总结

一、非UTF-8页面处理.1.背景windows-1251编码比如俄语网站：https://vk.com/cciinniikk可耻地发现是这种编码所有这里主要说的是Windows-1251（cp1251）编码与utf-8编码的问题，其他的如gbk就先不考虑在内了~2.解决方案1.使用js原生编码转换但是我现在还没找到办法哈..如果是utf-8转window-1251还可以http://stacko
·2019-09-23 22:09

NodeJS爬虫实例之糗事百科

1.前言分析往常都是利用Python/.NET语言实现爬虫，然现在作为一名前端开发人员，自然需要熟练NodeJS。下面利用NodeJS语言实现一个糗事百科的爬虫。另外，本文使用的部分代码是es6语法。实现该爬虫所需要的依赖库如下。request:利用get或者post等方法获取网页的源码。cheerio:对网页源码进行解析，获取所需数据。本文首先对爬虫所需依赖库及其使用进行介绍，然后利用这些依赖库
·2019-09-23 01:52

8分钟完成NodeJs爬虫，把JRS小姐姐全部看个遍

本文讲的是利用nodejs以及相关库，爬取JRS爆照区内的爆照贴，并保存相关数据到本地。依赖选择constsuperagent=require('superagent');//nodejs里一个非常方便的客户端请求代理模块constcheerio=require('cheerio');//Node.js版的jQueryconstasync=require('async');constfs=requ
Lucio_cn·2019-07-31 17:02

nodejs通过钉钉群机器人推送消息的实现代码

Intro最近在用nodejs写爬虫，之前的nodejs爬虫代码用js写的，感觉可维护性太差，也没有智能提示，于是把js改用ts(typescript)重写一下，提升代码质量。
Love it or leave it·2019-05-05 09:16

node.js 基于cheerio的爬虫工具的实现（需要登录权限的爬虫工具）

写了一套符合自己需求的nodejs爬虫工具。也许也会适合你的。先上代码。
runRole·2019-04-10 15:47

基于nodejs的excel表格合并工具

背景：博主最近在搞基于NodeJs的爬虫抓取数据（后续会写一篇关于NodeJs爬虫的文章）（文章链接地址：https://blog.csdn.net/cmyh100/article/details/101312723
cmyh·2019-04-04 13:43

nodejs爬虫

varexpress=require('express');varMongoClient=require('mongodb').MongoClient;constrequest=require('superagent');varurl="mongodb://localhost:27017/draven";varrouter=express.Router();varcheerio=require('
boss2967·2019-04-02 17:46

用Electron写个带界面的nodejs爬虫的实现方法

什么是Electron使用JavaScript,HTML和CSS构建跨平台的桌面应用[官网](https://electronjs.org/)实质就是一个精简的Webkit浏览器显示html页面，通过electron做中间层可以和系统交流。给web项目套上一个node环境的壳。前言公司买的推广居然没有后台的api，没有api又不想死板手动操作。那就做个爬虫吧。但是又是给小白用的，自然最好带个界面，
Skylrk·2019-01-29 15:01

记录用nodejs爬虫爬取汽车之家遇到的一些坑

因为某些原因需要爬取一些数据，自己就用nodejs来试试爬取数据，当然我在这方面也是一个小白,因为也是刚用nodejs来爬取数据，走了不少弯路，先说说我写爬虫的过程把。我用的是express框架，先安装cheerio与https以及request，因为爬取数据的地址协议是https，request是用来请求网址的。首先我主要是爬取经销商的信息，请求网址是https://dealer.autohom
陌陌大大·2019-01-28 11:22

基于nodejs爬虫

爬接口数据varhttps=require('https');https.get('https://api.readhub.cn/topic?lastCursor=76823&pageSize=20',function(res,req){varhtml='';res.on('data',function(data){html+=data;});res.on('end',function(){con
相约在一年四季·2018-11-04 20:34

nodejs爬虫

本文主要通过superagent和cheerio实现nodejs爬虫。使用superagent获取网页信息，再通过cheerio解析网页内容。
Qc1998·2018-10-18 23:55

两种网页爬虫技术实现跨域(nodejs+java)（解决'X-Frame-Options'问题）

2.通过nodejs爬虫技术实现（针对那些已经安装nodejs的可以去尝试，不然先安装nodejs）但是我个人更推荐nodejs来做，主要原因是现在很多网页都针对
拄杖盲学轻声码·2018-08-08 17:49

NodeJS爬虫初探

思路：获取HTML字符串，将其转化为DOM，提取相应的文本信息使用到了以下方法或库varhttps=require('https');//这里使用的是https协议,可视具体情况换为http协议varfs=require("fs")varcheerio=require('cheerio')1.获取HTMLfunctiongetHTML(URL,callback){varoriginHTML=''v
cvchihzhza·2018-06-03 09:35

Node JS爬虫：爬取瀑布流网页高清图

原文链接：NodeJS爬虫：爬取瀑布流网页高清图静态为主的网页往往用get方法就能获取页面所有内容。动态网页即异步请求数据的网页则需要用浏览器加载完成后再进行抓取。本文介绍了如何连续爬取瀑布流网页。
BougieInfance·2018-05-24 14:16

Node JS爬虫：爬取瀑布流网页高清图

原文链接：NodeJS爬虫：爬取瀑布流网页高清图静态为主的网页往往用get方法就能获取页面所有内容。动态网页即异步请求数据的网页则需要用浏览器加载完成后再进行抓取。本文介绍了如何连续爬取瀑布流网页。
AIBBSHINBAJI·2018-05-17 00:00

nodeJs爬虫的技术点总结

背景最近打算把之前看过的nodeJs相关的内容在复习下，顺便写几个爬虫来打发无聊，在爬的过程中发现一些问题，记录下以便备忘。依赖用到的是在网上烂大街的cheerio库来处理爬取的内容，使用superagent处理请求，log4js来记录日志。日志配置话不多说，直接上代码：constlog4js=require('log4js');log4js.configure({appenders:{chees
紫日残月·2018-05-13 14:50

基于nodejs的网络图片爬虫

这是我研究nodejs爬虫后写的一个图片爬虫小例子。不过功能还是挺强大的可以将你喜欢的图片下载下来。
开心大表哥·2018-04-20 15:47

nodejs爬虫,POST请求发送Request Playload格式数据

nodejs爬虫，POST请求发送RequestPlayload格式数据。本文以网易云课堂其中2个POST请求为例，使用request模块实现。
意外金喜·2018-03-21 12:12

nodejs爬虫初试superagent和cheerio

前言早就听过爬虫，这几天开始学习nodejs，写了个爬虫https://github.com/leichangchun/node-crawlers/tree/master/superagent_cheerio_demo，爬取博客园首页的文章标题、用户名、阅读数、推荐数和用户头像，现做个小总结。使用到这几个点：1、node的核心模块--文件系统2、用于http请求的第三方模块--superagent
Shapeying·2018-03-05 09:17

手把手教你写带登录的NodeJS爬虫+数据展示

其实在早之前，就做过立马理财的销售额统计，只不过是用前端js写的，需要在首页的console调试面板里粘贴一段代码执行，点击这里。主要是通过定时爬取https://www.lmlc.com/s/web/home/user_buying异步接口来获取数据。然后通过一定的排重算法来获取最终的数据。但是这样做有以下缺点：1.代码只能在浏览器窗口下运行，关闭浏览器或者电脑就失效了2.只能爬取一个页面的数据
tywei90·2018-02-19 00:00

NodeJS小说爬虫

这是一个NodeJS爬虫项目，用于爬取爱去小说网的小说资源，非常适合新手学习NodeJS，感受NodeJS的魅力经测试，爬取并合并1645章的斗破苍穹耗时约6min本项目使用的模快主要有：asynccheeriosuperagentsuperagent-charsetmysqlbluebirdcronasync
灵魂放逐·2017-12-06 04:20

NodeJS爬虫

原文链接：http://www.cnblogs.com/fuGuy/p/7912894.htmlcheerio解析dom，避免进行大量的正则解析操作，cheerIo的api跟jquerydom操作类似ajaxAPISuperAgentnpminstallsuperagent--savesuperagent.get('/api').set('Referer','https://www.google.
b18059735117·2017-11-28 23:00

nodejs爬虫抓取异步数据案例

在csdn上图片显示有问题，可以去我的个人博客上查看原版：http://tosim.top/2017/07/21/nodejs%E7%88%AC%E8%99%AB%E6%8A%93%E5%8F%96%E5%BC%82%E6%AD%A5%E6%95%B0%E6%8D%AE/#more我们在抓取网页的时候，如果目标站点是服务端渲染好的页面，那么我们在抓取网页内容就很方便，只需要分析对应的dom节点内容
tosim1·2017-07-22 00:27

nodejs中sleep功能实现暂停几秒的方法

一背景在使用nodejs爬虫的时候,经常会遇到别人的网站对频率的反爬机制,这个时候如果不做处理程序就会挂掉,重新启动也会继续被屏蔽.这个问题怎么解决呢,我的想法就是程序暂停10分钟或者更长的时间,继续爬取
意外金喜·2017-07-12 16:03

nodeJs爬虫小程序练习

//爬虫小程序varexpress=require('express');//superagent是一个http的库，可以发起get和post请求varsuperagent=require('superagent');//cheerio是一个类似于jquery的库，用来从网页中以css选择器取数据，//使用方式和jquery相同varcheerio=require('cheerio');varap
美美王子·2017-06-06 21:22

10分钟教你撸一个nodejs爬虫系统

最近在捣鼓一个仿简书的开源项目，从前端到后台，一战撸到底。就需要数据支持，最近mock数据，比较费劲。简书的很多数据都是后台渲染的，很难快速抓api请求数据，本人又比较懒，就想到用写个简易爬虫系统。项目初始化安装nodejs，官网，中文网。根据自己系统安装，这里跳过，表示你已经安装了nodejs。选择一款顺手拉风的编辑器，用来写代码。推荐webstorm最近版。webstorm创建一个工程，起一个
jiayisheji·2017-05-24 00:00

nodejs批量下载图片的实现方法

1.爬取图片链接因为之前也写过nodejs爬虫功能，所以觉得应该很简单，就用cheerio来处理dom啦，结果打印一下啥也
芒果屋里的猫·2017-05-19 09:42
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他