nodejs爬虫

nodejs制作爬虫实现批量下载图片

1.爬取图片链接因为之前也写过nodejs爬虫功能（参见：NodeJS制作爬虫全过程），所以觉得应该很简单，就用cheer
芒果屋里的猫·2017-05-19 08:13

nodejs爬虫遇到的乱码问题汇总

上一篇文章中使用nodejs程序解析了网页编码为gbk,gb2312,以及utf-8的情况，这里面有三种特殊的乱码情况需要单独的说明一下.1，网页编码为utf-8,但是解析为乱码，代表网站为www.guoguo-app.com。这个问题真是个逗逼问题，查看网页源码中给出的编码方式为utf8，如下：查快递由于解析出来的始终是乱码，我就抓包看了下，报文中的编码方式为gbk，果然我使用gbk的方式之后，
村中少年·2017-04-07 08:44

nodejs爬虫程序暂时无法解决的乱码问题汇总

上一篇文章中使用nodejs程序解析了网页编码为gbk,gb2312,以及utf-8的情况，这里面有三种特殊的乱码情况需要单独的说明一下.1，网页编码为utf-8,但是解析为乱码，代表网站为www.guoguo-app.com。这个问题真是个逗逼问题，查看网页源码中给出的编码方式为utf8，如下：查快递由于解析出来的始终是乱码，我就抓包看了下，报文中的编码方式为gbk，果然我使用gbk的方式之后，
村中少年·2017-04-06 14:41

详解nodejs爬虫程序解决gbk等中文编码问题

使用nodejs写了一个爬虫的demo，目的是提取网页的title部分。遇到最大的问题就是网页的编码与nodejs默认编码不一致造成的乱码问题。nodejs支持utf8,ucs2,ascii,binary,base64,hex等编码方式，但是对于汉语言来说编码主要分为三种，utf-8,gb2312,gbk。这里面gbk是完全兼容gb2312的，因此在处理编码的时候主要就分为utf-8以及gbk两大
村中少年·2017-04-06 10:17

nodejs爬虫程序解决gbk等中文编码问题

使用nodejs写了一个爬虫的demo，目的是提取网页的title部分。遇到最大的问题就是网页的编码与nodejs默认编码不一致造成的乱码问题。nodejs支持utf8,ucs2,ascii,binary,base64,hex等编码方式，但是对于汉语言来说编码主要分为三种，utf-8,gb2312,gbk。这里面gbk是完全兼容gb2312的，因此在处理编码的时候主要就分为utf-8以及gbk两大
村中少年·2017-04-05 17:44

nodeJS实现基于Promise爬虫 定时发送信息到指定邮件

本文一步步完成了一个基于promise的nodeJS爬虫程序，收集简书任意指定作者的文章信息。并最终把爬下来结果以邮
lucas_580e331d326b4·2017-03-29 00:00

Nodejs爬虫——机票查询学习笔记(1).md

2017.3.6-3.17学习内容：学习nodejs数据挖掘基本想法熟悉superagent模块的基本接口熟悉cheerio模块的基本接口学习范例挖掘Cnode首页信息eventproxy模块学习async模块学习js变量提升模拟post请求与get请求详细笔记：1.基本想法nodejs项目通过superagent模块包向网站发起有（或无）参数的get/post请求，获取目标网页的html源代码—
daisimin7·2017-03-20 13:22

对NodeJS xlsx模块的简单封装

本来只是想写个NodeJS爬虫，中间涉及到一点Excel。找了找Excel模块，xlsx模块在npm官网上搜索排名很靠前，就选了它，star数还比较可观。
灵魂放逐·2017-03-17 23:17

nodejs爬虫——汽车之家所有车型数据

应用介绍项目Github地址：https://github.com/iNuanfeng/node-spider/nodejs爬虫，爬取汽车之家所有车型数据http://www.autohome.com.cn
暖风叔叔·2017-02-23 00:00

nodejs爬虫——汽车之家所有车型数据

应用介绍项目Github地址：https://github.com/iNuanfeng/...nodejs爬虫，爬取汽车之家所有车型数据http://www.autohome.com.cn/car/包括品牌
暖风·2017-02-23 00:00

Nodejs爬虫--抓取豆瓣电影网页数据（下）

接着上篇Nodejs爬虫--抓取豆瓣电影网页数据（上）本篇主要描述将上次抓取的数据存入mongodb数据库前提：百度或谷歌mongodb的安装教程，安装本地并成功运行推荐一款mongodb数据库可视化管理工具
kira·2017-02-13 00:00

Nodejs简单爬虫

nodejs爬虫需要几个模块，通过npminstall来安装。
magic_wings·2017-02-05 16:52

超简单nodejs爬虫框架快速入门 E家课堂出品

我们的爬虫很简单！但是很实用，我们已经通过这个框架爬了上千万的数据，其中包括百度云，斗图啦，资讯，可可英语等大型网站。屡试不爽，本来东西很简单，所以也就想贡献出来给大家玩。希望大家能够有空支持下我们网站，如果有视频作者最好啦，可以合作！varCrawler=require("simplecrawler");//这个就是我们需要的爬虫框架varcheerio=require("cheerio");/
dotcoolgirl·2017-01-24 13:29

nodejs爬虫----爬取煎蛋网美女图片

这是一个很简单的爬虫，主要是爬取简单妹子图不跟你多BB，马上上车…,你需要先安装好nodejs，npm,最好能有淘宝镜像cnpm负责响应网络请求的request模块npminstallrequest负责对抓取的数据进行处理的cheerionpminstallcheerio负责下载图片的fs模块npminstallfs负责格式化图片名称的模块pathnpminstallpath负责处理异步并发的模块
牛奶猫·2017-01-09 15:08

简单高效的nodejs爬虫模型

这篇文章讲解一下yunshare项目的爬虫模型。使用nodejs开发爬虫很简单，不需要类似python的scrapy这样的爬虫框架，只需要用request或者superagent这样的http库就能完成大部分的爬虫工作了。使用nodejs开发爬虫半年左右了，爬虫可以很简单，也可以很复杂。简单的爬虫定向爬取一个网站，可能有个几万或者几十万的页面请求，复杂的爬虫类似googlebot这样搜索引擎的蜘蛛
lanmao163·2016-11-27 19:23

nodejs中实现sleep功能,暂停几秒.

一背景在使用nodejs爬虫的时候,经常会遇到别人的网站对频率的反爬机制,这个时候如果不做处理程序就会挂掉,重新启动也会继续被屏蔽.这个问题怎么解决呢,我的想法就是程序暂停10分钟或者更长的时间,继续爬取
意外金喜·2016-11-27 18:33

简单高效的nodejs爬虫模型

这篇文章讲解一下yunshare项目的爬虫模型。使用nodejs开发爬虫很简单，不需要类似python的scrapy这样的爬虫框架，只需要用request或者superagent这样的http库就能完成大部分的爬虫工作了。使用nodejs开发爬虫半年左右了，爬虫可以很简单，也可以很复杂。简单的爬虫定向爬取一个网站，可能有个几万或者几十万的页面请求，复杂的爬虫类似googlebot这样搜索引擎的蜘蛛
·2016-11-26 00:00

nodejs爬虫增强版本，效率真心不错

//从zngirls的网站上爬取一张图片，并进行异步存储//http://t1.zngirls.com/gallery/18071/18812/047.jpg(PasteShift+Insert)//测试结果异步下载的效率还是相当不错的，感觉比scrapy不差//jquery使用$符号来进行包封//var$=require('jQuery');//varjsdom=require('jsdom')
davidsu33·2016-09-27 11:41

Nodejs爬虫（妹子图）

前言最近在学习Nodejs，想做个小项目练练手，查了一下资料，发现用nodejs做爬虫好像不错，于是参考了这个例子NodeJs妹子图爬虫，也做了个爬虫项目。参考资料：1.Node.js教程2.Request模块3.cheerio模块4.async模块5.mkdirp模块6.path模块简介目标网站：新世界大门主要功能：爬取设定的页面，下载妹子图，每页的图分别放进一个文件夹，效果如下：文件夹运行图重
niansen·2016-08-03 22:21

nodejs爬虫项目实战

这篇文章主要介绍了NodeJS制作爬虫的全过程，包括项目建立，目标网站分析、使用superagent获取源数据、使用cheerio解析、使用eventproxy来并发抓取每个主题的内容等方面，有需要的小伙伴参考下吧。一、依赖1.DOM操作cheerio2.请求插件request3.http库superagent4.代理eventproxy二、建立项目node-spider1.建立一个Koa2项目n
奋进的小莫·2016-06-17 00:00

nodejs爬虫实战（一）：抽屉新热榜

什么是nodeJsNode.js是一个基于ChromeV8引擎的JavaScript运行环境。Node.js使用了一个事件驱动、非阻塞式I/O的模型，使其轻量又高效。Node.js的包管理器npm，是全球最大的开源库生态系统。开启我们的第一个nodejs项目首先可以去nodejs官网来下载nodejs并安装http://nodejs.cn/。安装完成后,通过npm来安装我们的express框架np
黑阔大人·2016-05-25 00:00

博客园趋势统计报告

本文目的通过统计数据检查博客园现状为博客园的运营着提供改善方法的数据依据批评博客园编辑的同时，需要为博客园的建设提供意见和建议，数据采集本文所有数据都是用NodeJs的采集器采集【nodeJS爬虫】前端爬虫系列
codesnippet.info·2016-05-12 11:00

nodejs爬虫编码问题

最近再做一个nodejs网站爬虫的项目，但是爬一些网站的数据出现了中文字符乱码的问题。查了一下，主要是因为不是所有的网站的编码格式都是utf-8,还有一些网站用的是gb2312或者gbk的编码格式。所以需要做一个处理来进行编码的解码。至于网站的编码怎么看，可以通过去检查中的network去看。根据相应的编码格式，进行相应的设置。utf-8就不要说了，下面就以gbk为例，说一下解码的方式。varre
瑟荻·2016-04-16 18:14

nodeJs爬虫获取数据简单实现代码

本文实例为大家分享了nodeJs爬虫获取数据代码，供大家参考，具体内容如下varhttp=require('http');varcheerio=require('cheerio');//页面获取到的数据模块
Jone_chen·2016-03-29 17:29

Nodejs爬虫进阶教程之异步并发控制

之前写了个现在看来很不完美的小爬虫，很多地方没有处理好，比如说在知乎点开一个问题的时候，它的所有回答并不是全部加载好了的，当你拉到回答的尾部时，点击加载更多，回答才会再加载一部分，所以说如果直接发送一个问题的请求链接，取得的页面是不完整的。还有就是我们通过发送链接下载图片的时候，是一张一张来下的，如果图片数量太多的话，真的是下到你睡完觉它还在下，而且我们用nodejs写的爬虫，却竟然没有用到nod
免罪体质者·2016-02-15 09:53

Nodejs爬虫进阶=>异步并发控制

之前写了个现在看来很不完美的小爬虫，很多地方没有处理好，比如说在知乎点开一个问题的时候，它的所有回答并不是全部加载好了的，当你拉到回答的尾部时，点击加载更多，回答才会再加载一部分，所以说如果直接发送一个问题的请求链接，取得的页面是不完整的。还有就是我们通过发送链接下载图片的时候，是一张一张来下的，如果图片数量太多的话，真的是下到你睡完觉它还在下，而且我们用nodejs写的爬虫，却竟然没有用到nod
免罪体质者·2016-02-06 12:00

NodeJs爬虫—“眼睛好看是一种什么样的体验？”

逛知乎的时候经常看见有好多的福利贴（钓鱼贴），这不最近又让我发现了一个——眼睛好看是一种什么样的体验 是一种怎么样的体验呢？我决定把答案里的照片都下到我的电脑里好好体验一下，怎么做呢，一张一张下好麻烦，最后自己写了个nodej的爬虫替我完成了这个任务~在这里分享一下吧！这是成果... 顺便附上代码... 需要注意的是，只是创建一个“img”的文件夹是不够的，获取到的每一段图片数据流都需要有一个具体
免罪体质者·2016-01-23 15:00

nodeJs爬虫获取数据

varhttp=require('http'); varcheerio=require('cheerio');//页面获取到的数据模块 varurl='http://www.jcpeixun.com/lesson/1512/'; functionfilterData(html){ /*所要获取到的目标数组varcourseData=[{ chapterTitle:"", videosD
Jone_chen·2015-12-16 14:00

NodeJS爬虫

【毕设做搜索引擎，先搭爬虫系统，挖个坑慢慢写。】基于phantomjs，语言是java，之前纠结了很久用java还是用node。因为后续还有分词、建索引balabala的，java有很多成熟的框架可以直接用。今天听海洋大大的一句话：“年轻人才会纠结用什么语言”爬虫部分爬虫分三大功能块级：1.downloader请求模块，对指定URL发起请求2.pageProcess处理抓回来的页面代码，过滤代码取
别天·2015-12-01 00:00

【nodeJS爬虫】前端爬虫系列 -- 小爬「博客园」

写这篇blog其实一开始我是拒绝的，因为爬虫爬的就是cnblog博客园。搞不好编辑看到了就把我的账号给封了：）。言归正传，前端同学可能向来对爬虫不是很感冒，觉得爬虫需要用偏后端的语言，诸如php，python等。当然这是在nodejs前了，nodejs的出现，使得Javascript也可以用来写爬虫了。由于nodejs强大的异步特性，让我们可以轻松以异步高并发去爬取网站，当然这里的轻松指的是cpu
ChokCoco·2015-11-10 19:00

【nodeJS爬虫】前端爬虫系列 -- 小爬「博客园」

写这篇blog其实一开始我是拒绝的，因为爬虫爬的就是cnblog博客园。搞不好编辑看到了就把我的账号给封了：）。言归正传，前端同学可能向来对爬虫不是很感冒，觉得爬虫需要用偏后端的语言，诸如php，python等。当然这是在nodejs前了，nodejs的出现，使得Javascript也可以用来写爬虫了。由于nodejs强大的异步特性，让我们可以轻松以异步高并发去爬取网站，当然这里的轻松指的是cpu
ChokCoco·2015-11-10 19:00

nodejs爬虫数据抓取 -- 问题总结

一  返回的信息提示  Something went wrong  request模块请求出现未知错误 其中，所用代码如下（无User-Agent部分） 问题多次派查无果，包括： 　　1：postman请求正常 　　2. curl 请求正常   　　解决办法： 为请求添加user-agent头，如取消上注释部分。（我发现，只要
·2015-11-07 11:17

nodejs爬虫抓取数据 -- html 实体编码处理办法

  cheerio DOM化并解析的时候 1.假如使用了 .text()方法，则一般不会有html实体编码的问题出现 2.如果使用了 .html()方法，则很多情况下(多数是非英文的时候）都会出现，这时，可能就需要转义一番了 类似这些 因为需要作数据存储，所有需要转换 Халк &#x43
·2015-10-27 13:23

详解Node.js API系列 Http模块(2) CNodejs爬虫实现

博客地址：http://blog.whattoc.com/2013/09/19/nodejs_api_http_2/详解Node.jsAPI系列Http模块(2)CNodejs爬虫实现简单爬虫设计varhttp
youyudehexie·2013-09-22 23:00
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他