E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
WebMagic
开源爬虫框架各有什么优缺点？
作者：老夏开发网络爬虫应该选择Nutch、Crawler4j、
WebMagic
、scrapy、WebCollector还是其他的？
chaishen10000
·
2016-03-02 00:00
精准数据爬取（精抽取）的爬虫选择问题
有些人问，开发网络爬虫应该选择Nutch、Crawler4j、
WebMagic
、scrapy、WebCollector还是其他的？
chaishen10000
·
2016-03-01 23:00
webmagic
的设计机制及原理-如何开发一个Java爬虫
之前就有网友在博客里留言，觉得
webmagic
的实现比较有意思，想要借此研究一下爬虫。最近终于集中精力，花了三天时间，终于写完了这篇文章。
周 金根
·
2016-02-04 14:00
webmagic
的设计机制及原理-如何开发一个Java爬虫
之前就有网友在博客里留言，觉得
webmagic
的实现比较有意思，想要借此研究一下爬虫。最近终于集中精力，花了三天时间，终于写完了这篇文章。
周 金根
·
2016-02-04 14:00
爬虫 - 开发网络爬虫应该怎样选择爬虫框架
有些人问，开发网络爬虫应该选择Nutch、Crawler4j、
WebMagic
、scrapy、WebCollector还是其他的？
LABLENET
·
2016-01-19 08:53
web magic 小结
框架首先我们确认语言选用Java，接下去是框架选择，因为是自己玩的项目，也不需要去分析太多的优劣，我们要的是一个比较简单快捷的方案，于是就拍脑袋敲定
webmagic
了。webmagi
便当之神
·
2016-01-13 10:00
基于
webmagic
的爬虫项目经验小结
大概在1个月前，利用
webmagic
做了一个爬虫项目，下面是该项目的一些个人心得，贴在这里备份：一、为什么选择
webmagic
?
菩提树下的杨过
·
2015-12-05 16:00
webmagic
，SSI框架，阿里云服务，mysql，freeMarker，bootStrap3.0，Jquery）），
网站是电影爱好者的天堂，http://www.dy10000.com前前后侯花了半年的时间（但真正的开发时间应该是不到一个月的,涉及技术（
webmagic
，SSI框架，阿里云服务，mysql，freeMarker
shelongwei
·
2015-12-02 23:00
java
jquery
mysql
freemarker
框架
《图解HTTP》读书笔记
出于兴趣，最近在学习一个Java的网络爬虫框架
webmagic
，其实就是用一个程序来把下载任务自动化，比如你想下载一张图片很快，直接右键点击下载就可以了，但如果下载1000张就需要花些时间了。
chy996633
·
2015-11-21 17:00
webmagic
问题请教
我从小说网上抓取到的：getpage:http://www.49xs.com/read/2/2893/2004505.htmltitle:终极狂少第一百一十六章阴云密布content: ads_wz_3X3_1(); ads_wz_3X3_2(); ads_wz_3X3_3(); 一秒记住【49小说网ww
longfirst
·
2015-11-18 22:00
开发网络爬虫应该怎样选择爬虫框架
有些人问，开发网络爬虫应该选择Nutch、Crawler4j、
WebMagic
、scrapy、WebCollector还是其他的?
太原seoer珍惜
·
2015-11-12 16:00
爬虫
开发网络爬虫应该怎样选择爬虫框架
有些人问，开发网络爬虫应该选择Nutch、Crawler4j、
WebMagic
、scrapy、WebCollector还是其他的?
太原seoer珍惜
·
2015-11-12 16:00
webmagic
和maven的配置及简单开始
两个月前在班里分享的东西，看到默默地贴出来。。。 这里的前两步是平台的搭建，这些不仅使用于爬虫，以后的开发都是很常用的。 安装Maven 1、将apache-maven-3.2.3-bin.zip解压到你要安装MVN的位置（最好和Java同目录），记录位置路径 2、右击我的电脑-属性-高级系统属性-环境变量 ①检查是否有变
·
2015-11-12 10:06
maven
开发网络爬虫应该怎样选择爬虫框架？
有些人问，开发网络爬虫应该选择Nutch、Crawler4j、
WebMagic
、scrapy、WebCollector还是其他的？
Airship
·
2015-11-03 20:00
WebMagic
的设计参考了业界最优秀的爬虫Scrapy
http://
webmagic
.io/docs/zh/posts/ch1-overview/thinking.html https://github.com/psvehla/liferay-spring-mvc-portlet
·
2015-11-02 13:14
scrapy
webMagic
网络爬虫
webmagic
是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。
webmagic
的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。
username2
·
2015-10-30 19:00
webmagic
抓取需要登录页面的内容，Site中addCookie
1先自己登录，然后在浏览器查看有关于这个网站的cookie,确定是那几个cookie对登录有作用，比较麻烦的是一定得一个一个的确认，手动删除试验这个cookie是否对登录有作用，还好我这个只有三个。查看浏览器的cookie,取图中的三个值：private Site site = Site.me() .setRetryTimes(3) .setSle
PennyC
·
2015-09-25 11:00
site
webmagic
addCookie
webmagic
爬取搜狗微信内容链接加密 处理
搜狗微信对微信文章链接加密如：http://weixin.sogou.com/websearch/art.jsp?sg=CBf80b2xkgbBEYG8ZrvLLP0NRdmwf69vD3LXfaSJV49EOwHSZruSx6h0dcQ_JujdVuosoRr1PYd-CzEHhPcj24SfFDvgwfBMSY-lMoJyP8B-aGdQoX7eok2sANIuMoHEeQLQTXirUf2j
wudijavas
·
2015-09-21 18:00
使用
webmagic
爬取搜狗上公众账号发布的文章信息
/***爬取文章类*/publicclassArticleCrawler{StaticApplicationContextcontext=SpringFactory.getApplicationContext(); StaticArticleDaoarticleDao=(ArticleDao)context.getBean("articleDao"); StaticAccountCrawlerDa
NikoTesla
·
2015-08-03 10:00
webmagic
WebMagic
中RedisScheduler队列实现 ---bug修改
package us.codecraft.
webmagic
.scheduler; import java.util.HashMap; import java.util.Map; import org.apache.commons.codec.digest.DigestUtils
CainGao
·
2015-07-16 11:00
phoenixframework自动化测试平台模块介绍
//www.cewan.la系统名称：自动化测试平台 系统介绍： 【支持的部署方式】：J2EE，Jenkins，maven，J2SE，分布式部署，Jetty部署【技术说明】：Apachequartz，
Webmagic
孟飞阳
·
2015-06-13 20:00
Phoenix
自动化测试工具
自动化测试平台
phoenixframe
webmagic
使用
https://github.com/code4craft/
webmagic
/blob/master/user-manual.mdhttp://
webmagic
.io/docs/简单使用http://pan.baidu.com
火云
·
2015-06-04 09:00
自己动手写开源爬虫框架 Slit
现在的爬虫框架确实有很多，例如Nutch,Heritrix,
webMagic
等等我为什么又要自己写一个呢？
qifeifei
·
2015-05-26 16:00
java
thread
爬虫
网络爬虫
Slit
使用Spring Profile和Mybatis进行多个数据源（H2和Mysql）的切换
最近在做
WebMagic
的后台，遇到一个问题：后台用到了数据库，本来理想情况下是用Mysql，但是为了做到开箱即用，也整合了一个嵌入式 数据库H2。
·
2015-05-20 09:00
mybatis
利用jsoup爬取百度网盘资源分享连接（多线程）
于是自己分析了下页面结构，就開始了从一開始写的时候，发现一秒钟就抽取了一个页面，想到之前用的
webmagic
爬虫里抓取页面就用了java的多线程技术，于是
blfshiye
·
2015-05-19 11:00
爬虫 测试
webmagic
(一)
目标：统计斗鱼(www.douyu.com)人数 思路： 1. 目录找到douyu播出的所有游戏 http://www.douyutv.com/directory 2. 借助 chrome 定位到每个游戏的目录页面，正则表达式为 /directory/game/\\w+ 比如对于LOL来说，找到 href=/directory/game/LOL 3. 进入到游戏目
·
2015-05-10 00:00
Web
Java获取网页编码
首先需要获取网页内容，最简单的办法就是通过JDK自带的HttpURLConnection类，要实现更复杂的抓取操作，请使用开源的爬虫框架，如Crawler4j,Web-Harvest,JSpider,
WebMagic
lxwt909
·
2015-04-26 15:00
Java
icu4j
charset
Java获取网页编码
首先需要获取网页内容，最简单的办法就是通过JDK自带的HttpURLConnection类，要实现更复杂的抓取操作，请使用开源的爬虫框架，如Crawler4j,Web-Harvest,JSpider,
WebMagic
lxwt909
·
2015-04-26 15:00
java
charset
icu4j
Java获取网页编码
首先需要获取网页内容，最简单的办法就是通过JDK自带的HttpURLConnection类，要实现更复杂的抓取操作，请使用开源的爬虫框架，如Crawler4j,Web-Harvest,JSpider,
WebMagic
lxwt909
·
2015-04-26 15:00
Java
icu4j
charset
Java获取网页编码
首先需要获取网页内容，最简单的办法就是通过JDK自带的HttpURLConnection类，要实现更复杂的抓取操作，请使用开源的爬虫框架，如Crawler4j,Web-Harvest,JSpider,
WebMagic
lxwt909
·
2015-04-26 15:00
java
charset
icu4j
使用Selenium来抓取动态加载的页面
在我写的爬虫框架
webmagic
里也使用了HttpClient来完成这样的任务。但是有些页面是通过js以及ajax动态加载的，例如：花瓣网。
jianzhanger
·
2015-04-02 15:29
JAVA
分布式爬虫技术架构
项目结构：依赖关系如下：
webmagic
webmagic
采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动
skyme
·
2015-03-26 19:00
众推平台架构——分布式爬虫
分布式爬虫架构2类似于
webmagic
，
webmagic
的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。web
lgstarzkhl
·
2015-03-24 11:01
target
display
blank
众推平台架构——分布式爬虫
分布式爬虫架构2类似于
webmagic
，
webmagic
的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。web
lgstarzkhl
·
2015-03-24 11:01
display
target
blank
众推平台架构——分布式爬虫
分布式爬虫架构2类似于
webmagic
，
webmagic
的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。web
skyme
·
2015-03-24 11:00
一个方便易用的爬虫框架
webmagic
的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
wdmsyf
·
2015-01-03 21:00
爬虫
框架
一个方便易用的爬虫框架
webmagic
的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
wdmsyf
·
2015-01-03 21:00
框架
开发网络爬虫应该怎样选择爬虫框架？
有些人问，开发网络爬虫应该选择Nutch、Crawler4j、
WebMagic
、scrapy、WebCollector还是其他的？
ajaxhu
·
2014-12-24 14:26
网络爬虫
开发网络爬虫应该怎样选择爬虫框架？
有些人问，开发网络爬虫应该选择Nutch、Crawler4j、
WebMagic
、scrapy、WebCollector还是其他的？
AJAXHu
·
2014-12-24 14:00
爬虫
Nutch
网络爬虫
java爬虫
开源爬虫
打算在OSC安家了，求大神指导
选择OSC的原因很多，从这里了解了JFinal，
WebMagic
，Tiny等各种优秀的开源框架，也真正的喜欢上了这里，每天必看的一定是资讯、博客、职业生涯这些频道，注册的时间很早了，但是真的很懒
Realfighter
·
2014-11-27 17:00
用
webmagic
实现的网络爬虫
用
webmagic
实现的网络爬虫网络蜘蛛（网络爬虫）Web Spider是一个非常形象的比喻，如果我们的网络是一个蜘蛛网，每个节点就是一个网站，联系每个节点的蜘蛛丝就是我们网站的连接。
香煎马鲛鱼
·
2014-11-03 00:00
java
爬虫
数据挖掘
webmagic
——魔法般的爬虫框架
webMagic
是一个非常不错的开发框架。
香煎马鲛鱼
·
2014-10-19 22:00
Web
使用Spring Profile和Mybatis进行多个数据源（H2和Mysql）的切换
最近在做
WebMagic
的后台，遇到一个问题：后台用到了数据库，本来理想情况下是用Mysql，但是为了做到开箱即用，也整合了一个嵌入式 数据库H2。
zhuliang1984723
·
2014-09-26 11:00
mybatis
使用Spring Profile和Mybatis进行多个数据源（H2和Mysql）的切换
最近在做
WebMagic
的后台，遇到一个问题：后台用到了数据库，本来理想情况下是用Mysql，但是为了做到开箱即用，也整合了一个嵌入式 数据库H2。
zhuliang1984723
·
2014-09-26 11:00
mybatis
AtomicInteger简介
今天在研究爬虫
WebMagic
的源代码的时候，突然发现了一个新奇的类。于是查了下百度，才明白了这个类的作用。这个便是：AtomicInteger。
蓝雨麦浪
·
2014-09-19 14:00
垂直爬虫
webmagic
新版文档地址http://
webmagic
.io/docs/zh/,http://
webmagic
.io/docs/zh/posts/ch1-overview/README.html
webmagic
的使用文档
pyzheng
·
2014-09-05 20:00
Web
垂直爬虫
webmagic
新版文档地址http://
webmagic
.io/docs/zh/,http://
webmagic
.io/docs/zh/posts/ch1-overview/README.html
webmagic
的使用文档
pyzheng
·
2014-09-05 20:00
Web
Webmagic
一个网络爬虫工具包
阅读更多
webmagic
是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。
webmagic
的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。
aoyouzi
·
2014-09-05 12:00
Webmagic
网络爬虫
工具包
Webmagic
一个网络爬虫工具包
webmagic
是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。
webmagic
的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。
aoyouzi
·
2014-09-05 12:00
网络爬虫
工具包
webmagic
Webmagic
一个网络爬虫工具包
阅读更多
webmagic
是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。
webmagic
的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。
aoyouzi
·
2014-09-05 12:00
Webmagic
网络爬虫
工具包
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他