Webmagic

学 Java 网络爬虫，需要哪些基础知识？

有不少人都不知道Java可以做网络爬虫，其实Java也能做网络爬虫而且还能做的非常好，在开源社区中有不少优秀的Java网络爬虫框架，例如webmagic。
平头哥的技术博文·2019-10-04 10:11

WebMagic抓取数据

WebMagic官网http://webmagic.io/导入依赖us.codecraftwebmagic-core0.7.3us.codecraftwebmagic-extension0.7.3#项目内会写文件所以加了
单人影i·2019-10-03 22:29

Spring boot 自定义banner的在线制作

目前在做一个基于SpringBoot2.x+webmagic+quartz的爬虫项目【hotDog】https://github.com/raysonfang/hotDog欢迎star。
方子龙·2019-09-23 14:00

爬虫思路

做法1.因为是第一次接触用java写爬虫，所以去查了一些有关java爬虫方面的资料，对比了几个爬虫框架之后，决定先使用webmagic作为框架来使用看看。
fall_hat·2019-09-22 21:50

十次方人工智能笔记一：网络爬虫

爬虫框架WebMagic架构解析WebMagic的设计目标是尽量的模块化，并体现爬虫的功能特点。这部分提供非常简单、灵活的API，在基本不改变开发模式的情况下，编写一个爬虫。
imxushuai·2019-09-17 16:53

使用webmagic+selenium+PhantomJS 提取加密js反爬虫的网站数据

使用webmagic+selenium+PhantomJS提取加密js反爬虫的网站数据前言核心代码前言因为业务需要，我需要抓取欧盟商标查询网站的数据，经过分析发现，该网站通过混淆加密js写入cookie
凌飞安·2019-09-06 11:00

WebMagic使用代理ip爬数据解决HTTP407问题

使用webmagic来实现。光公司ip不行，被封了就会影响业务正常访问。刚好公司另一个项目购买了代理IP资源“站大爷”，那个项目夭折了，于是申请借来用用。
buguge·2019-08-30 12:00

Webmagic爬虫案例

什么是网络爬虫在大数据时代，信息的采集是一项重要的工作，而互联网中的数据是海量的，如果单纯靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高。如何自动高效地获取互联网中我们感兴趣的信息并为我们所用是一个重要的问题，而爬虫技术就是为了解决这些问题而生的。网络爬虫（Webcrawler）也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。它是一种按照一定的规则，自动地抓取万维网信
_陌子曦·2019-08-27 16:18

JAVA中使用selenium + Chrome驱动程序抓取页面内容时，碰到的一些问题及思考整理。

后来尝试通过webMagic框架，配合selenium\Chrome等进行基础数据的抓取及整理。
deathearth·2019-08-27 09:38

【爬虫集合】Python爬虫

一、爬虫学习教程1.https://www.jianshu.com/u/c32d557edfa32.WebMagic是一个简单灵活的Java爬虫框架。
沙漏哟·2019-08-19 17:00

java爬虫之webMagic学习

webMagic爬虫webMagic介绍项目引入webMagicwebMagic配置PageProcessor类pipeline类保存爬取的数据参考文档webMagic介绍WebMagic是一个简单灵活的
唯有遇见清·2019-08-16 16:23

WebMagic ---去重和增量爬取

通过查阅相关资料，知道Webmagic去重靠的是Scheduler，默认使用的是QueueScheduler，同时在资料中还看到了RedisScheduler。我们都知道，Redis具有天然的单线程特
北辰鲤·2019-08-06 15:27

9 WebMagic 入门案例

0环境准备创建maven工程，加入依赖：4.0.0cn.yscrawler-webmagic1.0-SNAPSHOTus.codecraftwebmagic-core0.7.3us.codecraftwebmagic-extension0.7.3
不知所起 一往而深·2019-07-31 18:09

基于spring boot+WebMagic+MyBatis的爬虫框架

WebMagic是一个开源的java爬虫框架。WebMagic框架的使用并不是本文的重点，具体如何使用请参考官方文档：http://webmagic.io/docs/。
jessehua·2019-06-28 10:32

爬虫实战

打算使用springboot+mybatis_plus搭建工程，使用爬虫框架webMagic爬取52Job上的招聘数据，使用es进行大数据量的搜索。项目前准备：爬虫的本质是模拟浏览器向网站
poop1250·2019-06-10 10:12

WebMagic

WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。
丹青笔·2019-06-08 22:45

WebMagic

WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。
丹青笔·2019-06-08 22:45

Java多线程爬取全书网小说

先给大家贴上全书网网址：http://www.quanshuwang.com/本程序采用的webmagic爬虫框架；WebMagic是一个简单灵活的Java爬虫框架。
可乐爱吃薯片·2019-06-05 23:34

使用java+WebMagic实现小说爬取

1、首先百度搜索webmagic网站，网址如下：https://github.com/code4craft/webmagic/releases/tag/WebMagic-0.7.32、接下来下载webmagic
Unitue_逆流·2019-04-28 20:58

使用java+WebMagic实现电影资源链接爬取

1、首先百度搜索webmagic网站，网址如下：https://github.com/code4craft/webmagic/releases/tag/WebMagic-0.7.32、接下来下载webmagic
Unitue_逆流·2019-04-28 08:39

java爬虫系列第五讲-如何使用代理防止爬虫被屏蔽?

本文内容1、分析一下爬虫存在的问题及解决方案2、webmagic中代理的使用3、目前市面上一些比较好用的代理服务器存在的问题我们在使用爬虫过程中，大多都会遇到这样的问题：突然某一天爬虫爬不到内容了，目标网站直接返回
路人甲Java·2019-04-23 11:00

Java爬虫：使用WebMagic构建最简单的爬虫项目

资料WebMagic的架构设计参照了Scrapy项目主页：http://webmagic.io/github地址：https://github.com/code4craft/webmagic项目文档：http
彭世瑜·2019-04-21 20:39

java爬虫系列第二讲-爬取最新动作电影《海王》迅雷下载地址

1.目标使用webmagic爬取动作电影列表信息爬取电影《海王》详细信息【电影名称、电影迅雷下载地址列表】2.爬取最新动作片列表获取电影列表页面数据来源地址访问http://m.ady01.com/rs
路人甲Java·2019-04-21 14:00

java爬虫系列第二讲-爬取最新动作电影《海王》迅雷下载地址

1.目标使用webmagic爬取动作电影列表信息爬取电影**《海王》**详细信息【电影名称、电影迅雷下载地址列表】2.爬取最新动作片列表获取电影列表页面数据来源地址访问http://m.ady01.com
路人甲Java·2019-04-21 14:22

java爬虫系列第一讲-爬虫入门

ady01.com中的电影资源（动作电影列表页、电影下载地址等信息）使用webmgic爬取极客时间的课程资源（文章系列课程和视频系列的课程）本篇文章主要内容：介绍java中好用的爬虫框架java爬虫框架webmagic
路人甲Java·2019-04-21 11:00

java爬虫系列第一讲-爬虫入门（爬取动作片列表）

ady01.com中的电影资源（动作电影列表页、电影下载地址等信息）使用webmgic爬取极客时间的课程资源（文章系列课程和视频系列的课程）本篇文章主要内容：介绍java中好用的爬虫框架java爬虫框架webmagic
路人甲Java·2019-04-20 12:02

webmagic爬虫自学（六）网络爬虫模拟登陆[策略二：通过Selenium模拟表单提交]

一、搭建webmagic项目环境部分代码，请参考https://blog.csdn.net/qq_29914837/article/details/89309298二、网络爬虫模拟登陆[策略二：通过Selenium
互联网叫兽·2019-04-15 22:10

使用webmagic爬取网站数据

爬取网站的技术很多，我是使用java来写，经过对比还是选择了webmagic来实现。原因就是方便，简单。
兴国First·2019-03-31 20:49

基于Webmagic的Java爬虫（四）爬取动态列表页内容

一、目标：爬取博客园上的所有文章的标题，爬取不同页码的文章，将其在控制台输出。二、要点：模拟POST请求。实际请求地址。三、步骤：按F12查看源码，发现翻页处链接没有具体链接而是动态的地址，即在此页面不能直接取到所有的网页链接。点击翻页后按F12查看源码可发现实际请求地址。模拟POST请求。//模拟POST请求Requestrequest=newRequest(URL_LIST);request.
Ada5899·2019-03-27 22:58

基于Webmagic的Java爬虫（二）爬取当前页内容

基于Webmagic的Java爬虫（二）一、目标：获取（电影天堂）电影详情页链接，再获取电影名字和下载地址，并在控制台输出。
Ada5899·2019-03-24 22:30

爬虫从入门到放弃——组件的使用和定制

以前我们提到了WebMagic的组件。WebMagic的一大特色就是可以灵活的定制组件功能，实现你自己想要的功能。
No_Game_No_Life_·2019-02-19 15:10

爬虫从入门到放弃——WebMagic使用简单的爬虫（2）

补充一下引用的包：us.codecraftwebmagic-core0.7.3us.codecraftwebmagic-extension0.7.3WebMagic基本代码现在我们想爬取博客园的作者，我们进入博客园的网站
No_Game_No_Life_·2019-02-19 11:35

爬虫从入门到放弃——开源爬虫框架

供本人学习使用：作者：老夏链接：https://www.zhihu.com/question/27042168/answer/70821088目前主流的网络爬虫框架包括但不限于：Nutch、Crawler4j、WebMagic
No_Game_No_Life_·2019-02-18 10:44

Mark一下好看的文章/博客/工具/网站

SpringBoot非官方教程|终章：文章汇总史上最简单的SpringCloud教程|终章WebMagicinActionElasticSearch教程——汇总篇中华石杉老师课程docker最好的入门系列文章汇总
heyaotang·2019-02-02 00:29

java爬虫入门---WebMagic

webmagic的设计目标是尽量的模块化，并体现爬虫的功能特点。这部分提供非常简单、灵活的API，在基本不改变开发模式的情况下，编写一个爬虫。1.2、主要特色完全模块化的设计，强大的可扩展性。
城墙_城墙·2019-01-31 13:42

十二、学习爬虫框架WebMagic（八）---访问超时、402等解决办法

在使用webmagic爬取小说网站时，由于网络或者访问过于频繁时，小说网站服务器会返回超时、402/400/502等错误，但是这些URL依然会被记录到redis中，这样就带来一个问题：我们在下次进行增量爬取时
咸鱼最牛逼·2019-01-31 11:33

十、学习爬虫框架WebMagic（六）---去重和增量爬取

通过查阅相关资料，知道Webmagic去重靠的是Scheduler，默认使用的是QueueScheduler，同时在资料中还看到了RedisScheduler。我们都知道，Redis具有天然的单线程特
咸鱼最牛逼·2019-01-27 11:58

【JAVA】Webmagic 爬虫框架，带着问题解读源码

前言github地址https://github.com/cwtree/webmagicWebMagic的设计参考了业界最优秀的爬虫Scrapy，而实现则应用了HttpClient、Jsoup等Java
chiweitree·2019-01-03 17:11

五、学习爬虫框架WebMagic（一）---入门案例

一、WebMagic简介  参见网上其他介绍。
咸鱼最牛逼·2018-12-29 17:10

SpringBoot集成WebMagic爬虫

正好有个实验性质的爬虫项目前期，所以用SpringBoot集成WebMagic做一下尝试，看看是否能改变之前的刻板印象。
chfenix·2018-12-28 17:58

（10）Java爬虫框架webmagic学习笔记

Java爬虫框架webmagic学习笔记参考自：webmagic文档webmagic简介webmagic的github网址：https://github.com/code4craft/webmagic使用
Fighting_No1·2018-12-15 14:53

Java爬虫框架WebMagic学习

Java爬虫框架WebMagic学习一、认识WebMagic1.总体架构1.1.四大组件1.2.数据流转的对象二、WebMagic爬虫项目简单Demo1.网页分析2.代码实现2.1.添加依赖2.2.实现
颜丶苒苒·2018-11-28 18:06

Java爬虫-WebMagic爬取博客图片(好色龍的網路觀察日誌)

WebMagic爬取博客图片最近在学习java爬虫，接触到WebMagic框架，正好拿我喜爱的博客来练习，希望龙哥（博主）不要责备我~~博客链接：好色龍的網路觀察日誌，超级有趣的翻译漫画，持续了七年之久
Tanlooo·2018-11-21 10:05

webMagic-0.7.3出现javax.net.ssl.SSLException: Received fatal alert: protocol_version错误

WebMagic-0.7.3版本默认的HttpClient只会用TLSv1去请求，对于某些只支持TLS1.2的站点（例如https://juejin.im/），就会报错：javax.net.ssl.SSLException
兽耳灵狐·2018-11-17 13:08

WebMagic学习总结

教科书式文档：http://webmagic.io/docs/zh/posts/ch4-basic-page-processor/概念介绍：http://448230305.iteye.com/blog
just want to know·2018-11-12 15:52

【Java爬虫学习】WebMagic框架爬虫学习实战一：爬取网易云歌单信息，并存入mysql中

因为之前学习了Scrapy框架，所以学Java的爬虫使用了WebMagic框架，这个框架是基于Scrapy框架开发的。
吃不起肯德基·2018-10-09 21:37

WebMagic整体框架

阅读更多总体架构WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。
liyixing1·2018-10-09 19:00

WebMagic整体框架

阅读更多总体架构WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。
liyixing1·2018-10-09 19:00

WebMagic抓取阿里司法拍卖信息

1、引入pom文件us.codecraftwebmagic-core0.7.3us.codecraftwebmagic-extension0.7.32、编写爬虫工具/***网络爬虫工具**@authorsunyiran
蜗牛2号·2018-09-11 11:10

Java网络爬虫基于webMagic爬取慕课网所有免费视频信息实例

webMagic就是今天的主角它在github上的start数量达到了近7000很了不起了并且这个是我们国人开发的哦。
qq_38844040·2018-09-03 20:31
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他