Java爬虫

Java爬虫实战——利用jsoup爬取网页资源

前言最近沉寂了几周，那是因为小编在埋头farming，学习新技术，思考人生……我一直认为分享的目的在于自我成长并造福他人，我们曾经和现在在网路上搜索的资料和方案又何尝不是别人分享和总结的呢？感谢有那么多人在默默分享和付出……今天给大家分享一个小爬虫方案，小编很久很久之前就想深入爬虫的世界，可是放眼大都是Python系列，虽然用Python很爽很优雅，但一直在Java栈里，暂时不想额外去学Pytho
测试开发栈·2017-08-05 13:37

Java爬虫入门简介（一） —— HttpClient请求及其使用方法

博客系列Java爬虫入门简介（一）——HttpClient请求（本文）Java爬虫入门简介（二）——Jsoup解析HTML页面博客系列一环境的准备二创建工程三第一个示例四HttpClient的详细使用博客系列首先
数据学习（Datalearner）·2017-07-27 21:48

WebMagic简明教程（一）

WebMagic简明教程（一）前言做项目需要爬取一些数据，不想用Python，就尝试了下webmagic这个爬虫框架，总的来说上手还是比较简单的，这里来总结一下.webmagic是一个简单灵活的Java
chenxiaokang97·2017-07-23 01:48

教务系统,验证码识别,异步加载,java爬虫06

上一篇介绍了Python的selenium,今天终于把selenium的java环境弄好了.遇到ajax异步加载的网页还真有点点头疼,普通的爬虫会遇到登录的网页和加载的验证码不一致,不过selenium还真是神器,可以模拟浏览器,实现加载的网页一致性,爬取网页无所不能.环境selenium3.4的jar包和依赖包下载:http://pan.baidu.com/s/1jI1ewNc同时需要Phant
m0_37681914·2017-07-14 11:24

java爬虫教务信息门户(java爬虫04)

我从去年12月开始接触爬虫,现在已有足足7个月了,中间一直没搞懂cookie和http协议,时隔这么久,总算弄明白了,也总算爬进去了!!!昨天开始学习的httpClient,今天用它练手爬一下学校的信息门户吧!http://myportal.sxu.edu.cn/login.portal1.抓包以下信息是通过charm浏览器抓包(快捷键F12)获得的:1.http://myportal.sxu.e
m0_37681914·2017-07-10 11:25

java爬虫教程01

学习本教程前,先得了解http协议.心血来潮,来搞点事情.本教程基于:httpcomponents-client,主要根据官方文档讲解.http://hc.apache.org/httpcomponents-client-5.0.x/examples.html本人使用的是4.5.3版,下载地址:http://hc.apache.org/downloads.cgi一个简单的爬虫主要步骤:1.Clos
m0_37681914·2017-07-09 11:13

Java爬虫爬取图片脚本

importjava.io.*;importjava.net.URL;importjava.net.URLConnection;importjava.util.ArrayList;importjava.util.Date;importjava.util.List;importjava.util.regex.Matcher;importjava.util.regex.Pattern;publiccl
东京八十万萝莉教头·2017-07-07 18:04

简单的java爬虫代码

packagecom.html;importjava.io.BufferedReader;importjava.io.File;importjava.io.FileOutputStream;importjava.io.IOException;importjava.io.InputStream;importjava.io.InputStreamReader;importjava.net.HttpUR
babyha·2017-07-03 22:22

使用webmagic编写Java爬虫获取博客园文章内容

先导知识官方教程简单爬虫编写Maven配置第一个爬虫：博客园特别注意无意中发现了这个框架，真正的传说中的傻瓜爬虫框架，用来写简单爬虫很方便，也能够通过多写一些代码写复杂爬虫，作者是中国人，看文档就能学会这个框架的使用，我这里简单的用cnblogs举例介绍一下这个框架的使用。1.先导知识Java：这个就不多说了，不会Java肯定是要用Python写爬虫的，资料一找一大堆。Maven：Maven被id
CieloSun·2017-07-02 14:19

使用webmagic编写Java爬虫获取博客园文章内容

先导知识官方教程简单爬虫编写Maven配置第一个爬虫：博客园特别注意无意中发现了这个框架，真正的传说中的傻瓜爬虫框架，用来写简单爬虫很方便，也能够通过多写一些代码写复杂爬虫，作者是中国人，看文档就能学会这个框架的使用，我这里简单的用cnblogs举例介绍一下这个框架的使用。1.先导知识Java：这个就不多说了，不会Java肯定是要用Python写爬虫的，资料一找一大堆。Maven：Maven被id
CieloSun·2017-07-02 14:19

使用webmagic编写Java爬虫获取博客园文章内容

先导知识官方教程简单爬虫编写Maven配置第一个爬虫：博客园特别注意无意中发现了这个框架，真正的传说中的傻瓜爬虫框架，用来写简单爬虫很方便，也能够通过多写一些代码写复杂爬虫，作者是中国人，看文档就能学会这个框架的使用，我这里简单的用cnblogs举例介绍一下这个框架的使用。1.先导知识Java：这个就不多说了，不会Java肯定是要用Python写爬虫的，资料一找一大堆。Maven：Maven被id
CieloSun·2017-07-02 14:19

使用webmagic编写Java爬虫获取博客园文章内容

先导知识官方教程简单爬虫编写Maven配置第一个爬虫：博客园特别注意无意中发现了这个框架，真正的传说中的傻瓜爬虫框架，用来写简单爬虫很方便，也能够通过多写一些代码写复杂爬虫，作者是中国人，看文档就能学会这个框架的使用，我这里简单的用cnblogs举例介绍一下这个框架的使用。1.先导知识Java：这个就不多说了，不会Java肯定是要用Python写爬虫的，资料一找一大堆。Maven：Maven被id
CieloSun·2017-07-02 14:19

使用webmagic编写Java爬虫获取博客园文章内容

先导知识官方教程简单爬虫编写Maven配置第一个爬虫：博客园特别注意无意中发现了这个框架，真正的传说中的傻瓜爬虫框架，用来写简单爬虫很方便，也能够通过多写一些代码写复杂爬虫，作者是中国人，看文档就能学会这个框架的使用，我这里简单的用cnblogs举例介绍一下这个框架的使用。1.先导知识Java：这个就不多说了，不会Java肯定是要用Python写爬虫的，资料一找一大堆。Maven：Maven被id
CieloSun·2017-07-02 14:19

使用webmagic编写Java爬虫获取博客园文章内容

先导知识官方教程简单爬虫编写Maven配置第一个爬虫：博客园特别注意无意中发现了这个框架，真正的传说中的傻瓜爬虫框架，用来写简单爬虫很方便，也能够通过多写一些代码写复杂爬虫，作者是中国人，看文档就能学会这个框架的使用，我这里简单的用cnblogs举例介绍一下这个框架的使用。1.先导知识Java：这个就不多说了，不会Java肯定是要用Python写爬虫的，资料一找一大堆。Maven：Maven被id
CieloSun·2017-07-02 14:19

使用webmagic编写Java爬虫获取博客园文章内容

先导知识官方教程简单爬虫编写Maven配置第一个爬虫：博客园特别注意无意中发现了这个框架，真正的传说中的傻瓜爬虫框架，用来写简单爬虫很方便，也能够通过多写一些代码写复杂爬虫，作者是中国人，看文档就能学会这个框架的使用，我这里简单的用cnblogs举例介绍一下这个框架的使用。1.先导知识Java：这个就不多说了，不会Java肯定是要用Python写爬虫的，资料一找一大堆。Maven：Maven被id
CieloSun·2017-07-02 14:19

使用Gecco写Java简单爬虫

偶然情况下，接触Gecco这个Java爬虫框架，尝试用了一下，感觉非常不错，用起来非常简单，非常适合不太懂爬虫基础，又想快速写个爬虫来爬取数据的人。开发环境简单说明 (1)环境说明：   –JDK
wjljsbk·2017-06-24 09:56

[Java]中的HttpClient对象实现简单的爬虫,抓取妹子图片

笔者之前没接触过爬虫的，参考网上的例子，模仿这写了第一个Java爬虫的例子，用来抓取http://www.mmjpg.com/网站的妹子图片，先看结果：第一次抓取到网上的图片还是有点小欣慰的。
阿彡·2017-05-24 22:31

python爬虫初步-与java爬虫的比较

相比较java来说,python的http库类更佳丰富,用java需要几十行代码才能完成的事情,python往往只需要十几行,例如打开并且存储一个网页java代码:importjava.io.BufferedReader;importjava.io.FileOutputStream;importjava.io.FileWriter;importjava.io.IOException;importj
冯子玉·2017-05-24 17:15

java 爬虫详解及简单实例

Java爬虫一、代码爬虫的实质就是打开网页源代码进行匹配查找，然后获取查找到的结果。
饭饭_fan·2017-05-24 08:46

http编程系列（二）——java爬虫实现刷个人博客的访问量

实现功能这里实现的功能是一个根据个人博客主页，搜索出所有的个人博文链接，然后一个一个去访问，从而增加访问量。这里我发现一个问题，csdn既没有做接口ip访问量的限制，访问量统计时也没有做同一ip相同时间段的重复访问重复计数的处理。这也时这个程序能够刷访问量的原因。思路进入个人博客主页，如我的博客：”http://blog.csdn.net/luo4105”，它会出来一个博客的列表(blogList
逝兮诚·2017-05-20 18:36

Java开源爬虫框架WebCollector 2.x入门教程——基本概念

WebCollector2.x入门教程——基本概念bybriefcopy·Published2016年4月25日·Updated2016年12月11日WebCollector是一个无须配置、便于二次开发的JAVA
你可拉倒吧·2017-05-11 18:53

Java 爬虫工具Jsoup详解

Java爬虫工具Jsoup详解Jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。
Smile_Miracle·2017-05-11 09:35

Java爬虫实战（一）：抓取一个网站上的全部链接

前言：写这篇文章之前，主要是我看了几篇类似的爬虫写法，有的是用的队列来写，感觉不是很直观，还有的只有一个请求然后进行页面解析，根本就没有自动爬起来这也叫爬虫？因此我结合自己的思路写了一下简单的爬虫，测试用例就是自动抓取我的博客网站（http://www.zifangsky.cn）的所有链接。一算法简介程序在思路上采用了广度优先算法，对未遍历过的链接逐次发起GET请求，然后对返回来的页面用正则表达式
Star Love Leaf·2017-05-11 08:33

Java爬虫实战（二）：抓取一个视频网站上2015年所有电影的下载链接

前言：这是Java爬虫实战的第二篇文章，在第一篇文章仅仅只是抓取目标网站的链接的基础上，进一步提高难度，抓取目标页面上我们所需要的内容并保存在数据库中。
Star Love Leaf·2017-05-11 08:14

JS爬虫，Java爬虫，Python爬虫与反爬虫（工具或框架，脚本）

>JS爬虫，Java爬虫与反爬虫？
desaco·2017-05-10 18:55

Java爬虫爬取python百度百科词条及相关词条页面

Java爬虫爬取python百度百科词条及相关词条页面本实例爬取关于python词条页面及关联词条页面的简介，把词条的简介写入txt文本中，本实例效果：实例基于使用第三方jar包Jsoup1首先分析python
Coder_py·2017-05-01 10:20

Java爬虫进阶-Selenium+PhantomJs的运用

seleniumSelenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE、MozillaFirefox、MozillaSuite等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建衰退测试检验软件功能和用户需求。支持自动录制动作和自动
Smile_Miracle·2017-04-26 18:16

Java爬虫进阶-HtmlUnit使用解析

大家在做爬虫、网页采集、通过网页自动写入数据时基本上都接触过这两个组件（权且称之为组件吧），网上入门资料已经很多了，我想从实际的应用角度谈谈我对于这两个组件的看法，并记录在博客中，以便日后翻阅，欢迎大家批评指正。本文主要比较两者的优劣性以及介绍应用中的使用技巧，推荐一些入门资料以及非常实用的辅助工具，希望能对大家有所帮助。大家有任何疑问或者建议希望留言给我，一起交流学习。下面我们首先来看下2个组件
Smile_Miracle·2017-04-25 17:19

Java爬虫进阶-Jsoup+httpclient获取动态生成的数据

前面我们详细讲了一下Jsoup发现这玩意其实也就那样，只要是可以访问到的静态资源页面都可以直接用他来获取你所需要的数据，详情情跳转-Jsoup爬虫详解，但是很多时候网站为了防止数据被恶意爬取做了很多遮掩，比如说加密啊动态加载啊，这无形中给我们写的爬虫程序造成了很大的困扰，那么我们如何来突破这个梗获取我们急需的数据呢，下面我们来详细讲解一下如何获取StringstartPage="https://i
Smile_Miracle·2017-04-25 16:44

学习简单的Java爬虫的心得

简单的Java爬虫原理：我们需要在应用程序上获得网页上的数据，这个过程就是应用程序与URL的一种通信。而这种通信可以通过URLConnection实现连接。
shmily995·2017-04-23 00:56

java爬虫爬取百度图片

java爬虫实现按照关键词爬取图片，并在下载在指定目录下。
machong_mc·2017-04-18 15:57

java 爬虫技术---上

简单分析了需求之后，开始进行技术选型，java爬虫也是有很多种类的，可以使用比较成熟的框架。我这里使用的是jsoup，简单粗暴的一种技术。
追寻free·2017-03-30 16:23

Java爬虫爬取代理ip

publicclassGetIpAddressUtil{ publicstaticMapgetIpAddress(){ Mapmaps=newHashMap(); for(inti=1;i<20;++i){ try{ Documentdoc=Jsoup.connect("http://www.xicidaili.com/nn/"+i) .data("query","Java") .userAgen
TyroneRenekton·2017-03-16 20:00

网络爬虫， Java爬虫，信息抓取的实现

一：介绍网络爬虫是一种程序,主要用于搜索引擎,它将一个网站的所有内容与链接进行阅读,并建立相关的全文索引到数据库中,然后跳到另一个网站.样子好像一只大蜘蛛.当人们在网络上(如google)搜索关键字时,其实就是比对数据库中的内容,找出与用户相符合的.网络爬虫程序的质量决定了搜索引擎的能力,如google的搜索引擎明显要比百度好,就是因为它的网络爬虫程序高效,编程结构好.二：java通过jsoup抓
vampire2777·2017-03-15 19:03

Java爬虫入门笔记

今天一天都在想怎么爬到我需要的数据，然后用Java代码实现了一下。以前只是知道正则表达式很强大，但是看起来头晕，所以也懒得去看。然后突然要爬数据，看到别人写的例子，一大堆的正则表达式，所以硬着头皮也去入了一个门。附上参考网站，很给力的正则学习，30分钟真能入门。正则表达式30分钟入门教程1需求：比如要从这样一个网页上抓取数据http://map.baidu.com/detail?qt=ninf&f
带着天使反上帝·2017-03-14 20:26

知乎爬虫web系统

web系统知乎爬虫web系统一pazhihu简介二项目源代码下载三启动说明四界面功能展示五类层次模块设计搜索模块注册登录模块关注管理模块邮件模块六待解决问题一、pazhihu简介“爬知乎”是一个可以利用java
CoderLim·2017-02-16 01:21

知识体系/图谱简介

80%E6%9C%AF%E4%BD%93%E7%B3%BBjava知识树-http://lib.csdn.net/litao0942051021/chart/Java%E5%AD%A6%E4%B9%A0java
ShareUs·2017-01-25 10:00

听说你会Java?来看看这几个开源项目

今天小编就推荐几个优秀的开源JAVA爬虫项目，希望能救救程序员。
众致科技·2017-01-19 14:51

java爬虫（使用jsoup设置代理，抓取网页内容）

jsoup简介jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。jsoup的主要功能如下：1.从一个URL，文件或字符串中解析HTML；2.使用DOM或CSS选择器来查找、取出数据；3.可操作HTML元素、属性、文本；需要使用的是jsoup-1.7.3.jar包如
qq_21439971·2016-12-28 16:13

Java爬虫爬取360doc个人图书馆

然后我就用Jsoup把想要的爬下来了。Documentdoc=Jsoup.connect("http://www.360doc.com/content/13/1210/01/1956846_335862874.shtml").data("query","Java").userAgent("Mozilla").cookie("auth","token").timeout(3000).get();El
JaTomy·2016-11-14 16:47

Java爬虫（3）——拼接url抓取“加载更多”内容

Java爬虫（3）——拼接url抓取“加载更多”内容上期我们说到phantomjs可模拟点击按钮行为，通过点击完所有”加载更多”按钮来抓所有内容。
乔的天然呆·2016-11-13 20:39

java爬虫入门实战

爬虫百度百科：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。爬虫的实质，就是获取静态数据，并对此进行分析从而获取对我们有价值的数据，从中可见，最重要的就是分析数据这一部分。数据的格式有json，xml，html等等，在此我们就分析链家网的ht
JeffCoding·2016-11-11 22:18

java爬虫Gecco工具抓取新闻实例

最近看到Gecoo爬虫工具，感觉比较简单好用，所有写个DEMO测试一下，抓取网站http://zj.zjol.com.cn/home.html，主要抓取新闻的标题和发布时间做为抓取测试对象。抓取HTML节点通过像Jquery选择器一样选择节点，非常方便，Gecco代码主要利用注解实现来实现URL匹配，看起来比较简洁美观。添加Maven依赖com.geccocrawlergecco1.0.8编写抓取
赵侠客·2016-10-28 11:19

java爬虫之基于httpclient的简单Demo(二)

延续demo1的java爬虫的2种爬取方式（HTTP||Socket）简单Demo(一)，demo2出炉啦，大家想学爬虫都可以从这个网盘学习哦：https://pan.baidu.com/s/1pJJrcqJ
ACLewis·2016-10-19 17:15

Java爬虫抓取视频网站下载链接

本篇文章抓取目标网站的链接的基础上，进一步提高难度，抓取目标页面上我们所需要的内容并保存在数据库中。这里的测试案例选用了一个我常用的电影下载网站（http://www.80s.la/）。本来是想抓取网站上的所有电影的下载链接，后来感觉需要的时间太长，因此改成了抓取2015年电影的下载链接。一原理简介其实原理都跟第一篇文章差不多，不同的是鉴于这个网站的分类列表实在太多，如果不对这些标签加以取舍的话，
pangfc·2016-10-19 12:17

Java爬虫实战抓取一个网站上的全部链接

前言：写这篇文章之前，主要是我看了几篇类似的爬虫写法，有的是用的队列来写，感觉不是很直观，还有的只有一个请求然后进行页面解析，根本就没有自动爬起来这也叫爬虫？因此我结合自己的思路写了一下简单的爬虫。一算法简介程序在思路上采用了广度优先算法，对未遍历过的链接逐次发起GET请求，然后对返回来的页面用正则表达式进行解析，取出其中未被发现的新链接，加入集合中，待下一次循环时遍历。具体实现上使用了Map，键
pangfc·2016-10-19 11:49

Java爬虫（webmagic）

webMaigc学习地址（强烈推荐）：http://www.oschina.net/p/webmagic本人项目案例：http://blog.csdn.net/u012385190/article/details/53393805本篇博客只是整理笔记。webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。webmagic采用完全模块化的设计
俺就不起网名·2016-10-18 16:00

java爬虫的2种爬取方式（HTTP||Socket）简单Demo(一)

最近在找java的小项目自己写着玩，但是找不到合适的，于是写开始学一点爬虫，自己也是感觉爬虫比较有趣。这里自己找了一个教程，这一次写的是基于Socket和http方式爬取.小项目结构图：（1）SystemContorl类，实现整个爬虫任务调度，爬取任务packagecom.simple.control;importcom.simple.Level.TaskLevel;importcom.simpl
ACLewis·2016-10-16 11:24

Java爬虫——phantomjs抓取ajax动态加载网页

（说好的第二期终于来了>_<）1、phantomjs介绍phantomjs实现了一个无界面的webkit浏览器。虽然没有界面，但dom渲染、js运行、网络访问、canvas/svg绘制等功能都很完备，在页面抓取、页面输出、自动化测试等方面有广泛的应用。官网:http://phantomjs.org/2、问题分析上期采用CloseableHttpClient未能抓取到我们想要的天猫价格，是因为这个价
乔的天然呆·2016-10-02 01:28

java爬虫实现数据抓取

这篇博客我们将用java来实现基本的爬虫数据抓取操作，基本思路就是通过java访问url,然后拿到返回的html文档，并用jsoup解析。首先我们来看下需要抓取的页面，以我自己的csdn博客列表页面为例。我们将每篇博客的链接地址，文章标题以及摘要抓取出来。下面是代码实现：publicclassWhxCsdnCrawler{publicstaticvoidmain(String[]args){Str
hx_wang007·2016-09-12 21:58
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他