Java爬虫

入门的JAVA爬虫实现（附代码）

在写文章之前，我想先申明一下。我是一个刚刚开始学习JAVA的新手，所有我写的文章可能会很基础，而且还可能会出现一些低级错误，如果各位前辈发现任何错误，欢迎留言指出，小弟在此感激不尽。首先，我和大家说一下我的思路。我是用的最简单的方法实现从网页上提取有用的信息的。①写一个类读取网页的HTML代码的全部内容②然后用对应的正则表达式获取你需要的对应的内容③最后写了一个类把获取的所有有用的信息写到txt文
数据中国·2016-02-04 16:53

webmagic的设计机制及原理-如何开发一个Java爬虫

之前就有网友在博客里留言，觉得webmagic的实现比较有意思，想要借此研究一下爬虫。最近终于集中精力，花了三天时间，终于写完了这篇文章。之前垂直爬虫写了一年多，webmagic框架写了一个多月，这方面倒是有一些心得，希望对读者有帮助。webmagic的目标一般来说，一个爬虫包括几个部分：页面下载页面下载是一个爬虫的基础。下载页面之后才能进行其他后续操作。链接提取一般爬虫都会有一些初始的种子URL
周 金根·2016-02-04 14:00

webmagic的设计机制及原理-如何开发一个Java爬虫

之前就有网友在博客里留言，觉得webmagic的实现比较有意思，想要借此研究一下爬虫。最近终于集中精力，花了三天时间，终于写完了这篇文章。之前垂直爬虫写了一年多，webmagic框架写了一个多月，这方面倒是有一些心得，希望对读者有帮助。webmagic的目标一般来说，一个爬虫包括几个部分：页面下载页面下载是一个爬虫的基础。下载页面之后才能进行其他后续操作。链接提取一般爬虫都会有一些初始的种子URL
周 金根·2016-02-04 14:00

简单的java爬虫实现

去年中旬开始接触爬虫一直都是浅显带过期间也写过知乎爬虫和科技网站定向抓取及爬取整个互联网的爬虫今天和大家分享一下第三个及其实现方式和代码早期的实现想法附代码关于爬虫其实理论上很简单就是通过互联网上的超链接导航实现页面的调转与抓取互联网的网也因此而来我也会一步一步的将实现方式和想法展现出来方便大家能够明白每一步要做什么应该怎么做爬虫可以分为6个部分：1.下载器——实现爬虫的基础2.链接解析器——获取
zhugeyangyang1994·2016-01-24 17:10

简单的java爬虫实现

去年中旬开始接触爬虫一直都是浅显带过期间也写过知乎爬虫和科技网站定向抓取及爬取整个互联网的爬虫今天和大家分享一下第三个及其实现方式和代码早期的实现想法附代码关于爬虫其实理论上很简单就是通过互联网上的超链接导航实现页面的调转与抓取互联网的网也因此而来 我也会一步一步的将实现方式和想法展现出来方便大家能够明白每一步要做什么应该怎么做爬虫可以分为6个部分：1.下载器——实现爬虫的基础2.链接解析器——获
zhugeyangyang1994·2016-01-24 17:00

java爬虫糗百

继上次用java把糗百的源码下下来后，决定开始进行剥离想要的字段，不要求别的，只要能与之前用python写的程序实现相同的功能即可，糗百嘛，当然最重要的是段子，所以我只剥夺段子出来，不会乱杀无辜。这里也不用什么线程了，感觉代码给别人看最重要的就是看核心，多了让人烦，就一个类，三个私有方法，一个main方法。这里scanner.nextLine()最好不要用scanner.next（）,因为会不识别
qq_23660243·2016-01-07 14:00

java爬虫入门

最近学习python过程中一直在学习爬虫，感觉很有意思。也曾使用了python+scrapy爬了一个简单的网站，感觉难度不大，主要集中在正则表达式上。但是我是一个java工程师，那么用java没理由爬不了呀。所以开始学习用java爬取数据，入门嘛，就先不上正则表达式了，慢慢消化。这里只展示把所需网页的源码读取并保存在本地的方法，以后会慢慢进行更深入的学习，核心代码如下：privatestaticv
爱国者002·2016-01-07 09:52

java爬虫入门

最近学习python过程中一直在学习爬虫，感觉很有意思。也曾使用了python+scrapy爬了一个简单的网站，感觉难度不大，主要集中在正则表达式上。但是我是一个java工程师，那么用java没理由爬不了呀。所以开始学习用java爬取数据，入门嘛，就先不上正则表达式了，慢慢消化。这里只展示把所需网页的源码读取并保存在本地的方法，以后会慢慢进行更深入的学习，核心代码如下：privatestaticv
qq_23660243·2016-01-07 09:00

Java爬虫框架——SeimiCrawler

SeimiCrawlerAnagile,powerful,standalone,distributedcrawlerframework.SeimiCrawler的目标是成为Java世界最好用最实用的爬虫框架。简介SeimiCrawler是一个敏捷的，支持分布式的爬虫开发框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率。在SeimiCrawl
zhegexiaohuozi·2016-01-05 01:00

Java爬虫框架——SeimiCrawler

阅读更多SeimiCrawlerAnagile,powerful,standalone,distributedcrawlerframework.SeimiCrawler的目标是成为Java世界最好用最实用的爬虫框架。简介SeimiCrawler是一个敏捷的，支持分布式的爬虫开发框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率。在SeimiC
zhegexiaohuozi·2016-01-05 01:00

Java爬虫框架——SeimiCrawler

阅读更多SeimiCrawlerAnagile,powerful,standalone,distributedcrawlerframework.SeimiCrawler的目标是成为Java世界最好用最实用的爬虫框架。简介SeimiCrawler是一个敏捷的，支持分布式的爬虫开发框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率。在SeimiC
zhegexiaohuozi·2016-01-05 01:00

Java爬虫实战（二）：抓取一个视频网站上2015年所有电影的下载链接

前言：这是Java爬虫实战的第二篇文章，在第一篇文章仅仅只是抓取目标网站的链接的基础上，进一步提高难度，抓取目标页面上我们所需要的内容并保存在数据库中。
pangfc·2015-12-31 10:54

Java爬虫实战（二）：抓取一个视频网站上2015年所有电影的下载链接

前言：这是Java爬虫实战的第二篇文章，在第一篇文章仅仅只是抓取目标网站的链接的基础上，进一步提高难度，抓取目标页面上我们所需要的内容并保存在数据库中。
pangfc·2015-12-31 10:54

Java爬虫实战（二）：抓取一个视频网站上2015年所有电影的下载链接

前言：这是Java爬虫实战的第二篇文章，在第一篇文章仅仅只是抓取目标网站的链接的基础上，进一步提高难度，抓取目标页面上我们所需要的内容并保存在数据库中。
pangfc·2015-12-31 10:54

Java爬虫实战（一）：抓取一个网站上的全部链接

Java爬虫实战（一）：抓取一个网站上的全部链接前言：写这篇文章之前，主要是我看了几篇类似的爬虫写法，有的是用的队列来写，感觉不是很直观，还有的只有一个请求然后进行页面解析，根本就没有自动爬起来这也叫爬虫
xztelecomlcs·2015-12-30 08:47

Java爬虫实战（一）：抓取一个网站上的全部链接

Java爬虫实战（一）：抓取一个网站上的全部链接前言：写这篇文章之前，主要是我看了几篇类似的爬虫写法，有的是用的队列来写，感觉不是很直观，还有的只有一个请求然后进行页面解析，根本就没有自动爬起来这也叫爬虫
xztelecomlcs·2015-12-30 08:47

Java爬虫实战（一）：抓取一个网站上的全部链接

前言：写这篇文章之前，主要是我看了几篇类似的爬虫写法，有的是用的队列来写，感觉不是很直观，还有的只有一个请求然后进行页面解析，根本就没有自动爬起来这也叫爬虫？因此我结合自己的思路写了一下简单的爬虫，测试用例就是自动抓取我的博客网站（http://www.zifangsky.cn）的所有链接。一算法简介程序在思路上采用了广度优先算法，对未遍历过的链接逐次发起GET请求，然后对返回来的页面用正则表达式
pangfc·2015-12-29 14:04

Java爬虫实战（一）：抓取一个网站上的全部链接

前言：写这篇文章之前，主要是我看了几篇类似的爬虫写法，有的是用的队列来写，感觉不是很直观，还有的只有一个请求然后进行页面解析，根本就没有自动爬起来这也叫爬虫？因此我结合自己的思路写了一下简单的爬虫，测试用例就是自动抓取我的博客网站（http://www.zifangsky.cn）的所有链接。一算法简介       程序在思路上采用了广度优先算法，对未遍历过的链接逐次发起GET请求，然后对返回来的页
pangfc·2015-12-29 14:04

Java爬虫实战（一）：抓取一个网站上的全部链接

前言：写这篇文章之前，主要是我看了几篇类似的爬虫写法，有的是用的队列来写，感觉不是很直观，还有的只有一个请求然后进行页面解析，根本就没有自动爬起来这也叫爬虫？因此我结合自己的思路写了一下简单的爬虫，测试用例就是自动抓取我的博客网站（http://www.zifangsky.cn）的所有链接。一算法简介       程序在思路上采用了广度优先算法，对未遍历过的链接逐次发起GET请求，然后对返回来的页
pangfc·2015-12-29 14:04

JAVA爬虫WebCollector 2.x入门教程——基本概念

JAVA爬虫WebCollector2.x入门教程——基本概念摘要：WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫
逼格DATA·2015-12-25 10:41

WebCollector 2.x入门教程——基本概念

WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。
ajaxhu·2015-12-25 09:32

Java爬虫被服务器拒绝访问 403错误 学习笔记

利用HttpClient对一个网站进行确定页面的内容抓取，其中从指定URL获取response内容的代码如下：这是HttpClient推荐的请求网页内容的基本写法，第一次尝试运行，直接被服务器403forbidden。publicfinalstaticStringgetByString(Stringurl)throwsException{CloseableHttpClienthttpclient=
ListeneR_·2015-12-20 11:23

java爬虫：在请求body中增加json数据采集

1，http://www.hqepay.com/public/expressquery.html 查询快递不是将键值对post过去，而是将json数据放到body中发送过去。抓包如下：  2，需要导入一些包，代码如下：importjava.io.UnsupportedEncodingException; importorg.apache.http.HttpResponse; importo
金河·2015-11-24 12:00

郑昀邀请开发(Java爬虫/C++自然语言)人才加盟[工作地点：北京]

基于搜索技术的主题互动式社区即将出世！zhengyun_ustc邀请您加盟！ 我是谁？点击这里了解一下。 2005年度CSDN十大最热门BLog作者排名第一； 《程序员》杂志软件中国2005年风云榜专题， 10佳技术Blog之一；j2medev.com网站超级版主之一。    招聘职位： 搜索爬虫(Java)/自然语言处理开发工程师(C++) Web开发Team
·2015-11-13 23:48

通过wireshark获取应用接口并使用爬虫爬取网站数据（二）

于是用手机下载了一个用wireshark查看了一下url之前接口的是imges_min下载的时候变成了imagessoga，知道之后立马试了一下果然有效， 但是总不能一个一个的查看下载吧于是连夜写了个java
山里的小房子·2015-11-13 18:00

通过wireshark获取应用接口并使用爬虫爬取网站数据（一）

前言：设计内容比较繁杂，包括apk反编译，wireshark使用，java爬虫， 一次无聊的时候朋友给我推送了一个比较绅士的app然而当我想看第四个的时候这尼玛，（心中仿佛一万只草泥马奔腾而过），而且会员是需要付费的
山里的小房子·2015-11-13 17:00

Java爬虫，信息抓取的实现

转载请注明出处：http://blog.csdn.net/lmj623565791/article/details/23272657 今天公司有个需求，需要做一些指定网站查询后的数据的抓取，于是花了点时间写了个demo供演示使用。 思想很简单：就是通过Java访问的链接，然后拿到html字符串，然后就是解析链接等需要的数据。 技术上使用Jsoup方便页面的解析，当然Jsoup很方便，也很简单
·2015-11-12 11:30

Java爬虫，信息抓取的实现

java思想很简单：就是通过Java访问的链接，然后拿到html字符串，然后就是解析链接等需要的数据。 技术上使用Jsoup方便页面的解析，当然Jsoup很方便，也很简单，一行代码就能知道怎么用了： 1 Document doc = Jsoup.connect("http://www.oschina.net/") 2 .data("query"
·2015-11-12 09:48

一个简单java爬虫爬取网页中邮箱并保存

此代码为一十分简单网络爬虫，仅供娱乐之用。 java代码如下： 1 package tool; 2 import java.io.BufferedReader; 3 import java.io.File; 4 import java.io.FileWriter; 5 import java.io.InputStreamReader; 6 import java.io.
·2015-10-30 16:20

heritrix的简单使用以及在后台调用heritrix

heritrix是一个开源的java爬虫框架。这里简单介绍linux下heritrix的运行配置以及如何在后台自己的程序中调用heritrix程序爬指定的网站。
·2015-10-30 14:09

基于OAtuth2的新浪微博Java爬虫

OAUTH协议为用户资源的授权提供了一个安全的、开放而又简易的标准。与以往的授权方式不同之处是OAUTH的授权不会使第三方触及到用户的帐号信息（如用户名与密码），即第三方无需使用用户的用户名与密码就可以申请获得该用户资源的授权，因此OAUTH是安全的。oAuth是OpenAuthorization的简写。其实多数尝试动手写新浪微博爬虫的童鞋都知道，新浪微博虽然为用户提供了API调用的接口。但是依然
pangjiuzala·2015-09-07 10:00

crawler4j 爬爬知多少

crawler4j是一个开源的java爬虫类库，可以用来构建多线程的web爬虫来抓取页面内容。2.如何获取Crawler？crawler4j的官方地址在这里，目前版本为4.1。
genuinecx·2015-09-03 10:41

crawler4j 爬爬知多少

crawler4j是一个开源的java爬虫类库，可以用来构建多线程的web爬虫来抓取页面内容。2.如何获取Crawler？crawler4j的官方地址在这里，目前版本为4.1。
genuinecx·2015-09-03 10:41

crawler4j 爬爬知多少

crawler4j是一个开源的java爬虫类库，可以用来构建多线程的web爬虫来抓取页面内容。2.如何获取Crawler？crawler4j的官方地址在这里，目前版本为4.1。
genuinecx·2015-09-03 10:41

简易Java爬虫制作

一、文章来由本来最近任务挺多，但是今天想放松一下，正巧Bill喜欢玩英语配音，而配音都是在配音软件的云上，我想把那些都拿到，于是就写一了一个爬虫，接着就有了这篇爬虫教程~~二、爬虫！！爬虫！！首先要搞清什么叫爬虫~~网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引
testcs_dn·2015-08-07 14:00

WebCollector下载整站页面(JAVA网络爬虫)

下面给出用JAVA爬虫WebCollector(2.09版本以上)爬取整站网页并按照网页拓扑结构存储到本地的代码。   代码中的抽取器可以作为一个插件复用。   
ajaxhu·2015-06-25 09:05

WebCollector下载整站页面(JAVA网络爬虫)

下面给出用JAVA爬虫WebCollector(2.09版本以上)爬取整站网页并按照网页拓扑结构存储到本地的代码。   代码中的抽取器可以作为一个插件复用。   
AJAXHu·2015-06-25 09:00

java爬虫理解

1、下载（页面html），请求头（如user-agent）处理，重定向，超时，代理，重试策略等  1)使用jdk中的URL实现  HttpURLConnectioncon=URL.openConnection()  2)使用apache项目hc实现http://hc.apache.org/  HttpResponseresponse=HttpClient.execute(HttpRequest)2
坚持原创·2015-06-24 18:00

宽度优先搜索实现的Java爬虫

宽度优先搜索实现的Java爬虫Crawler类能够通过宽度优先搜索不断地抓取网站上的url。这里需要用到FileHelper类的writeFile方法用于写入文件。
march alex's blog·2015-03-21 16:00

Java爬虫的相对路径转绝对路径

网上看到的，摘录如下：@SuppressWarnings("finally") publicstaticStringgetAbsoluteURL(StringbaseURI,StringrelativePath){ StringabURL=null; try{ URIbase=newURI(baseURI);//基本网页URI URIabs=base.resolve(relativePath);/
kinglearnjava·2015-02-01 10:00

Java爬虫Crawler

http://blog.csdn.net/pipisorry/article/details/42913569Eclipse添加jar包到库中缺少某个库，找到之后，需要将该库，jar包，加入到当前项目，使得代码中的importxxx得以正常导入。通过AddExternalAchieves…的方式导入的。具体操作起来两种方式：（1）最快捷的是：右键项目->BuildPath->AddExternal
pipisorry·2015-01-20 09:00

java爬虫抓取天猫商品的价格数据

天猫商品的价格是ajax动态加载的，用F12分析页面的请求路径找到价格请求的url，分析如图直接访问这个url是会报错的，如图需要在代码中访问，在head中加上Refererc参数，自己写了一个demo，获取到的商品的价格，（仅供测试）publicstaticvoidmain(String[]args)throwsException{ Stringurl="http://mdskip.taobao
xu470438000·2015-01-04 14:00

JAVA爬虫 WebCollector

爬虫简介：WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。
u014723529·2014-12-03 21:00

java 爬虫中的正则表达式(笔记)

Java爬虫在抓取网页内容时，经常遇到的使用正则表达式来有选择性的抓取网页的内容。正则表达式在计算机科学中，是指一个用来描述或者符合某个句法规则的字符串的单个
qester·2014-11-03 13:12

Java爬虫搜索原理实现

新人国庆没事做，又研究了一下爬虫搜索，两三天时间总算是把原理闹的差不多了，基本实现了爬虫搜索的原理，本次实现还是俩程序，分别是按广度优先和深度优先完成的，广度优先没啥问题，深度优先请慎用，有极大的概率会造成死循环情况，下面深度优先的测试网站就造成了死循环。。。。好吧，我承认是我人品不太好。。。下面有请代码君出场~~~~~~~~~~~~~~~1.广度优先/***完成广度优先搜索*/packagene
极客挖掘机·2014-10-03 11:27

Java爬虫搜索原理实现

新人国庆没事做，又研究了一下爬虫搜索，两三天时间总算是把原理闹的差不多了，基本实现了爬虫搜索的原理，本次实现还是俩程序，分别是按广度优先和深度优先完成的，广度优先没啥问题，深度优先请慎用，有极大的概率会造成死循环情况，下面深度优先的测试网站就造成了死循环。。。。好吧，我承认是我人品不太好。。。下面有请代码君出场~~~~~~~~~~~~~~~1.广度优先/***完成广度优先搜索*/packagene
极客挖掘机·2014-10-03 11:00

JAVA爬虫Nutch、WebCollector的正则约束

爬虫爬取时，需要约束爬取的范围。基本所有的爬虫都是通过正则表达式来完成这个约束。最简单的，正则：http://www.xinhuanet.com/.*代表"http://www.xinhuanet.com/"后加任意个任意字符（可以是0个）。通过这个正则可以约束爬虫的爬取范围,但是这个正则并不是表示爬取新华网所有的网页。新华网并不是只有www.xinhuanet.com这一个域名，还有很多子域名，
AJAXHu·2014-08-28 21:00

JAVA爬虫WebCollector教程列表

JAVA爬虫WebCollector教程列表JAVA爬虫WebCollector2.x入门教程——基本概念WebCollector教程——在Eclipse项目中配置使用WebCollector爬虫WebCollector
ajaxhu·2014-08-28 14:57

JAVA爬虫WebCollector教程列表

JAVA爬虫WebCollector教程列表入门教程：WebCollector入门教程（中文版）用WebCollector对指定URL进行爬取和解析用WebCollector进行二次开发，定制自己的爬虫
ajaxhu·2014-08-28 14:00

JAVA爬虫WebCollector教程列表

JAVA爬虫WebCollector教程列表JAVA爬虫WebCollector2.x入门教程——基本概念WebCollector教程——在Eclipse项目中配置使用WebCollector爬虫WebCollector
AJAXHu·2014-08-28 14:00
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他