java爬虫

各大主流编程语言-常用爬虫框架以及优劣分析

关注微信公众号：(DT数据技术博文)，查看更多JAVA爬虫、大数据、人工智能技术.一、前言目前市场上爬虫框架有很多，不同语言不同类型的爬虫框架都有，然而在开发预研的时候对于选择那种框架对于很多开发者来说尤为头疼
梦梦王爷·2018-07-09 11:56

java爬虫(jsoup)如何设置HTTP代理ip爬数据

现在爬数据越来越难，各种反爬，简单的网站没做什么反爬，就随便介绍下：1.随便找点网站弄点免费的http代理ip，去爬一下，太简单就不介绍了，目前最好用的代理ip是蘑菇代理具体说下，稍微有点爬虫技术含量的吧，怎么样伪装自己的爬虫程序，尽量避免反爬：1.请求头的user-agent参数必不可少，而且！！！！要随机，这里是大坑，我之前就是没有随机，然后爬了几天就被人反爬了，醉了，我当时还以为代理的问题，
Revalution·2018-07-05 10:20

java爬虫(jsoup)如何设置HTTP代理ip爬数据

现在爬数据越来越难，各种反爬，简单的网站没做什么反爬，就随便介绍下：1.随便找点网站弄点免费的http代理ip，去爬一下，太简单就不介绍了，目前最好用的代理ip是蘑菇代理具体说下，稍微有点爬虫技术含量的吧，怎么样伪装自己的爬虫程序，尽量避免反爬：1.请求头的user-agent参数必不可少，而且！！！！要随机，这里是大坑，我之前就是没有随机，然后爬了几天就被人反爬了，醉了，我当时还以为代理的问题，
像少年一样飞驰啦·2018-07-05 10:00

java爬虫(jsoup)如何设置http代理ip爬数据

做java好长时间了，一直没时间，也没心情写笔记。今天空下来认真写一篇，以后也坚持记录下点滴，好好学习。最近由于项目需要，转战挖掘数据的领域，说实话，一开始没接触过，所以踩的坑会比较多，不过没见过猪跑，还没吃过猪肉吗。所以也就慢慢的摸索过来了。下面有几个大坑爬数据的人应该都得经历过，所以我把自己的经验记录下，方便自己跟大家吧。现在爬数据越来越难，各种反爬，简单的网站没做什么反爬，就随便介绍下：1.
像少年一样飞驰啦·2018-07-04 15:46

Java爬虫之批量下载LibreStock图片（可输入关键词查询下载）

前言（废话）公司产品新版本刚刚上线，所以也终于得空休息一下了，有了一点时间。由于之前看到过爬虫，可以把网页上的数据通过代码自动提取出来，觉得挺有意思的，所以也想接触一下，但是网上很多爬虫很多都是基于Python写的，本人之前也学了一点Python基础，但是还没有那么熟练和自信能写出东西来。所以就想试着用Java写一个爬虫，说起马上开干！爬点什么好呢，一开始还纠结了一下，到底是文本还是音乐还是什么呢
佛系programer·2018-07-02 12:56

Spring Boot + Java爬虫 + 部署到Linux （三、Java爬虫使用代理，模拟登录，保存cookie）

很多网站对资源都有一定的限制。如果不登录，不是网站的登录用户（会员）访问的话，一些资源会访问不到。这对我们爬虫是十分不利的。而绝大多数网站都是通过登录之后，向浏览器设置cookie，达到验证的功能。由于目标网站很多有时候可能会被q，而无法一般的访问。所以我们要使用代理解决障碍。这里呢，我推荐ss，既好用又便宜。手机、电脑均有客户端可以使用。方法原理也比较简单，首先需要租一台便宜的国外服务器，然后远
gg_yangliyang·2018-06-30 15:52

JAVA爬虫多线程高速爬取高清电脑壁纸

笔者特别喜欢将一大堆高清的图片作为Windows的壁纸幻灯片放映。就像下图一样。以前各大高清壁纸网站上找自己喜欢的风景壁纸，一张一张的下载，用了好几年，终于审美疲劳了。所以打算换一下资源。然后瞄准了这个网站（ZOL壁纸）。里面的壁纸还是不错的。实在没精力像年少的时候一张一张的挑一张一张的下载了。就干脆写个小爬虫批量抓取吧。额，第一步该干嘛？先简单分析一下网页当选择我点击分辨率1280*800的后，
XiangYida·2018-06-29 23:54

Spring Boot + Java爬虫 + 部署到Linux （二、Java爬虫）

这个小项目的主要（唯一）的业务就是一个爬虫。这个爬虫的功能就是爬取一个图片网站的图片。爬虫相对是独立的，如果只想做一个简单的爬虫，也可以参考。做爬虫之前，先分析一下要爬的网站的结构。不要一上来就乱爬。由于爬虫的单位最大是一个图集（imageset），所以爬虫的入口就设置为图集的地址。如果需要爬取更大的范围，爬图集也可以作为基础的子程序。一般图集的首地址，会展示一些图集的基本信息，如标题、长度、各个
gg_yangliyang·2018-06-27 19:29

Spring Boot + Java爬虫 + 部署到Linux （一、环境配置，新建一个Spring Boot项目）

如果是只想了解Java爬虫也是可以的，爬虫是相对独立的一部分。当初这个爬虫是我用python写过一次，
gg_yangliyang·2018-06-25 20:00

java爬虫+正则

最近在写java爬虫用到正则故来复习下。
任嘉平生愿·2018-06-22 10:41

基于HttpClient的正方教务系统模拟登录(带验证码)

【注：原文链接csdn-java爬虫】PS:恩，由于最近在学web和简单的http协议，所以心血来潮想用java写个爬虫来爬取学校官网(正方教务系统)个人主页的基础信息(课程信息、成绩……)，其实在之前学过
风雨_寒·2018-06-17 23:20

基于HttpClient的正方教务系统模拟登录(带验证码)

写在前面：其实写java爬虫的话，一般使用三种方法：自带库类(urlconnection)，外库(httpclient)和文
*迷途不知返的野指针·2018-06-14 21:58

Java网络爬虫实操（10）

本篇文章结合Java爬虫框架NetDiscovery使用selenium技术实现自动化获取前三个商品的信息。1)逻辑流程程序打开JD的商品搜索页面自动输入商品关键字自动点击查询按钮自动点击销量
cpongo2·2018-06-10 14:45

Java爬虫实践：Jsoup+HttpUnit爬取今日头条、网易、搜狐、凤凰新闻

0x0背景最近学习爬虫，分析了几种主流的爬虫框架，决定使用最原始的两大框架进行练手：Jsoup&HttpUnit其中jsoup可以获取静态页面，并解析页面标签，最主要的是，可以采用类似于jquery的语法获取想要的标签元素，例如：//1.获取url地址的网页htmlhtml=Jsoup.connect(url).get();//2.jsoup获取新闻标签ElementsnewsATags=html
小小Tiny·2018-06-08 10:34

一篇关于java爬虫实现的技术分享

最近由于工作的需要，独自开始研究爬虫爬取互联网数据；经过两周左右的探究，踩过许多坑，也学习到了许多以往不知道的知识。一直都在做伸手党，很是惭愧_(:_」∠)_感觉都要脸红了☺，在这里总结一下经验，顺便分享给大家，希望可以帮助到有需要的朋友。爬虫技术不是很成熟，如果能有大佬能够不吝赐教那就更好啦~在网上找了许多资料，爬虫工具大多是用python实现的；因为本身是学java出身，虽说python比ja
0果子分你一半·2018-06-06 17:17

java爬虫 httpclient htmlunit selenium 比较

简单介绍。1httpclienthttpclient是HttpClient是ApacheJakartaCommon下的子项目，支持常用的各种协议，相对比较底层，很多java项目的互联网编程都是依赖于该包。2htmlunit相当与一个没有ui的浏览器，本身就是对httpclient进行封装。3selenium这个最早是基于firfox的自动化测试软件，现在也支持其他的浏览器，比如ie，chrome等
dhyana-c·2018-06-05 20:39

JSOUP 教程—— Java爬虫，简易入门，秒杀htmlparser

转载自JSOUP教程——Java爬虫，简易入门，秒杀htmlparser关于爬虫，之前一直用做第一个站的时候，记得那时候写的爬虫是爬sina的数据，用的就是htmlparser可能是由于好奇和满足我当时的需求
茅坤宝骏氹·2018-06-04 09:14

java爬虫WebMagic框架爬取图片

一.该爬虫用了WebMagic爬虫框架实现1.WebMagic开发文档:http://webmagic.io/2.在使用之前，您需要了解正则表达式和XPath，大神请忽略二.下面是实现代码和分析2.1添加maven依赖不知道maven的童鞋请参考https://my.oschina.net/huangyong/blog/194583junitjunit4.11testus.codecraftweb
Mr丶sirius·2018-06-02 20:23

Java爬虫之利用Jsoup自制简单的搜索引擎

  Jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。Jsoup的官方网址为：https://jsoup.org/，其API使用手册网址为：https://jsoup.org/apidocs/overview-summary.html.  本次分享将实现的功能为：
山阴少年·2018-06-01 14:35

（第一个java爬虫）java爬取网页文本并抽取中英文关键词

问题引入对于给定的任意一个网址，爬取这个网页上的所有文本信息，并抽取出文本的中文和英文关键词搭建环境首先需要具备eclipse开发环境。然后导入jsoup包，用来爬取网页，再到这个网址http://hanlp.linrunsoft.com/services.html下载并按步骤导入HanLP的包，用来抽取关键词项目文件架构源代码及说明1、配置文件hanlp.properties出现中文乱码问题，可
ccnuacmhdu·2018-05-24 18:51

运用java爬虫和python做词云图

前言：最近有点时间，就写个东西玩玩，就是分析电影评论做成词云图。这次没有采用python去爬取电影评论，而是采用了java中的多线程和线程池去爬取电影评论，但是用评论做词云图使用python写的。如果不喜欢用java做爬虫的朋友，也可以换成用python语言写，过程不是很重要，看自己喜好。环境：windows10jdk1.7python3.5成果：作品链接：请大家随手star下不甚感激java多线
vicoqi·2018-05-24 12:01

JAVA爬虫学习jsoup

首先添加maven依赖org.jsoupjsoup1.10.3核心代码DocumentobjectDoc=Jsoup.connect("http://www.xxx.cn/20170725-n3-20170725160315487779.html").cookie("infopass","waming1234").cookie("EEAkIjcBEarJg","wmhq2018").cookie(
悠悠-我心·2018-05-23 11:40

Xpath、Jsoup、Xsoup(我的Java爬虫之二)

从Xpath说起什么是XpathXPath是W3C的一个标准。它最主要的目的是为了在XML1.0或XML1.1文档节点树中定位节点所设计。XPath是一种表达式语言，它的返回值可能是节点，节点集合，原子值，以及节点和原子值的混合等。语法选取结点表达式描述/从根节点选取//从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。.选取当前结点..选取当前节点的父结点@选取属性实例路径表达式结果bo
菟潞寺沙弥·2018-05-21 00:00

Python使用selenium进行爬虫（一）

JAVA爬虫框架很多，类似JSOUP，WEBLOGIC之类的爬虫框架都十分好用，个人认为爬虫的大致思路就是：1、挑选需求爬的URL地址，将其放入需求网络爬虫的队列，也可以把爬到的符合一定需求的地址放入这个队列中
0世界和平0·2018-05-18 10:14

java爬虫爬取互联网上的各大影视网站---360影视（附源码下载）

关于爬虫：万维网上有着无数的网页，包含着海量的信息，无孔不入、森罗万象。但很多时候，无论出于数据分析或产品需求，我们需要从某些网站，提取出我们感兴趣、有价值的内容，但是纵然是进化到21世纪的人类，依然只有两只手，一双眼，不可能去每一个网页去点去看，然后再复制粘贴。所以我们需要一种能自动获取网页内容并可以按照指定规则提取相应内容的程序，这就是爬虫。本篇文章就以小编用java语言爬取360视频网站为例
Long Bro·2018-04-26 19:07

Java爬虫入门(三)——正则表达式

前言：这个系列我分四个部分来分别接触四块知识，最后再串起来：Java爬虫入门(一)——项目介绍Java爬虫入门(二)——HttpClient请求Java爬虫入门(三)——正则表达式Java爬虫入门(四)
codingCoge·2018-04-25 21:41

Java爬虫入门(五)——缓冲流写入

前言：这个系列我分四个部分来分别接触四块知识，最后再串起来：Java爬虫入门(一)——项目介绍Java爬虫入门(二)——HttpClient请求Java爬虫入门(三)——正则表达式Java爬虫入门(四)
codingCoge·2018-04-24 16:56

Java爬虫（三）--获取网页中的所有地址

在这里就懒得处理异常，代码很简单，看注释packagetest;importjava.net.URL;importjava.util.ArrayList;importjava.util.List;importjava.util.regex.Matcher;importjava.util.regex.Pattern;importorg.jsoup.Jsoup;importorg.jsoup.node
零零叁2019·2018-04-15 12:25

java爬虫入门篇

Java爬虫入门篇（SpiderBegin）说到爬虫，在做这个项目之前我也是一头雾水，不知道到底这是个什么鬼，就是感觉很牛逼的一个东西（听起来很高大上），但是自己上手之后才明白，所有的项目基本上都差不多
Floating Snow·2018-04-14 16:39

java爬虫实现

爬虫入门手写一个Java爬虫本文内容涞源于罗刚老师的书籍>;本文将介绍1:网络爬虫的是做什么的?2:手动写一个简单的网络爬虫;1:网络爬虫是做什么的?
无恋-zx·2018-04-12 10:12

java爬虫获取天气信息并发送短信。

java爬虫获取天气信息并发送短信：自己谷脑java获取网页信息，想着顺便发送短信给自己实现一个天气短信提醒的小玩意。可加入自己项目中，做个定时任务。完善这个小玩意。：需要SMS平台的注册。
大黄子·2018-04-09 10:52

java爬虫（一）--下载html

需要的包Jsoup1.6.jar效果图：第一步、先建一个类，将操作部分封装，传入网址u和目录mkdpublicclassDownLoadPage{publicstaticvoiddownloadPage(Stringu,Stringmkd){}}1.1传入的网址不一定是域名格式，需要我们解析成域名URLurl=newURL(u);Stringuri=url.getHost();1.2获取网页标题，
零零叁2019·2018-04-08 21:35

Java爬虫（八）-- httpClient进阶：HTTPS和证书认证（原理总结篇）

一、前言本篇文章承接上一篇，对应讲述一些我在接触SSL协议、证书认证时学到的一些原理性知识。因为本身不是科班出身，网络方面很多对我来说都是新知识，特在此记录一下。二、HTTPSHTTPS=HTTP+SSL/TLS协议，即加密过后的HTTP通信。它其实还是HTTP协议，只是在外面加了一层，SSL是一种加密安全协议，引入SSL的目的是为了解决HTTP协议在不可信网络中使用明文传输数据导致的安全性问题。
Richard易·2018-04-04 18:54

Java爬虫（七）- httpClient进阶: https 和 证书认证（讲故事篇）

一、前言本篇风格会偏向讲故事，来记录整个发现问题，解决问题的过程。具体的知识点总结放在后一篇。前段阵子被分配了一个工单，要求抓取另一个险企B的数据。想着应该不会比上一家A麻烦了，险企A抓取数据过程中有几次请求是跨域的，很多数据都是由ajax动态请求到的，要分析js代码，模拟请求。稍微观察了一下险企B的页面源代码，发现所有操作除了表单提交，其他都是get请求。而且模拟登录时不需要输验证码。美滋滋。。
Richard易·2018-04-04 08:38

Java爬虫之利用Jsoup自制简单的搜索引擎

  Jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。Jsoup的官方网址为：https://jsoup.org/，其API使用手册网址为：https://jsoup.org/apidocs/overview-summary.html.  本次分享将实现的功能为：
山阴少年·2018-04-02 22:13

java爬虫系列（五）——今日头条文章爬虫实战

文章目录项目源码爬虫目标爬虫设计思路爬取方式动态解析网页方式爬取解析接口方式爬取解析思路破解入口接口对比破解加密参数参数生成方式解析js分析接口返回值解析原文地址java项目解析基本功能队列和线程池操作界面——swagger2总结补充同系列文章项目源码https://github.com/a252937166/toutiaocrawler.git爬虫目标爬取某一头条号下面所有文章。爬虫设计思路爬取
Mr_OOO·2018-03-26 16:31

如何自己动手获取大量知乎网民数据？

前言去年在接触Java爬虫的时候，接触到了一个关于知乎的爬虫。个人觉得写的非常好，当时抓取的效率和成功率还是特别特别高，现在可能知乎反扒做的更好，这个开源知乎爬虫没之前抓取的那么顺利了。
SnailClimb在csdn·2018-03-23 10:07

详细教程 ：crawler4j 爬取京东商品信息 Java爬虫入门 crawler4j教程

我们先从一个最原始的Java爬虫demo开始，再来看如何使用crawler4j这个框架进行爬虫。Demo使用Java的Url对象，指向网址并建立连接，获取输入流，解析流中的信息。
YAO_IT·2018-03-22 11:39

[Java爬虫] 使用 Jsoup + HttpClient 爬取网页图片

一、前言把一篇图文并茂的优秀文章全部爬取下来，就少不了Java爬虫里边的图片爬取技术了。很多人都用来爬取美女图片，但是笔者觉得这有伤大雅。
larger5·2018-03-20 08:52

java爬虫12306,爬取所有的站点和车次,并导入postgreSQL数据库

准备安装postgreSQL数据库,和可视化工具pgadmin3,或者其他数据库实现功能,抓取12306全部的站点,并实现通过站点查询出所有经过次站点的车次,通过车次查出次列车经过的城市分析分析12306,找合适的接口,最符合要求的是查询车次的这张页面,但是有验证码,无形增加了难度经过分析,合适的页面是车票预订的页面,查询两个站点直接的车次,用火狐自带的f12工具,点击查询清晰的看到只有一条get
沃泽法克·2018-03-19 22:00

[Java爬虫] 使用 Jsoup+HttpClient 爬取网站基本信息

但是Java爬虫方面也是相当成熟的，使用Jsoup、HttpClient、HtmlUnit就可以实现基本的需求。
larger5·2018-03-18 16:23

java爬虫爬取网站数据实例

01002packagecom.zzger.model;003004importjava.util.ArrayList;005importjava.util.Collections;006importjava.util.List;007importjava.util.concurrent.CountDownLatch;008009importcom.zzger.module.queue.UrlQu
能不能不这么麻烦·2018-03-15 16:33

Java爬虫（六）-- httpClient进阶：超时时间设置+cookie保存策略

一、前言本文主要介绍httClient超时时间设置，以及cookie保存策略设置。二、超时时间设置httpClient内部有三个超时时间设置：connectTimeout–连接超时指的是连接目标url的连接超时时间，即客服端发送请求到与目标url建立起连接的最大时间。如果在该时间范围内还没有建立起连接，则就抛出connectionTimeOut异常。如测试的时候，将url改为一个不存在的url："
Richard易·2018-03-15 14:53

Java爬虫 (五) -- httpClient进阶：使用代理（详细解析）

一、前言好久没有写博客，趁着难得的空闲时间更新一波。前面几期讲到的主要包括了爬虫开发中的页面获取、页面解析两个方面的知识，套用二八原则，可以解决80%的工作。但是其他的20%的工作，就可能要用到我们80%的时间和精力去研究。这个就是我接下去几期要讲的。这期主要是讲一些实际场景下可能需要用到的httpClient设置，大都是我在实际开发中需要用到的，都算是一些小知识点，但是还是希望能能够记录总结一下
Richard_易·2018-03-15 13:11

Java爬虫（五）-- httpClient进阶：使用代理（详细解析）

一、前言好久没有写博客，趁着难得的空闲时间更新一波。前面几期讲到的主要包括了爬虫开发中的页面获取、页面解析两个方面的知识，套用二八原则，可以解决80%的工作。但是其他的20%的工作，就可能要用到我们80%的时间和精力去研究。这个就是我接下去几期要讲的。这期主要是讲一些实际场景下可能需要用到的httpClient设置，大都是我在实际开发中需要用到的，都算是一些小知识点，但是还是希望能能够记录总结一下
Richard易·2018-03-15 11:34

JAVA实现简单网络爬虫

先说一下我的学习经历，JAVA爬虫是我最近才刚开始学会写的，寒假的时候在家一直看罗刚写的那本《自己动手写爬虫》，看了那么久也没什么思路。
weixin_40906272·2018-03-11 21:14

java爬虫简单实现

最近稍微有点时间，所以自己简单研究了一下爬虫。原理其实很简单，就是通过url获取当前页面的html文档，根据文档来获取我们需要的数据。爬虫其实就是模仿我们进行鼠标点击操作，只要鼠标点击能获取的文档，爬虫都可以获取。话不多说，下面直接上代码吧。其实就是一个简单的实现，大家如果看到需要改进的地方，还希望能指点指点。爬虫需要jar包下载地址：http://download.csdn.net/downlo
Wilson Tsai·2018-03-06 12:59

java爬虫入门jsoup 框架

所需jar包org.jsoupjsoup1.10.2使用示例代码importorg.jsoup.Jsoup;importorg.jsoup.helper.Validate;importorg.jsoup.nodes.Document;importorg.jsoup.nodes.Element;importorg.jsoup.select.Elements;importjava.io.IOExcep
卧夜听风雨·2018-03-05 11:42

java爬虫问题二: 使用jsoup爬取数据class选择器中空格多选择怎么解决

问题描述：在使用jsoup爬取其他网站数据的时候，发现class是带空格的多选择，如果直接使用doc.getElementsByClass(“class的值”),这种方法获取不到想要的数据。爬取网站页面结构如下：其中文章列表的div为：我们可以看到其class的值为：am-cfinner_liinner_li_abtest。带空格的。多值的。如果我们还是用getElementsByClass()这
凯哥Java·2018-03-02 14:28

Java爬虫（四）-- Java 调用 JS 函数 模拟页面 JS 密码加密（附几个知识点）

前言前面一章讲的是模拟登录，留了一个模拟密码加密还没讲。因为这一过程的调试探索还是蛮多内容的，我更倾向于记录自己整个探索的过程，而不是把工具拿出来讲一下用法，所以单独拿一章来讲。调试过程首先，既然要模拟js的加密过程，当然是要调试前端代码，从定位到起加密作用的js代码上面。F12浏览器调试时，source目录下可以看到当前的浏览器的一些静态文件，包括页面，css，js等文件，一开始先定位到点击登录
Richard易·2018-03-01 16:13
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他