Java爬虫

你有多久没有看星星了呢？【爬取NASA的科普网站上的所有图片】

所以打算写一个Java爬虫爬取所有的图片，也可以加入一些通知，每天晚上进行检查，当检查到有更新的时候，第二天早上起床推送到手机端。当然这个功能还没有实现。
织雾呀·2021-12-26 14:55

SpringBoot整合WebMagic实现爬虫(简单入门含gitee源码)

WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。
小小的人_e5f6·2021-10-19 16:36

Spring Boot + WebMagic 实现网页爬虫，写得太好了！

作者：jessehua来源：www.jianshu.com/p/cfead4b3e34eWebMagic是一个开源的java爬虫框架。
·2021-10-12 09:20

python网络爬虫实战

全网爬虫）四、网页抓取策略1、宽度优先搜索：2、深度优先搜索：3、最佳优先搜索：4、反向链接数策略：5、PartialPageRank策略：五、网页抓取的方法1、分布式爬虫现在比较流行的分布式爬虫：2、Java
·2021-09-23 18:59

教你如何用Java简单爬取WebMagic

一、Java爬虫——WebMagic1.1WebMagic总体架构图1.2WebMagic核心组件1.2.1Downloader该组件负责从互联网上下载页面。
·2021-08-10 17:01

springboot+WebMagic+MyBatis爬虫框架的使用

.知乎页面内容处理类ZhihuPageProcessor8.知乎数据处理类ZhihuPipeline9.知乎爬虫任务类ZhihuTask10.Springboot程序启动类WebMagic是一个开源的java
·2021-08-06 16:36

java爬虫获取图片

获取每个页面图片链接地址packagecom.wxq.pachong;importcom.alibaba.fastjson.JSON;importjava.util.ArrayList;importjava.util.List;/***@title:*@description:*@author:*@date:2019/3/1115:09**/publicclassJianDanHtmlParser
飘雨0103·2021-06-24 02:28

Java爬虫（HttpClient）

网络爬虫主要功能就是对网页内容进行爬取，然后根据特定需求对内容进行过滤分析。针对网页内容爬取，假设需求为要对一个网站进行全站爬取，将爬取的文件按类型保存在本地磁盘，并提供配置网站爬取的最大层次、最大链接数、爬取类型范围等。这里使用kafka主题做爬虫队列，使用springboot做了一个简单的实现。任务创建接口这里提供了两个接口，一个是输入网站爬取配置创建爬取任务，一个是根据任务id查询任务状态，
吹奏一池春水·2021-06-13 18:23

让Java代码动态运行

它不能向JavaScript一样被动态执行，但有时我们却不得不让Java代码能动态运行的能力，以便我们无需重启容器就可以达到动态发布服务的能力，比如我们要做一个爬虫解析程序，我们希望可以在平台上动态创建Java
空山雪林·2021-06-05 10:19

简单爬虫技术之爬取之--般网页

背景一般互联网公司还有数据分析公司,喜欢使用爬虫爬取页面,并进行数据分析.爬虫的数据种类很多,由于本人仅接触java技术,所以只提供简单的java爬虫技术.感谢网络上那么多的资料分享.现就我自己经验,编写一个
行舟2009·2021-05-20 21:04

从零开始学习基于WebMagic的Java爬虫（二）：爬取CSDN博客

声明：本例中的源代码参考了：http://blog.csdn.net/qq598535550/article/details/51287630，并进行修改而成的。由于案例就是爬取的CSDN博客，分析了一下各大博客网站，发现CSDN比较适合入门，所以我也选择CSDN作为开始，写我的第一个爬虫程序。首先来介绍爬虫的核心爬取逻辑，即PageProcessor，我们每写一个爬虫，都必须编写一个针对待爬取网
FlyRush·2021-05-15 15:54

Java实时获取基金收益项目源码分享

天天基金网网址：http://quote.eastmoney.com/center/gridlist.html#fund_lofJava爬虫实时获取基金收益历史记录代码：首先要自己定义几个参数：基金编码
·2021-05-12 12:30

java爬虫之下载txt小说

最近迷上了天蚕土豆写的《大主宰》这本玄幻小说，无奈找不到下载链接。于是就萌生了自己爬取小说章节的想法，代码其实很简单，主要在于分析网页结构、正则匹配以及文件保存.1.分析网页结构爬取小说主要需要爬取章节、正文，以及能保证爬取到所有的章节。以《大主宰》为例，其网页结构如下：可以看到小说正文包含在一个id为content的div里，这极大的帮助了我们的爬取.章节名称保存在一个名为readtitle的j
请叫我林小李·2021-05-08 10:20

jsoup（java爬虫）

pom.xml:org.jsoupjsoup1.10.2具体用法：@SpringBootTestpublicclassMyTest{@Testpublicvoidreptile()throwsIOException{//七夕情人节，网站地址Stringurl="http://www.j458.com/a/4377412.html";//第二个参数是链接超时时间Documentdocument=Js
lgz0921·2021-04-07 10:28

Java实时获取基金收益项目源码分享

天天基金网网址：http://quote.eastmoney.com/center/gridlist.html#fund_lofJava爬虫实时获取基金收益历史记录代码：首先要自己定义几个参数
hwtl070359898·2021-03-12 11:07

Csdn爬虫自动评论

前言：因为发现自己的csdn博客被机器人自动评论，这些博客很多都是对别人进行评论，然后别人就有可能回访或者点赞关注等等，基本上总积分非常高，为了覆盖掉这些机器评论，本篇主要是实现java爬虫对自己的博客所有文章进行自动评论
野生技术协会·2021-03-04 16:23

java爬虫爬豆瓣图书_网络爬虫——爬取豆瓣图书

作者：徐浩来源：人工智能学习圈3.2.1目标目标地址：https://book.douban.com/top250?start=0任务：爬取豆瓣图书TOP250，及其‘书名’、‘出版信息’、‘评分’、‘评价人数’四个数据3.2.2分析URL首先先打开目标地址对url进行分析观察第一页豆瓣图书如下：preview第二页豆瓣图书如下：最后一页豆瓣图书如下：我们可以发现url的结构是如何变化的，每一次的
光启元·2021-02-27 08:57

Java爬虫下载千张美女图片！

来源：https://blog.csdn.net/qq_35402412目的爬取搜狗图片上千张美女图片并下载到本地准备工作爬取地址：https://pic.sogou.com/pics?query=%E7%BE%8E%E5%A5%B3分析打开上面的地址，按F12开发者工具-NetWork-XHR-页面往下滑动XHR栏出现请求信息如下：RequestURL：https://pic.sogou.com
Java团长在csdn·2021-02-10 16:00

Java爬虫-使用爬虫下载千张美女图片！

目的爬取搜狗图片上千张美女图片并下载到本地准备工作爬取地址：https://pic.sogou.com/pics?query=%E7%BE%8E%E5%A5%B3分析打开上面的地址，按F12开发者工具-NetWork-XHR-页面往下滑动XHR栏出现请求信息如下：RequestURL：https://pic.sogou.com/napi/pc/searchList?mode=1&start=48&
Victor.Chang·2021-02-04 11:46

java爬虫出现的sun.security.validator.ValidatorException: PKIX path building failed 解决办法

java爬虫出现的sun.security.validator.ValidatorException:PKIXpathbuildingfailed解决办法出现问题原因控制台出现的bug出现问题原因一般是没啥问题的
A 小码农·2021-01-29 22:19

webmagic爬取分页列表数据

webmagic是java爬虫框架中比较简单易上手的一个。官网链接：http://webmagic.io/下面的例子是使用这个框架来爬取工商银行的私人理财推荐分页列表数据。
·2021-01-29 21:12

Java爬虫技术框架之Heritrix框架详解

Heritrix是一个由Java开发的开源Web爬虫系统，用来获取完整的、精确的站点内容的深度复制，具有强大的可扩展性，运行开发者任意选择或扩展各个组件，实现特定的抓取逻辑。一、Heritrix介绍Heritrix采用了模块化的设计，用户可以在运行时选择要用的模块。它由核心类（coreclasses）和插件模块（pluggablemodules）构成。核心类可以配置，但不能被覆盖，插件模块可以由第
·2021-01-27 13:55

java爬虫模拟登陆的实例详解

使用jsoup工具可以解析某个URL地址、HTML文本内容，是java爬虫很好的优势，也是我们在网络爬虫不可缺少的工具。
·2021-01-18 18:47

java能写爬虫程序吗

而且java爬虫的语言运行速度比python快，另外，java的多线程是可以利用多核的。1、java为什么可以应用于网络爬虫？
·2021-01-15 10:31

Java爬虫②Jsoup

jsoup：JavaHTML解析器jsoup是一个Java库，用于使用实际HTML。它提供了一个非常方便的API，用于获取URL和提取和操作数据，使用最好的HTML5DOM方法和CSS选择器。主要功能：从URL、文件或字符串中刮取和解析HTML使用DOM遍历或CSS选择器查找和提取数据操作HTML元素、属性和文本根据安全白名单清理用户提交的内容，以防止XSS攻击输出整洁的HTML导入maven依赖
又学又习·2021-01-11 21:58

Java爬虫①HttpClient

HttpClient是Apache中一个开源的项目，用来提供高效的，最新的，功能丰富的支持HTTP协议的客户端编程工具包，并且它支持HTTP协议最新版本和建议。引入依赖org.apache.httpcomponentshttpclient4.5.2org.slf4jslf4j-log4j121.7.25配置文件log4j.rootLogger=DEBUGOER,mlog4j.appender.m=
又学又习·2021-01-10 22:41

超简单的爬虫我教你，jsoup一步搞定

Java爬虫我教你使用工具项目结构测试爬取数据是个很好玩的事情，最近我也是在研究这个东西，然后呢接下来我给大家讲一段小案例，可以满足各位小伙伴的好奇心，藤井就废话不多说，直接上代码使用工具maven依赖
藤井大叔·2021-01-03 23:07

java爬虫（九）htmlunit无界面浏览器程序库

1.HtmlUnit简要介绍HtmlUnit是一款java的无界面浏览器程序库。它模拟HTML文档，并提供相应的API，允许您调用页面，填写表单，点击链接等操作，就像您在“正常”浏览器中做的一样。它有相当不错的JavaScript支持（还在不断改进），甚至能够处理相当复杂的AJAX库，模拟Chrome，Firefox或InternetExplorer取决于使用的配置。它通常用于测试目的或从网站检索
KevinWan·2021-01-02 19:30

java爬虫（九）htmlunit无界面浏览器程序库

1.HtmlUnit简要介绍HtmlUnit是一款java的无界面浏览器程序库。它模拟HTML文档，并提供相应的API，允许您调用页面，填写表单，点击链接等操作，就像您在“正常”浏览器中做的一样。它有相当不错的JavaScript支持（还在不断改进），甚至能够处理相当复杂的AJAX库，模拟Chrome，Firefox或InternetExplorer取决于使用的配置。它通常用于测试目的或从网站检索
KevinWan·2021-01-02 19:42

Java中用爬虫进行解析的实例方法

我们都知道可以用爬虫来找寻一些想要的数据，除了可以使用python进行操作，我们最近学习的java同样也支持爬虫的运行，本篇小编就教大家用java爬虫来进行网页的解析，具体内容请往下看：1、springboot
·2020-12-24 11:33

Java爬虫(Jsoup与WebDriver)的使用

一、Jsoup爬虫jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。以博客园首页为例1、idea新建maven工程pom.xml导入jsoup依赖org.jsoupjsoup1.12.1jsoup代码packagecom.blb;importorg.jsoup.J
·2020-12-01 12:23

Java爬虫框架之WebMagic实战

一、介绍WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。
·2020-12-01 12:22

Java爬虫HttpClient与Jsoup

Java爬虫爬取数据：根据一定的规则，自动抓取互联网信息使用的Jar包环境JDK1.8IDEAMavenJar包org.apache.httpcomponentshttpclient4.5.8一、一个简单
秋田狗子·2020-11-18 19:30

JAVA 爬虫的几种方法及应用

由于最近业务需要爬取第三方网站的数据，开始学习JAVA爬虫的相关知识，在此记录期间遇到的问题以及对知识进行总结。爬虫开始打开浏览器进入目标网站，按F12打开控制台。
YJJ_Fight·2020-10-11 10:54

java爬虫之爬取博客园推荐文章列表

这几天学习了一下Java爬虫的知识，分享并记录一下；写一个可以爬取博客园十天推荐排行的文章列表通过浏览器查看下一页点击请求，可以发现在点击下一页的时候是执行的post请求，请求地址为http://www.cnblogs.com
愤怒的红裤衩·2020-09-17 13:59

Java爬虫-爬取四级词汇网站音频

背景:作为一个久不过四级的程序员有点不好意思啊,所以网购了冲刺卷认真过四级,签收后发现附送的词汇书音频网站竟然没有一键下载全部.只能自己写个伪爬虫了.知识点:Java网络连接字节流文件输入输入开工:分析页面:四级词汇乱序版网站:http://download.dogwood.com.cn/online/4jlxbx/index.html发现都是极具规律性的格式就像这样http://download
木秀林·2020-09-16 18:52

简单易懂的java爬虫--抓取携程上的酒店信息

手上的项目有个业务要求：采集某市的酒店余房情况，淡季一天更新一次，旅游高峰期半小时更新一次。正常情况是要有个接口，酒店相关人员负责定时发送酒店余房情况，但这时候我觉得，可以用爬虫玩玩，反正也不会爬虫，学下爬虫也不亏，项目是用java语言SSM框架写的，所以想尝试用java语言。上网了解了一下，java基础爬虫语法很简单。//首先输入要爬的网页URLurl=newURL("https://hotel
llqxs·2020-09-16 15:51

Java爬虫简单判断是否模拟登录成功（以JSoup为例）

  我们以模拟登录华北电力大学内网为例，具体模拟登录过程请见：JSoup模拟登录网站（以校园内网为例）JSoup模拟登录代码为：packageEDM;importjava.util.HashMap;importjava.util.List;importjava.util.Map;importorg.jsoup.Connection;importorg.jsoup.Connection.Method
Cyril_KI·2020-09-15 21:41

java爬虫，爬取当当网数据

背景：女票快毕业了(没错！我是有女票的！！！)，写论文，主题是儿童性教育，查看儿童性教育绘本数据死活找不到，没办法，就去当当网查询下数据，但是数据怎么弄下来呢，首先想到用Python，但是不会！！百度一番，最终决定还是用java大法爬虫，毕竟java熟悉点，话不多说，开工！：实现：首先搭建框架，创建一个maven项目，使用框架是springboot和mybatis，开发工具是idea，pom.xm
weixin_34007886·2020-09-15 20:29

replace into 、insert ignore 的用法

首先使用场景是在mysql最近在弄个java爬虫，目的是把数据爬取下来然后存入数据库，若主键存在就更新数据，如果没有则插入，这时候当然是使用replaceinto。
_成君·2020-09-15 19:50

The last packet successfully received from the server was 8 milliseconds ago.

最近接手了一个SpringBoot+Mybatis+Mysql的JAVA爬虫项目，在爬取并解析完数据之后准备存入数据库时遇到了一个以前没有见过的报错，网上方案众多且不一定有效。
一筒君·2020-09-15 15:10

CSDN什么时候更新排名，爬虫项目告诉你

详细过程可以使用java爬虫，但是java爬虫写多了没什么意思，玩一下node.js爬虫。
smile-yan·2020-09-14 23:53

java爬虫小技巧

最近需要爬取某学校教务网的数据，思来想去决定使用java来实现，在使用chrome查看网站登录post请求时由于点击登录后页面发生跳转在network中居然找不到登录的post请求，经百度，发现只需在chrome调试框中勾选如下即可：
yangyuscript·2020-09-14 05:30

【Java爬虫】刷CSDN访问量代码(亲测有效)

【Java爬虫】刷CSDN访问量代码(亲测有效)仅供学习、测试使用，不要为了刷数据偷懒噢…使用方式将要刷访问量的博客id填写入24行的变量userId中，点击运行packagecom.lbl;importjava.io.IOException
水巷石子·2020-09-13 15:39

java爬虫下载FTP网站目录文件

java爬虫下载FTP网站目录文件写在前面ftp网站带目录递归爬取java多线程爬虫写在最后写在前面爬虫的本质就是自动化的去模拟正常人类发起的网络请求，然后获取网络请求所返回的数据。
wblearn·2020-09-13 10:38

Java爬虫(Selement)-B站粉丝取关人排查(1)

1.爬虫开发准备开发工具：Eclipse/IDEA浏览器：GoogleChrome浏览器Selement驱动：Selenium3.5Jar包：//Selenium驱动版本需要和Chrome浏览器版本对应，//下载地址http://chromedriver.storage.googleapis.com/index.html//如果Selenium出现报错请看这篇文章：https://blog.csd
卡哇伊大喵·2020-09-12 20:28

想利用爬虫做一个web界面的信息咨询服务平台整合一个智能化的生活数字化解决方案平台

ideagitmavenspringbootspringcloudwebmagicdeeplearning4jactivemqhadoopmysqlvuejquery三.数据库mysqlpowerdesigner四:目的zheng-admin的ui结合,java
伟大的程序猿csdn·2020-09-12 13:16

java爬虫——爬取网站图片

目录问题：java能否实现爬虫，如何爬取jsoup简介获取jsoupMavenGradlejsoup几个常用的类DocumentElement及Elements解决办法：jsoup实现爬虫功能获取目标网站的html解析html并获取图片url下载图片获取本页面所有链接中的所有图片实现图形化界面代码展示应用展示总结参考资料问题：java能否实现爬虫，如何爬取在学习爬虫的时候，我是从python入门的
宇运·2020-09-12 11:12

一个简单java爬虫爬取网页中邮箱并保存

此代码为一十分简单网络爬虫，仅供娱乐之用。java代码如下：packagetool;importjava.io.BufferedReader;importjava.io.File;importjava.io.FileWriter;importjava.io.InputStreamReader;importjava.io.Writer;importjava.net.URL;importjava.ne
poetliu·2020-09-12 11:26

java爬虫之爬取网页邮箱地址。

爬取本地html中符合正则规范的数据。要爬取网络需更换流地址以及正则。packageSocket;importcom.sun.deploy.net.MessageHeader;importjava.io.*;importjava.util.ArrayList;importjava.util.List;importjava.util.regex.Matcher;importjava.util.reg
. L·2020-09-12 10:27
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他