Java爬虫

JAVA爬虫练习~通过杭电oj账号查询做题数

1首先我们来看一下效果：通过查找我们得到了AC做题数，我们爬取HTML代码，通过自己的逻辑筛选所需要的信息接下来是代码：packageday_1;importjava.io.BufferedReader;importjava.io.IOException;importjava.io.InputStream;importjava.io.InputStreamReader;importjava.net
寒夜清风·2020-09-11 00:22

selenium+百度OCR完成登录验证码文字识别并且完成模拟登录操作并获取cookie

前言本文利用selenium、百度OCR在线文字识别完成某一网站的模拟登陆操作，通过OCR识别验证码完成登陆后返回cookie，常用于Java爬虫。
zf zZ·2020-08-27 22:48

Java 基于WebMagic 开发的网络爬虫

WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，我们可以快速开发出一个高效、易维护的爬虫。
末日之花·2020-08-25 16:03

java爬虫-jsoup教程

jsoup是一款Java的HTML解析器，主要用来对HTML解析。官网中文文档在爬虫的时候，当我们用HttpClient之类的框架，获取到网页源码之后，需要从网页源码中取出我们想要的内容，就可以使用jsoup这类HTML解析器了。可以非常轻松的实现。虽然jsoup也支持从某个地址直接去爬取网页源码，但是只支持HTTP，HTTPS协议，支持不够丰富。所以，主要还是用来对HTML进行解析。◆其中，要被
__元昊__·2020-08-25 15:34

java爬虫：jsoup的简单案例

packagejsoup;importjava.io.IOException;importorg.jsoup.Jsoup;importorg.jsoup.nodes.Document;importorg.jsoup.nodes.Element;importorg.jsoup.select.Elements;//jsoup跟JavaScript有些类似，主要用于爬取静态的网页。需要自己下载一个jar
清-辰·2020-08-25 05:26

使用Jsoup简单解析HTML文件示例

在Java爬虫项目中，html解析也是必须的一环，这里简单介绍下jsoup的用法。二、使用方法1.获取Document对象。
张小鸣·2020-08-25 01:10

1.获取HTML(Java爬虫笔记)

publicclassTest{publicstaticvoidmain(String[]args){Testt=newTest();Stringhtml=t.getHtml("http://www.baidu.com");System.out.println(html);}publicStringgetHtml(Stringurl){Stringresult="";try(BufferedRea
CSDNRGY·2020-08-24 23:08

基于Java爬虫的课堂考勤管理系统（毕业设计论文）

Windows10+JDK8+Tomcat8+MySQL5.6使用IDEA作为开发工具，GIT用作版本控制，Maven管理依赖采用SSM+SpringBoot+HTML+CSS+JQuery+Ajax的架构使用了Java
偏未晚·2020-08-24 22:30

JAVA 爬虫框架webmagic 初步使用Demo

而且最近也非常的火爆，但是python有一个全局锁的概念新能有瓶颈，所以用java还是比较牛逼的，webmagic官网https://webmagic.io/讲的非常详细，当然java比较优秀的框架还有很多不知这些各类JAVA
kenx·2020-08-24 16:19

Java爬虫其实也很简单，实用的入门级爬虫

前言任何语言都是可以爬虫的，只要你懂的常用的http协议啥的就可以模仿浏览器的行为获取你想要的数据。这里我将教大家一个简单实用的案例：如何获取全民K歌的下载链接。ps:这主要是教大家一个入门级的爬虫，不是希望大家去跳过vip下载...这里有码云的代码片段是main的解析可以参考下：码云代码片段浏览器抓包那种专业fildder这类软件抓包我就不提了，免得文章显得更加复杂化。推荐用谷歌浏览器容易看。1
楠宝宝·2020-08-24 14:15

Java爬虫之下载全世界国家的国旗图片

介绍  本篇博客将继续上一篇博客：Python爬虫之使用Fiddler+Postman+Python的requests模块爬取各国国旗的内容，将用Java来实现这个爬虫，下载全世界国家的国旗图片。项目不再过多介绍，具体可以参考上一篇博客。  我们将全世界国家的名称放在一个txt文件中，每一行一个国家名字，该文件位于E盘flag目录下，名称为countries.txt，部分内容如下：countrie
山阴少年·2020-08-24 12:12

JAVA爬虫（二）：哔哩哔哩动画搞笑排行榜爬取

JAVA爬虫（二）:哔哩哔哩动画搞笑视频排行榜爬取1.前言2.步骤2.1分析及网页源代码爬取2.1.1分析2.1.2网页源代码爬取2.2网页源代码解析3.总代码1.前言最近和大创队友一起给大创做的APP
帅不过三秒的大鲨鱼·2020-08-24 04:52

2020-02-26java爬虫&html解析-Jsoup(绿盟极光报告)

java爬虫&html解析-Jsoup(绿盟极光报告)一、类库选取Java爬虫解析HTML文档的工具有：htmlparser,Jsoup。
thelostworld公众号·2020-08-24 02:13

java爬虫htmlunit模拟浏览器登录

介绍刚学到了一种超实用的java爬虫技术htmlunit，先记录一下。htmlunit其实就是一个没有界面的浏览器，操作很简单，就像自己在使用浏览器。
winter2121·2020-08-23 21:40

基于Crawler4j的Java爬虫实践

基于Crawler4j的Java爬虫实践1.Introduction2.系统架构2.1crawler4j2.2jsoup2.3ApacheCommonsCSV2.4maven3.关键3.1编码encoding
Tonq_csdn·2020-08-23 21:50

爬虫初探（一）crawler4j的robots

2019独角兽企业重金招聘Python工程师标准>>>最近刚刚开始研究爬虫，身为小白的我不知道应该从何处下手，网上查了查，发现主要的开源java爬虫有nutchapache/nutch·GitHub，Heritrixinternetarchive
weixin_34123613·2020-08-23 20:19

java爬虫 状态=503 解决方法

基本的状态码为400-415的为客户端错误500-505为服务器错误一般状态码返回503是因为访问的服务器过载也有可能是服务器处于维护状态通过浏览器可以访问到的网页而通过爬虫就返回状态503的一般访问过快导致是服务器过载也就是过一会还可以接着访问改网页但是频繁运行爬虫感觉不是特别方便所以就可以通过Thread.sleep()方法来让代码休息一定的时间再去访问改网页通过trycatch来解决whil
不知有鱼·2020-08-23 18:53

Java爬虫Crawler

http://blog.csdn.net/pipisorry/article/details/42913569Eclipse添加jar包到库中缺少某个库，找到之后，需要将该库，jar包，加入到当前项目，使得代码中的importxxx得以正常导入。通过AddExternalAchieves…的方式导入的。具体操作起来两种方式：（1）最快捷的是：右键项目->BuildPath->AddExternal
-柚子皮-·2020-08-23 18:46

开源JAVA爬虫crawler4j源码分析 - 1 开个头

最近有需要用到爬虫程序，翻看了一下互联网上关于爬虫的一些介绍及一些开源的网络爬虫：http://www.open-open.com/68.htm发现用nutch的人比较多，随即拿来使用。之后觉得nutch太过复杂，适合大规模海量数据的爬取，我目前还没有这种需求，留着以后再做研究！逐个看了看其它几个小的开源爬虫，发现太老不更新就是文档太少。crawler4j是一个短小精悍的爬虫，且非常容易使用，项目
Kevin龙·2020-08-23 17:02

简单的java爬虫：HttpClient+jsoup 爬取数据

简单的java爬虫：HttpClient+jsoup爬取数据说到爬虫，首先想到的是python爬虫，代码少，功能强大，关于python就不过多说明了。
lizhipengg·2020-08-23 17:24

开源JAVA爬虫crawler4j源码分析

crawler4j架构很简洁，总共就35个类，架构也很清晰：edu.uci.ics.crawler4j.crawler基本逻辑和配置edu.uci.ics.crawler4j.fetcher爬取edu.uci.ics.crawler4j.frontierURL队列相关edu.uci.ics.crawler4j.parser对爬取结果进行解析edu.uci.ics.crawler4j.robotst
csdncjh·2020-08-23 16:08

java爬虫模拟jquery点击

packagecom.teamdev.jxbrowser.chromium.demo_sanya12.xiecheng.evment; importjava.awt.BorderLayout; importjava.sql.PreparedStatement; importjava.sql.ResultSet; importjava.sql.SQLException; importjava.sql
W_DongQiang·2020-08-23 15:22

基于http协议的批量教务系统图片爬取

批量的爬取学校教务管理系统上的个人登记照，在断断续续的摸索几天的java爬虫后，本来是想着利用httpclient+jsoup框架来一方面的用httpclient模拟用户
Rong姐姐好可爱·2020-08-23 15:53

java爬虫问题二: 使用jsoup爬取数据class选择器中空格多选择怎么解决

问题描述：在使用jsoup爬取其他网站数据的时候，发现class是带空格的多选择，如果直接使用doc.getElementsByClass(“class的值”),这种方法获取不到想要的数据。爬取网站页面结构如下：其中文章列表的div为：我们可以看到其class的值为：am-cfinner_liinner_li_abtest。带空格的。多值的。如果我们还是用getElementsByClass()这
微信公众号_凯哥java·2020-08-23 11:01

WEBMAGIC——JAVA爬虫也很牛哦

的环境准备webmagic的四大组件的介绍定制PageProcessor定制Pipeline数据库配置Pipeline的编写设置代理定制Downloader看完这篇博文需要30分钟，耐心哦，手把手超详细的java
能向左或向右·2020-08-23 11:31

Java爬虫: Java爬虫可能用得到的一些工具

依赖：org.jsoupjsoup1.10.2org.mybatismybatis3.4.1mysqlmysql-connector-java5.1.38com.alibabafastjson1.2.7Java
李先森LeeCode·2020-08-23 03:13

java爬虫问题二: 使用jsoup爬取数据class选择器中空格多选择怎么解决

2019独角兽企业重金招聘Python工程师标准>>>问题描述：在使用jsoup爬取其他网站数据的时候，发现class是带空格的多选择，如果直接使用doc.getElementsByClass(“class的值”),这种方法获取不到想要的数据。爬取网站页面结构如下：其中文章列表的div为：我们可以看到其class的值为：am-cfinner_liinner_li_abtest。带空格的。多值的。如
weixin_34375233·2020-08-22 19:04

JAVA爬虫进阶之springboot+webmagic抓取顶点小说网站小说

闲来无事最近写了一个全新的爬虫框架WebMagic整合springboot的爬虫程序，不清楚WebMagic的童鞋可以先查看官网了解什么是Webmagic，顺便说说用springboot时遇到的一些坑。首先附上Webmagic官网链接WebMagic官网，上手很简单。先贴上springboot的pom.xml配置4.0.0zhy_springbootzhy_springboot1.0.0jaror
Smile_Miracle·2020-08-22 16:00

java爬虫：JSOUP

接下来我来介绍一下Java爬虫，(ˉ﹃ˉ)我大Java依然这么强大，谁还敢鄙视我大Java~嗯哼，刚刚说Java强大，其实Java强大在它的第三方库。
bd2star·2020-08-22 15:02

Java爬虫：大量抓取二手房信息并存入云端数据库过程详解（三）

这里详细讲一下将解析好的所有房源数据存入云端数据库的表中:1、首先是获得数据库连接，Java提供了数据库链接的接口，但实现是由各个数据库提供者自己实现的，这里需要mysql提供的第三方包：mysql-connector-java-8.0.13.jar、、新建一个类用于封装数据库处理的方法：//封装数据库相关操作publicclassOperationOfMySQL{//只创建一次链接Connect
燃烧的钥匙·2020-08-22 14:58

Java爬虫：用jsoup解析网页

Jsoup的官网：https://jsoup.org/主要功能：1.从一个URL，文件或字符串中解析HTML；2.使用DOM或CSS选择器来查找、取出数据；3.可操作HTML元素、属性、文本；两种方法解析：1、来自用户输入，一个文件或一个网站的HTML字符串，你可能需要对它进行解析并取其内容，或校验其格式是否完整：静态Jsoup.parse(Stringhtml)方法或Jsoup.parse(St
wangqianqianya·2020-08-22 14:28

java爬虫之Jsoup，方法和使用知识汇总

jsoup就是一个html解析器，从中获取到你想要的数据我用是maven项目下面是依赖org.jsoupjsoup1.9.2下面是代码，我爬取的是一个html网站的素材基本信息，我写的只能爬取静态网页数据，对动态数据就没有办法了，其实很简单，请求到数据的页面html源代码后，开始各种解析代码，jsoup有大量方法，使用其中的方法就跟html选择器一样，jsoup的方法我都会贴在下面，或许我写的代码
五只小狗·2020-08-22 13:40

Vue+JQuery实现网页“爬虫”

最初计划是使用Java爬虫技术，爬取网页，用html解析技术进行解析，然后将数据进行业务处理后返回给前端。但是这样一套
koala丶·2020-08-22 13:02

Java爬虫之JSoup使用教程

title:Java爬虫之JSoup使用教程date:2018-12-248:00:00+0800update:2018-12-248:00:00+0800author:mecover:https://
suveng·2020-08-22 13:08

【Java爬虫】使用Jsoup爬取网页表格的分页信息

爬取网站：https://flights.ctrip.com/actualtime/arrive-sha.p1/爬取上海浦东机场的航班信息技术：使用Jsoup技术jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。参考:Jsoup官方文档Jsoup_Doc文档网页获
小七mod·2020-08-22 12:58

Java爬虫：Jsoup利用dom方法遍历Document对象

先给出网页地址：https://wall.alphacoders.com/featured.php?lang=Chinese主要步骤：利用Jsoup的connect方法获取Document对象Stringhtml="https://wall.alphacoders.com/featured.php?lang=Chinese";Documentdoc=Jsoup.connect(html).get(
Cyril_KI·2020-08-22 11:48

java爬虫部署linux

娱乐头条—爬虫部署本爬虫进行部署:部署的基本流程,maven的jar项目应该如何打包处理分布式爬虫的开发和部署:扩展:爬虫的攻防技术:能够拿自己的话说出来,主要是为了面试扩展:代理ip的技术1.单机版爬虫部署1.1部署准备工作:准备一台可以联网并且安装了redis、jdk1.8、mysql的虚拟机如果redis是单独放置了一台服务器,那么一共就需要两台如果为两台服务器,那么这两台服务器的防火墙都需
ZHWANGKE·2020-08-22 04:34

一个分布式java爬虫框架JLiteSpider

JLiteSpiderAlitedistributedJavaspiderframework.这是一个轻量级的分布式java爬虫框架特点这是一个强大，但又轻量级的分布式爬虫框架。
weixin_33752045·2020-08-22 03:39

java爬虫实战（3）：网易云音乐评论，歌曲，歌单，歌词下载

java爬虫实战（3）：网易云音乐评论，歌曲，歌单，歌词下载*本实战仅作为学习和技术交流使用，转载请注明出处；*此文章很早便在草稿箱中，由于编写时事情较多，临时中断，现暂时发表，后续补上(20190410
菜的抠脚弟弟·2020-08-22 03:57

Java爬虫第一篇：准备 chromedriver与chrome

Java爬虫第一篇：准备chromedriver与chrome记录下使用Selenium时，遇到的chromedriver版本问题。
V红太阳·2020-08-22 03:42

Java爬虫例子

最近有个需求要爬一些百度贴吧上帖子的发言和回复，所以就去学习了一下如何使用java爬虫来爬数据。直接上代码吧！
徐子期·2020-08-21 21:29

java爬虫小demo

java爬虫小demojsoupjsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。
会码代码的旺财·2020-08-21 20:08

java爬虫demo

importjava.io.BufferedInputStream;importjava.io.BufferedReader;importjava.io.File;importjava.io.FileOutputStream;importjava.io.InputStreamReader;importjava.net.MalformedURLException;importjava.net.URL
Knigh_art·2020-08-21 20:14

JAVA爬虫demo

转载请注明出处：http://blog.csdn.net/lmj623565791/article/details/23272657今天公司有个需求，需要做一些指定网站查询后的数据的抓取，于是花了点时间写了个demo供演示使用。思想很简单：就是通过Java访问的链接，然后拿到html字符串，然后就是解析链接等需要的数据。技术上使用Jsoup方便页面的解析，当然Jsoup很方便，也很简单，一行代码就
Pannahouse·2020-08-21 20:27

一个简单Java爬虫demo(Java爬虫爬取数据和图片数据)

在这里我们用jsoup来做，首先导入jsoup依赖直接引入下面的依赖，如果有喜欢追新版本的强迫症者可以到官网搜索最新版本https://mvnrepository.com/org.jsoupjsoup1.12.1接下来就是开始小demo的制作，首先创建一个类，这个随意，在这里演示的是爬取大乐透的开奖信息，这里我们通过类选择器来获取元素，废话不多说，直接上代码。importcom.demo.enti
Lorie_Chen·2020-08-21 17:50

Java爬虫：使用Jvppeteer(Puppeteer)轻松爬淘宝商品

Java爬虫：使用Jvppeteer(Puppeteer)轻松爬淘宝商品想要爬取某宝的商品，如果只是用HttpURLConnection发个请求，失败率是很高的。
往前一直走·2020-08-21 10:54

webcollector爬虫demo

其实Java爬虫有很多开源的框架，这边我选择的是webcollector这个中小型的框架（官网：https://github.com/CrawlScript/WebCollector，教程文档：http
盟易·2020-08-21 05:19

Java爬虫框架WebMagic

WebMagic的架构设计参照了Scrapy，而实现则应用了HttpClient、Jsoup等Java成熟的工具。WebMagic由四个组件(Downloader、PageProcessor、Scheduler、Pipeline)构成:Downloader:下载器PageProcessor:页面解析器Scheduler：任务分配、url去重Pipeline：数据存储、处理WebMagic数据流转的
落雨·2020-08-21 02:29

Java爬虫：使用Jvppeteer(Puppeteer)轻松爬淘宝商品

Java爬虫：使用Jvppeteer(Puppeteer)轻松爬淘宝商品想要爬取某宝的商品，如果只是用HttpURLConnection发个请求，失败率是很高的。
一直往前走·2020-08-21 02:39

JAVA 爬虫框架webmagic 初步使用Demo

而且最近也非常的火爆，但是python有一个全局锁的概念新能有瓶颈，所以用java还是比较牛逼的，webmagic官网https://webmagic.io/讲的非常详细，当然java比较优秀的框架还有很多不知这些各类JAVA
kenx·2020-08-20 23:12
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他