Java爬虫

Java实战项目

注意：获取一下资源，请在公众号中回复对应的资源标题就可以了，比如：博客开发项目java爬虫：可能大家有的对爬
Java编程指南（微信公众号同名）·2020-07-02 11:04

【验证码识别】（二）京东滑块验证码爆破---纯js非selenium方式 java版本

滑块分析的思路（纯js调用，非selenium）java爬虫常用的方法java调用js引擎的方
菜园子哇·2020-07-01 21:27

Java爬虫批量爬取图片

Java爬取妹子图片（2020年3月）现在开始学习爬虫，发现大多数人的入门程序多是爬取图片的，感觉这似乎是一个传统，所以我也就来继续这个传统吧。这是学习技术的，不是下载图片的！因为我是Java方向的，所以我就使用Java来写这个小爬虫程序了。目标网址：妹子图使用技术：Java基础知识、HttpClient4.x、Jsoup爬取目标：获取几张图片。爬取思路对于这种图片的获取，其实本质上就是就是文件的
CrazyDragon_King·2020-07-01 04:38

【java爬虫】---爬虫+jsoup轻松爬博客

爬虫+jsoup轻松爬博客最近的开发任务主要是爬虫爬新闻信息，这里主要用到技术就是jsoup，jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。这篇文章就讲通过jsoup爬虫的实际案例，下一篇再讲jsoup的具体文档。主要爬虫对象就以我之前写的一篇博客：【java
Binronchar·2020-06-30 10:55

9种分布式ID生成之美团（Leaf）实战

你可以这样怼他3万字总结，Mysql优化之精髓为了不复制粘贴，我被逼着学会了JAVA爬虫技术部突然宣布：JAVA开发人员全部要会接口自动化测试框架Redis5种数据结构及对应使用场景，
程序员内点事·2020-06-30 02:17

一口气说出Redis 5种数据结构及对应使用场景，面试要加分的

、分布式、中间件等），有需要的小伙伴可以关注公众号【程序员内点事】，无套路自行领取更多优选一口气说出9种分布式ID生成方式，面试官有点懵了3万字总结，Mysql优化之精髓为了不复制粘贴，我被逼着学会了JAVA
程序员内点事·2020-06-30 02:17

高级Java面试题之 分库分表基本知识点

、分布式、中间件等），有需要的小伙伴可以关注公众号【程序员内点事】，无套路自行领取更多优选一口气说出9种分布式ID生成方式，面试官有点懵了3万字总结，Mysql优化之精髓为了不复制粘贴，我被逼着学会了JAVA
程序员内点事·2020-06-30 02:17

WebMagic JAVA爬虫框架

官方文档WebMagic总体架构WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。DownloaderDownloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了ApacheHttpClient作为下载工具
茗同学·2020-06-29 23:05

最新学习资源，看者有份，快来领取吧！

注意：获取一下资源，请在公众号中回复对应的资源标题就可以了，比如：博客开发项目java爬虫：可能大家有的对爬虫不太了解，简单介绍一下吧，爬虫就是写代码模仿人的操作去爬取别人网站的资源，所
weixin_45737309·2020-06-29 16:31

java爬虫爬取博客园数据

一、爬虫是什么以下是百度百科上对于网络爬虫的定义：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。通俗的讲，爬虫就是能够自动访问互联网并将网站内容下载下来的的程序或脚本，类似一个机器人，能把别人网站的信息弄到自己的电脑上，再做一些过滤，筛选，归
心动的代码~·2020-06-29 15:47

Java爬虫实战（一）：抓取一个网站上的全部链接

一算法简介程序在思路上采用了广度优先算法，对未遍历过的链接逐次发起GET请求，然后对返回来的页面用正则表达式进行解析，取出其中未被发现的新链接，加入集合中，待下一次循环时遍历。具体实现上使用了Map，键值对分别是链接和是否被遍历标志。程序中使用了两个Map集合，分别是：oldMap和newMap，初始的链接在oldMap中，然后对oldMap里面的标志为false的链接发起请求，解析页面，用正则取
库克look·2020-06-29 12:40

Java爬虫项目(一 爬取)(岗位爬取并展示)WebMagic+MySQL+Echarts+IDEA

一:Jsoup+HttpClient爬取51job(前程无忧)网的岗位招聘信息1.项目框架如下用idea创建一个maven项目,然后按照以下步骤创建项目,或者直接将我的包解压了,拖到你创建好的项目路径下2.pom.xml添加依赖4.0.0war51jobcn.com.scitc51job1.0-SNAPSHOTorg.mortbay.jettymaven-jetty-plugin6.1.78888
星夜欢宇·2020-06-29 09:57

通过Java爬虫访问网站

功能：实现利用java访问网站（增加阅读量），并获取其中的信息，保存到本地工具：eclipse浏览器（谷歌）jsoup包下载地址：maven工厂：https://mvnrepository.com/artifact/org.jsoup/jsoup/1.8.3知识准备：Jsoup官方文档：https://jsoup.org/JavaIO操作html（各种标签）,Javascript基础（类选择器）基
旧单车·2020-06-29 07:51

Java爬虫之利用Jsoup+HttpClient爬取类叔叔不约匿名聊天网站的图片,未果——后爬取某网站美女图片案例

博主最近学了一点爬虫的知识，闲着无聊，秉承学以致用的理念，于是突然想到何不挑战一下，爬取一些叔叔不约网站的图片，来巩固一下所学知识(#滑稽)。说干就干，打开eclipse或idea,创建maven工程，引入所需jar包的依赖:org.apache.httpcomponentshttpclientorg.jsoupjsoup1.8.3org.apache.commonscommons-lang33.
upZzh·2020-06-29 01:57

Java爬虫爬取 天猫 淘宝 京东 搜索页和 商品详情

Java爬虫爬取天猫淘宝京东搜索页和商品详情先识别商品url，区分平台提取商品编号，再根据平台带着商品编号爬取数据。
java1024家园·2020-06-29 01:42

Java爬虫实践：Jsoup+HttpUnit爬取今日头条、网易、搜狐、凤凰新闻

0x0背景最近学习爬虫，分析了几种主流的爬虫框架，决定使用最原始的两大框架进行练手：Jsoup&HttpUnit其中jsoup可以获取静态页面，并解析页面标签，最主要的是，可以采用类似于jquery的语法获取想要的标签元素，例如：//1.获取url地址的网页htmlhtml=Jsoup.connect(url).get();//2.jsoup获取新闻标签ElementsnewsATags=html
weixin_34056162·2020-06-28 10:41

selenium-java爬虫实现

推荐的网站学习网站1.官方文档http://www.seleniumhq.org/docs/2.selenium多线程http://www.cnblogs.com/dingmy/p/3438084.htmlSeleniumStandaloneServer搭建RC环境1.下载SeleniumStandaloneServer（http://www.seleniumhq.org/download/）2.
weixin_30882895·2020-06-28 02:20

使用webmagic编写Java爬虫获取博客园文章内容

先导知识官方教程简单爬虫编写Maven配置第一个爬虫：博客园特别注意无意中发现了这个框架，真正的传说中的傻瓜爬虫框架，用来写简单爬虫很方便，也能够通过多写一些代码写复杂爬虫，作者是中国人，看文档就能学会这个框架的使用，我这里简单的用cnblogs举例介绍一下这个框架的使用。1.先导知识Java：这个就不多说了，不会Java肯定是要用Python写爬虫的，资料一找一大堆。Maven：Maven被id
weixin_30825581·2020-06-28 01:39

WebCollector 简介与 快速入门

目录WebCollerctor简介内核构架图WebCollector2.x版本特性WebCollector快速入门WebCollerctor简介1、WebCollector是一个无须配置、便于二次开发的JAVA
蚩尤后裔·2020-06-27 13:02

爬虫项目（二）用phantomjs做爬虫

这几天有事没怎么研究，最开始用的java爬虫想爬取携程，结果失败告终。
寒鸣乱了浮生·2020-06-27 10:27

关于Java爬虫工程师（中级）应该会的技术与知识

关于Java爬虫工程师（中级）应该会的技术与知识数据包及抓包相关内容数据的追踪与反追踪数据的整理与维护常见反爬思路及反反爬思路调度器与下载分离，且学会使用配置文件学会使用python脚本来调用python
黑森森·2020-06-27 06:46

Java爬虫系列之三模拟浏览器【模块浏览OSChina网站】

第一节的学习使得我们学会使用HttpClient请求网页的基本方法；第二节进一步学习了Jsoup从网页中解析出所需要的内容。但在请求时，我们仍可能遇到目标网址没有错，但就是请求得不到响应的情况，比如OSChina、CSDN等网址，因此这里必须伪装成浏览器才可以进行正常的访问。模拟浏览器在代码的实现层，就是给请求加上Header，那么如何看应该封装的Header内容呢？运用浏览器自带的开发者选项功能
行者小朱·2020-06-27 02:21

Java爬虫基于Jsoup实现写个简单demo

Java爬虫基于Jsoup做个简单实现jsoup简介：jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。
Soneger·2020-06-26 13:40

【JAVA爬虫】爬取猫眼电影TOP100并将数据存入数据库

前几天的简单写了个利用JSOUP进行JAVA爬虫，里面有谈到后续版本会更新数据库操作，所以这次来更新了。
某科学的一文·2020-06-26 12:17

分享一些简单的内容

得到网页，然后解析就可以得到我们想要的内容了，但是现在很少用java写爬虫的吧，所以写了一个java爬虫玩一下。
shelgi·2020-06-26 08:54

Java爬虫：对猫眼电影进行信息采集并存入Excel

Java爬虫：对猫眼电影进行信息采集并存入Excel采集的目标以及内容提取的信息封装为一个类获得总点评人数，想看人数，已看人数注意获得总点评人数，想看人数，已看人数的数据的方法图片链接，上映时间等进行信息提取提取的结果存入
无声无梦·2020-06-26 03:18

Java爬虫入门案例，第一个爬虫程序

首先创建maven工程添加依赖4.0.0crawlercrawler1.0-SNAPSHOTorg.apache.httpcomponentshttpclient4.5.2org.slf4jslf4j-log4j121.7.25test-->创建log4j.properties####配置根Logger###log4j.rootLogger=debug,stdout###输出到控制台###log4
Exception.·2020-06-26 01:51

Java爬虫，爬取京东、天猫、淘宝、阿里巴巴、苏宁、国美、考拉电商数据

我最近做了一组关于京东、天猫、淘宝、阿里巴巴、苏宁、国美、考拉电商数据搜索提供，用到的技术有java+xpath（爬虫相关技术）+springboot，就这两个打算做一个自己随便用用，随便比比赛，虽然我早就意料到网上有类似的东西。不足之处没有多线程处理还有一些细枝末节的东西都没有顾及到。尽力就好，何况也没尽力。京东：成果：问题：京东的动态加载，它会现在加载大概三十个，接着再次加载三十个，我的方案是
Curtains Down·2020-06-25 23:40

Java爬虫之学习篇 Jsoup爬取页面

不知不觉在这个爬虫行业工作半年多了。在网上看到的java文章大多都是比较简单的一个例子。没有太多系统的总结的专栏,既然没有的话,我就自己写一个吧。不足之处希望大家,多多指点.此篇主要内容:jsoup的使用,对不同数据类型抓取.对数据的抽取：开始前，先介绍下Jsoup。Jsoup是java的一个开源，可以来模拟浏览器来获取网页数据的框架。也就是可以实现爬虫的功能，知道这个就行了。有兴趣深入的小伙伴。
坐在西半球上·2020-06-25 22:14

Java 爬取BiliBili Up视频

爬视频找了好久都没有找到接口，后面百度半天不行，就在谷歌找到了这文章：Java爬虫练习-bilibili视频下载索引写的非常详细，感兴趣的可以去看看。
拾荒的小咸鱼·2020-06-25 22:06

Java爬虫——jsoup爬取知乎内容并写入文件

引言：利用闲暇时间写了一个小爬虫，巩固Jsoup技术注：此篇文章仅供学习使用由于知乎的内容都是比较精彩和权威，网上很多文章也都是关于爬取知乎内容的，所以笔者也写了一个简单的小爬虫来获取知乎的内容1.找到需要爬取的页面2.分析页面数据3.找到上诉图片中返回值的请求信息由上诉图片中我们可以得到请求路径，请求方式，浏览器的用户代理，请求参数，响应体等信息注：由于当前请求是用get方式，部分请求头信息可以
qq_41770939·2020-06-25 21:44

java爬虫(Jsoup)爬取某新闻站点标题

需要一个包：jsoup-1.7.3.jar有一定的java和js基础packagewang.test;importjava.io.IOException;importorg.jsoup.Jsoup;importorg.jsoup.nodes.Document;importorg.jsoup.nodes.Element;importorg.jsoup.select.Elements;publiccl
rodertW·2020-06-25 17:52

Java爬虫——利用HttpClient+jsoup实现

前言由于我是工作需要，然后第一次接触Java的爬虫，很多地方的原理目前还不太了解，只限于知道如何去使用以及怎样去使用。所以爬虫理论、原理相关的知识暂时就不多说了，需要的小伙伴可以先了解一下思路以及如何去使用。爬虫的用途在项目当中，不管是我们开发人员还是测试人员，在测试使用某一功能点的时候会用到一些比较真实正规一点的数据，这时候我们不可能一条一条的手动去往数据库中插入数据，太麻烦了。这时候爬虫就起到
山河Y·2020-06-25 17:14

Java爬虫 50行代码爬取一个网页（最简单的爬取）

最简单最基础的写法没有任何骚操作packageregex;importjava.io.*;importjava.net.HttpURLConnection;importjava.net.URL;importjava.net.URLConnection;publicclassTest{publicstaticvoidmain(String[]args){try{//url地址URLurl=newUR
bug鬼才唐伯虎·2020-06-25 16:49

Java爬虫高级版(今日头条)

声明：浙大java课程小作业作者：GeSq功能描述UI界面结果逻辑代码功能描述爬取今日头条文章的图片和正文文字。仅适用与头条文章版网页，不支持相册版网页。UI界面网址：输入今日头条文字的url，例如https://www.toutiao.com/a6426655544824905985/https://www.toutiao.com/a6426655544824905985/https://www
哈根达士奇·2020-06-25 09:45

Java爬虫项目（一）利用Jsoup爬虫爬取天猫商品信息

前言这是我第一次用Java来写爬虫项目，研究的也不是很透彻，所以爬虫技术的理论方面的就不说太多了。主要还是以如何爬取商品信息为主，爬取最简单的商品信息，给出大概的思路和方法。对于没有反爬技术的网站，爬取商品信息最简单。我测试了京东、淘宝、天猫这些大型购物网站，发现只有天猫商城是没有做任何反爬处理的，所以就从最简单的爬取天猫商品信息开始写。思路方法1、对于没有反爬技术的网站思路最简单。直接在天猫商城
会编程的耗子·2020-06-25 05:58

webmagic爬虫自学（一）介绍一些关于爬虫的知识

webmagic是一个简单灵活的Java爬虫框架，如果你熟悉Java而且不想用Python写爬虫，那么webmagic是一个不错的选择.一、WebMagic官方资源项目作者github首页：https:
互联网叫兽·2020-06-25 04:36

Java爬虫使用Selenium+Autoit自动化爬取复杂页面

前言:最近玩爬虫的时候,遇到一个国外的图片网站,具体哪个就不说了,这个站很有意思,即使拿到了图片的链接,用httpclient下载都不行,不是User-Agent的原因,不知道图片服务器的后端有什么校验,没办法了,只能用Selenium上了,js逆向成本太高了(其实是我不擅长0.0)这个站用的:下面进入正题：既然拿到图片url也不能用httpclient下载了,那我直接下载整个网页怎么样?下载整个
额JS稀饭·2020-06-25 03:53

为了不复制粘贴，我被逼着学会了JAVA爬虫

99套Java企业级实战项目4000G架构师资料写在前边受疫情影响一直在家远程办公，公司业务进展的缓慢，老实讲活并没有那么多，每天吃饭、睡觉、逛技术社区、写博客，摸鱼摸得爽的很。早上本来还想在来个回笼觉，突然部门经理的语音消息就过来了。甩给我一个连接地址http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2018/，要我把全国的省市名称和区域代码弄出来
老炮说Java·2020-06-25 00:41

Java爬虫jsoup访问CSDN博客

背景看到CSDN上面的部分博客，写了好几年，访问量依然只有几十，于是想，写个爬虫，模拟人来查看博客，达到访问量增加的目的。理论知识CSDN博客的阅读数是如何增加的？当一篇博客在一台电脑上被访问时，该博客的阅读数+1，但是，在1分钟内连续多次访问，阅读数只加1。jsoup用法jsoup可以很方便的用JS的选择器功能，对于了解前端知识的人来说，非常方便查找页面上某个DOM元素。官网：https://j
Wayss_S·2020-06-24 22:50

python3 pandas to_sql填坑

打个广告，想学JAVA爬虫的朋友点这里为什么要使用to_sql方法表结构如下：CREATETABLE`my_balance`(`id`int(11)NOTNULLAUTO_INCREMENT,`balance
qnloft·2020-06-24 22:22

java技术之Java爬虫

Java也能做爬虫。现在提到爬虫人第一个想到的就是python，其实使用Java编写爬虫也是很好的选择，下面给大家展示一个使用Java基础语言编写的爬取小说的案例：实现功能：爬取目标网站全本小说代码编写环境JDK：1.8.0_191Eclipse：2019-03(4.11.0)素材：网站：http://www.shicimingju.com小说：三国演义案例实现用到的技术：正则表达式Java网络通
qf2019·2020-06-24 21:20

HtmlUnit java爬虫入门 真实案例讲解 爬取电商网站数据

最近利用空闲时间帮朋友做了个爬取几个电商网站的数据的小程序使用的是htmlUnit自我感觉htmlUnit爬取的速度和稳定性还是很不错的所以写一篇博文介绍下htmlUnit的使用相关也算记录一下这是该网站的主页面具体的思路是获取商品所在的div通过div获取每个商品的标签的href进入该网址爬取该商品的数据然后导出EXCEL表实现自动翻译等功能1.首先我们需要获取主页面的数据WebClientwe
举头三尺有宋浩·2020-06-24 21:09

Selenium+Phantomjs做Java爬虫

背景以前，觉得爬虫是不稳定的，而且不被业界允许的，从来没想过会在实际的项目中使用。现在，由于各种突发情况，必须使用爬虫才能完成相应任务。起初，觉得爬虫不过是爬取网页，解析网页就可以了，比较简单，谁知一路心酸泪。查阅各种资料，Java相关的爬虫工具也比较多，由于时间关系，只简单看了下面几种，分析如下：HtmlUnitwebmagicSeleniumphantomjs优点Java编写的无界面浏览器，内
西红柿丶番茄·2020-06-24 19:08

[Python爬虫] 模拟浏览器、代理ip、开启日志、超时处理、异常处理、登录、下载图片

一、前言之前以Java为主要的开发语言，后台、爬虫都是使用Java语言近来，开发时逐步使用Python取代Java，换种口味~本文根据之前Java爬虫涉及到方法为导向，以Python来实现，包括模拟浏览器
IT小村·2020-06-24 02:17

java爬虫问题一：解决使用htmlunit 时候ssl认证失败问题

前言：在使用htmlunit爬取其他网站信息的时候，提示错误信息：unabletofindvalidcertificationpathtorequestedtarget意思：说明证书问题。各种检索，使用了很多方法，以下记录解决思路：解决方案一：一种解决方案是：webClient.getOptions().setUseInsecureSSL(true);这么设置之后，确实没有在提示unabletof
凯哥Java·2020-06-24 00:16

Java实现爬取京东手机数据

Java实现爬取京东手机数据最近看了某马的Java爬虫视频，看完后自己上手操作了下，基本达到了爬数据的要求，HTML页面源码也刚好复习了下，之前发布两篇关于简单爬虫的文章，也刚好用得上。
霄霄霄霄霄·2020-06-23 17:19

Java爬虫分析告诉你结果

文章目录导语首先，打开豆瓣，查看豆瓣评论入口根据抓包分析结果，写Java爬虫代码【庆余年】豆瓣评论分析1.【庆余年】电视剧爱奇艺热度排行榜2.【庆余年】豆瓣短评评论分布3.
蝴蝶效应-虎·2020-06-23 15:08

java爬虫爬取天猫指定店铺下全部商品详细信息(实时价格、尺码、库存等) 超详细（思路篇）！

前言前段时间需要做一个获取天猫店铺中所有商品详情的程序，包括获取对应的商品的尺码、吊牌价、实时售价（促销价）、库存等信息。自己倒是写过一些爬虫，不过对于这类电商信息的爬取倒是第一次接触，听说天猫的反爬机制比较严，并且相关教程又都是python语言的居多，正好也做完了，所以想写个java的记录下来。方便大家交流学习。使用工具：IDEAChrome浏览器本教程分为思路篇和代码篇爬取思路1.商品详情页u
酱油灬控·2020-06-23 12:44

基于selenium的简单Java爬虫

importorg.openqa.selenium.By;importorg.openqa.selenium.WebDriver;importorg.openqa.selenium.WebElement;importorg.openqa.selenium.chrome.ChromeDriver;importorg.openqa.selenium.interactions.Actions;publi
daqinjun·2020-06-23 02:16
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他