E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Java爬虫
Java爬虫
入门篇(一)HttpClient+jsoup,以及防盗链简述
本文中使用的HttpClient是在apacheHttpClient的基础上封装的class,文章末尾会给出源码分享思路:首先我们用HttpClient模拟请求,获取到html代码,用jsoup解析过滤html,获取我们想要的数据。场景描述:因为我要抓取这个网站所有分页的数据,我在用HttpClient模拟请求之前,在chrome中直接访问url,发现请求被重定向?这就很麻烦了!分析:正常我们通过
殷天文
·
2020-02-05 18:02
Java爬取51job_2.0
大三上快结束了,看看之前的
Java爬虫
代码,感觉还是需要改进改进,就写了这个爬虫2.0版本,虽然还是爬的51job,但是更加的低耦合了,还加入了代理池和多线程的内容,爬取速度有了质的提升。
PowerZZJ
·
2020-01-13 10:00
Java爬虫
一键爬取结果并保存为Excel
Java爬虫
一键爬取结果并保存为Excel将爬取结果保存为一个Excel表格官方没有给出导出Excel的教程这里我就发一个导出为Excel的教程导包因为个人爱好我喜欢用Gradle所以这里就弄Gradle
Timeless小帅
·
2020-01-12 13:00
Java爬虫
一键爬取结果并保存为Excel
Java爬虫
一键爬取结果并保存为Excel将爬取结果保存为一个Excel表格官方没有给出导出Excel的教程这里我就发一个导出为Excel的教程导包因为个人爱好我喜欢用Gradle所以这里就弄Gradle
Timeless小帅
·
2020-01-12 13:00
Java爬虫
爬取 天猫 淘宝 京东 搜索页和 商品详情
Java爬虫
爬取天猫淘宝京东搜索页和商品详情先识别商品url,区分平台提取商品编号,再根据平台带着商品编号爬取数据。
wx581061abdf3e7
·
2020-01-09 11:29
java爬虫
爬取淘宝天猫京东商品
爬取商品详情
java爬虫
Java:
java爬虫
获取动态网页的数据
说明:只是分享一种解决方案,代码以及部分截图不方便贴出,请谅解!前段时间一直在研究爬虫,抓取网络上的特定的数据,如果只是静态网页就是再简单不过了,直接使用Jsoup:Documentdoc=Jsoup.connect(url).timeout(2000).get();获取到Document然后就想干嘛就干嘛了,但是一旦碰到一些动态生成的网站就不行了,由于数据是网页加载完成后执行js代码加载的,或者
伽南香071
·
2020-01-06 22:08
java爬虫
进阶篇(半小时知乎两万推荐问题)
上一篇写了一个简单的新浪新闻爬虫作为上手主要是用jsoup包来对url页面进行抓取到本地,并在本地进行数据的解析提取。这里就不重复叙述jsoup的用法了,百度一下基本一大片。看了网上大神们都有对知乎进行爬取,今天我也拿它来试试手。写这篇文章的目的主要是想将自己在爬取中遇到的一些坑,以及怎么解决的做一下记录。也算是一次加深理解的过程。爬取的目标页面2017-12-31_172919.png目标是爬取
小鸡在路上
·
2020-01-01 15:11
2018总结2019规划
2018总结2018新加技术栈:Docker、ES、GIT、Maven、Java8、Gaven、Java多线程、
Java爬虫
、Java微信开发JMter、JVM虚拟机、Netty、Redis、Shiro
情商堪忧
·
2019-12-26 19:59
java爬虫
(爬新浪新闻) 如何从零开始
爬虫通常搜索引擎处理的对象是互联网网页。首先面临的问题是:如何能够设计出高效的下载系统,以将如此海量的网页数据传送到本地,在本地形成互联网网页的镜像备份。网络爬虫即起此作用,它是搜索引擎系统中很关键也很基础的构件。爬虫:实际上就是通过相应的技术,抓取页面上特定的信息。网络爬虫当"蜘蛛"程序出现时,现代意义上的搜索引擎才初露端倪。它实际上是一种电脑"机器人"(ComputerRobot),电脑"机器
小鸡在路上
·
2019-12-26 09:22
Java爬虫
(八)-- httpClient进阶:HTTPS和证书认证(原理总结篇)
一、前言本篇文章承接上一篇,对应讲述一些我在接触SSL协议、证书认证时学到的一些原理性知识。因为本身不是科班出身,网络方面很多对我来说都是新知识,特在此记录一下。二、HTTPSHTTPS=HTTP+SSL/TLS协议,即加密过后的HTTP通信。它其实还是HTTP协议,只是在外面加了一层,SSL是一种加密安全协议,引入SSL的目的是为了解决HTTP协议在不可信网络中使用明文传输数据导致的安全性问题。
Richard_易
·
2019-12-25 08:03
WebMagic+Spring Boot爬取网易云音乐评论
关于WebMagicWebMagic是一个简单灵活的
Java爬虫
框架。基于WebMagic,你可以快速开发出一个高效、易维护的爬虫。
褐言
·
2019-12-22 18:37
记一次初学Webmagic的踩坑之旅:爬取知乎数据
好久没更新博客了,最近在做一个知乎的小爬虫,基于springboot+myabtis+webmagicwebmagic是一个简单灵活的
Java爬虫
框架。
语落心生
·
2019-12-22 13:37
JAVA爬虫
技术--HttpClient请求
Java爬虫
入门简介(一)——HttpClient请求原文地址链接http://www.datalearner.com/blog/1051501160659926数据是科研活动重要的基础。
葡小萄家的猫
·
2019-12-18 13:08
WebMagic学习(一)之Hello world
Java爬虫
项目简介大型的:Nutchapache/nutch·GitHubapache下的开源爬虫程序,功能丰富,文档完整。有数据抓取解析以及存储的模块。适合做搜索引擎,分布式爬虫是其中一个功能。
枫晴maple
·
2019-12-08 01:02
Java爬虫
实战—爬取某网盘技术类PDF电子书
背景背景是这样的:前2天在网上搜技术类电子书,结果发现CSDN某博客更新了大量技术类PDF电子书(链接在这里程序员成长思路-电子书),考虑到他这个应该是为网盘导流,文件有可能是临时存储的,所以保险起见得下到自己本地来,常规下载如下图,感觉操作和跳转步骤太多,懒筋作祟,于是想怎么不写个爬虫把它全搞下来!分析页面在CSDN博客页面,查看跳转及网络请求,没有发现什么可利用的点,于是转到网盘下载页面,看下
测试开发栈
·
2019-12-07 23:29
Java爬虫
小白 HttpClient POST 带参数请求
直接上代码publicstaticvoidmain(String[]args)throwsException{//创建浏览器CloseableHttpClienthttpClient=HttpClients.createDefault();//输入访问的地址HttpPosthttpPost=newHttpPost("https://movie.douban.com/subject/26858510
wen897377291
·
2019-11-23 11:46
爬虫学习
Java爬虫
HttpClient -- 配置请求参数
packagexxx.xxx.xxx;importorg.apache.http.HttpEntity;importorg.apache.http.client.config.RequestConfig;importorg.apache.http.client.methods.CloseableHttpResponse;importorg.apache.http.client.methods.Ht
三宝鸭
·
2019-11-17 13:45
Java
java
httpClient
Java读取本地json文件
背景之前一直在弄一个
Java爬虫
,将爬取的信息保存到了数据库中。
王陸
·
2019-11-17 13:00
Java爬虫
(02)——抓取finalUrl页面信息
抓取页面信息实现:packagecom.sichan.one;importjava.io.IOException;importorg.jsoup.Jsoup;importorg.jsoup.nodes.Document;importorg.jsoup.select.Elements;importcom.sichan.bean.Link;importcom.sichan.util.DBUtil;im
王孖徵
·
2019-11-05 05:55
[完整爬虫]
java爬虫
基础对36Kr快讯数据进行爬取以及数据筛选过滤
由于九月事件把爬虫推到风口浪尖而我写这些只是分享技术不涉及隐私等个人资料的获取并且是在不会对对方服务器造成压力的情况下进行的爬取特此声明36Kr也叫36氪,是一个我非常喜欢的网站,网罗天下资讯,而且页面整洁资讯一目了然,极大的开拓眼界,许多不管是金融方面科技方面我感觉是最新最全面,当然最终是准备爬取一下上面的资讯,当然是不会对对方服务器造成压力的情况下进行的爬取.一.所需材料,涉及技术javajs
张德仁
·
2019-10-24 15:58
java爬虫
完整爬虫方法
细数那些
Java爬虫
技术
最近,某大数据科技公司因为涉嫌非法抓取某招聘网站用户的简历信息,公司被查封,负责编写抓取程序的程序员也将面临坐牢。作者:架构之路来源最近,某大数据科技公司因为涉嫌非法抓取某招聘网站用户的简历信息,公司被查封,负责编写抓取程序的程序员也将面临坐牢。事情的大概经过是这样的:某大数据科技公司老板丢给一个小小的程序员一个网站,告诉他把这个网站的数据抓取下来,咱们做一做分析。这个小小的程序员就吭哧吭哧的写了
你知道歌谣吗?
·
2019-10-18 16:14
阅读(偏技术)
Java 多线程爬虫及分布式爬虫架构探索
这是
Java爬虫
系列博文的第五篇,在上一篇
Java爬虫
服务器被屏蔽,不要慌,咱们换一台服务器中,我们简单的聊反爬虫策略和反反爬虫方法,主要针对的是IP被封及其对应办法。
平头哥的技术博文
·
2019-10-16 09:00
Java 多线程爬虫及分布式爬虫架构探索
这是
Java爬虫
系列博文的第五篇,在上一篇
Java爬虫
服务器被屏蔽,不要慌,咱们换一台服务器中,我们简单的聊反爬虫策略和反反爬虫方法,主要针对的是IP被封及其对应办法。
平头哥的技术博文
·
2019-10-16 09:02
Java
ava 爬虫服务器被屏蔽,不要慌,咱们换一台服务器
这是
Java爬虫
系列博文的第四篇,在上一篇
Java爬虫
遇上数据异步加载,试试这两种办法!中,我们从内置浏览器内核和反向解析法两个角度简单的聊了聊关于处理数据异步加载问题。
fsgrgs
·
2019-10-15 14:31
Java
Java 爬虫服务器被屏蔽,不要慌,咱们换一台服务器
这是
Java爬虫
系列博文的第四篇,在上一篇
Java爬虫
遇上数据异步加载,试试这两种办法!中,我们从内置浏览器内核和反向解析法两个角度简单的聊了聊关于处理数据异步加载问题。
平头哥的技术博文
·
2019-10-15 12:00
Java 爬虫遇上数据异步加载,试试这两种办法!
这是
Java爬虫
系列博文的第三篇,在上一篇
Java爬虫
遇到需要登录的网站,该怎么办?)
平头哥的技术博文
·
2019-10-15 05:23
ajax
网页爬虫
java
java爬虫
写一个百度图片下载器
4.0源码剖析5.0项目地址6.0写在最后的话前言:大概一个月前帮一个朋友写一个爬虫,这个爬虫比较有意思,抓取新浪微博的图片(某个人物的微博)【站内深度抓取】,然后就花了点时间帮他写一个
java爬虫
,然后打包成为一个类似绿色版的软件给他
houyuSource
·
2019-10-12 23:54
java
爬虫
图片
Java 爬虫遇上数据异步加载,试试这两种办法!
这是
Java爬虫
系列博文的第三篇,在上一篇
Java爬虫
遇到需要登录的网站,该怎么办?
平头哥的技术博文
·
2019-10-12 14:00
Java 爬虫服务器被屏蔽,不要慌,咱们换一台服务器
这是
Java爬虫
系列博文的第四篇,在上一篇
Java爬虫
遇上数据异步加载,试试这两种办法!中,我们从内置浏览器内核和反向解析法两个角度简单的聊了聊关于处理数据异步加载问题。
平头哥的技术博文
·
2019-10-12 09:36
Java
Java 爬虫遇上数据异步加载,试试这两种办法!
这是
Java爬虫
系列博文的第三篇,在上一篇
Java爬虫
遇到需要登录的网站,该怎么办?
平头哥的技术博文
·
2019-10-10 06:16
java
爬虫
爬虫
数据异步加载
Java
selenium
Java
JAVA爬虫
实现自动登录淘宝
目的想通过JAVA代码实现淘宝网的自动登录,通过获取设置的登录信息自动填写并提交。目前这个代码是小编测试过的,可以通过,后期不知道淘宝会不会有相应的封堵策略。代码分享:packageutil;importorg.openqa.selenium.By;importorg.openqa.selenium.WebElement;importorg.openqa.selenium.firefox.Fire
·
2019-09-23 02:03
Java爬虫
Jsoup+httpclient获取动态生成的数据
Java爬虫
Jsoup+httpclient获取动态生成的数据前面我们详细讲了一下Jsoup发现这玩意其实也就那样,只要是可以访问到的静态资源页面都可以直接用他来获取你所需要的数据,详情情跳转-Jsoup
·
2019-09-22 22:27
爬虫思路
做法1.因为是第一次接触用java写爬虫,所以去查了一些有关
java爬虫
方面的资料,对比了几个爬虫框架之后,决定先使用webmagic作为框架来使用看看。
fall_hat
·
2019-09-22 21:50
思路分享
Java爬虫
--爬取知乎图片
为了熟悉一下Java的网络编程方面的知识,就动手做了一个爬虫,很简单,主要就是根据目标网页链接获取网页源码,再提取出其中的链接。程序主要有五个类按顺序来说,Download_links.java类importjava.io.IOException;importjava.util.HashSet;importjava.util.Iterator;importjava.util.regex.Match
a123bbx
·
2019-09-10 17:57
Java爬虫
【爬虫集合】Python爬虫
一、爬虫学习教程1.https://www.jianshu.com/u/c32d557edfa32.WebMagic是一个简单灵活的
Java爬虫
框架。
沙漏哟
·
2019-08-19 17:00
java爬虫
之webMagic学习
webMagic爬虫webMagic介绍项目引入webMagicwebMagic配置PageProcessor类pipeline类保存爬取的数据参考文档webMagic介绍WebMagic是一个简单灵活的
Java
唯有遇见清
·
2019-08-16 16:23
webMagic
JAVA爬虫
之HttpClient入门演示
HttpClient分享HttpClient是ApacheJakartaCommon下的子项目,可以用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包,并且它支持HTTP协议最新的版本和建议。1.初识HttpClient使用HttpClient爬取某网站前置知识Javaj基础网络知识基础代码如下图:@TestpublicvoidhelloHttpClient()throwsExc
iMUST_Clown
·
2019-08-02 23:49
JAVA爬虫
之HttpClient入门演示
HttpClient分享HttpClient是ApacheJakartaCommon下的子项目,可以用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包,并且它支持HTTP协议最新的版本和建议。1.初识HttpClient使用HttpClient爬取某网站前置知识Javaj基础网络知识基础代码如下图:@TestpublicvoidhelloHttpClient()throwsExc
iMUST_Clown
·
2019-08-02 23:30
Java
爬虫
HttpClient
Java
爬虫
HttpClient
JAVA爬虫
爬取图片
图片爬取最近接触了下java的爬虫,文本信息爬完了,就想看看图片怎么爬,于是就研究了一下,案例爬取的是CSDN的今日推荐的图片Jsoup+HttpClients来实现爬虫所需pom依赖org.jsoupjsoup1.11.3commons-iocommons-io2.5org.apache.httpcomponentshttpclient4.5.5爬取代码,定义和思路都写在注释里面的了packag
不愿秃头的阳某
·
2019-08-02 10:23
爬虫
java爬取读者文摘杂志
java爬虫
入门实战练习此代码仅用于学习研究此次练习选择了读者文摘杂志网站进行文章爬取练习中用到的都只是一些简单的方法,不过过程中复习了输入流输出流的使用以及文件的创建写入等知识,对自己还是有所帮助的经小伙伴提醒
嚼着炫迈去追梦
·
2019-07-27 21:00
Java实现简单爬虫爬取慕课网课程
今天偶然间看到一篇关于
Java爬虫
入门的博客,想到以前就学过一点爬虫,于是乎就在博客的基础上写了一个demo,用来爬取慕课网的实战课程。
非码农
·
2019-07-24 11:47
一个简单的
java爬虫
直接上代码:packagecom.jeecg.util;importjava.io.BufferedReader;importjava.io.IOException;importjava.io.InputStream;importjava.io.InputStreamReader;importjava.io.OutputStream;importjava.net.HttpURLConnection
水狼一族
·
2019-07-09 14:00
076-Spring Boot 集成SeimiCrawlerV2 实现简单爬虫
简介SeimiCrawler是一个敏捷的,独立部署的,支持分布式的
Java爬虫
框架,希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛,以及提升开发爬虫系统的开发效率。
郭艺宾
·
2019-07-04 14:56
基于spring boot+WebMagic+MyBatis的爬虫框架
WebMagic是一个开源的
java爬虫
框架。WebMagic框架的使用并不是本文的重点,具体如何使用请参考官方文档:http://webmagic.io/docs/。
jessehua
·
2019-06-28 10:32
Java爬虫
利器HTML解析工具-Jsoup
Jsoup简介
Java爬虫
解析HTML文档的工具有:htmlparser,Jsoup。本文将会详细介绍Jsoup的使用方法,10分钟搞定
Java爬虫
HTML解析。
悠悠i
·
2019-06-21 17:00
真实
Java爬虫
学习https://www.cnblogs.com/quanxi/p/Crawler_Summary.htmljava从零到变身爬虫大神(一)https://www.cnblogs.com/
北京Java青年
·
2019-06-13 23:31
Java爬虫
实战第一篇:微博爬虫
核心:1、有大量的微博uid2、处理微博的反爬虫一、开始准备工作1、获取访问微博网页的cookie谷歌浏览器访问:https://m.weibo.cn/按F12进入调试模式复制如图所示的数据,这就是我们需要的cookie了2、cookie拿到了,接下来就是写代码模仿浏览器访问内容了/***基于HttpClient4.3的通用Get方法--微博Cookie*@paramurl提交的URL*@retu
小达哥的垃圾桶
·
2019-06-12 17:05
Java爬虫
Java爬虫
为什么我们要爬取数据在大数据时代,我们要获取更多数据,就要进行数据的挖掘、分析、筛选,比如当我们做一个项目的时候,需要大量真实的数据的时候,就需要去某些网站进行爬取,有些网站的数据爬取后保存到数据库还不能够直接使用,需要进行清洗、过滤后才能使用,我们知道有些数据是非常真贵的。分析豆瓣电影网站我们使用Chrome浏览器去访问豆瓣的网站如https://movie.douban.com/explore
代码忘烦恼
·
2019-06-11 17:29
爬虫
jsoup
java
webmagic
爬虫
WebMagic
WebMagic是一个简单灵活的
Java爬虫
框架。基于WebMagic,你可以快速开发出一个高效、易维护的爬虫。
丹青笔
·
2019-06-08 22:45
WebMagic
WebMagic是一个简单灵活的
Java爬虫
框架。基于WebMagic,你可以快速开发出一个高效、易维护的爬虫。
丹青笔
·
2019-06-08 22:45
上一页
9
10
11
12
13
14
15
16
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他