Java爬虫：Jsoup

从分析我抓取的60w知乎网民来学习如何在SSM项目中使用Echarts

去年在接触Java爬虫的时候，接触到了一个关于知乎的爬虫。个人觉得写的非常好，当时抓取的效率和成功率还是特别特别高，现在可能知乎反扒做的更好，这个开源知乎爬虫没之前抓取的那么顺利了。
Snailclimb·2018-07-24 00:00

java实现登录之后抓取数据

首先需要一个jsoup的jar包，我用的1.6.0。。下载地址为：http://pan.baidu.com/s/1mgqOuHa1，获取网页内容（核心代码，技术有限没封装）。
最是那一低头的温柔·2018-07-22 19:37

[Python爬虫] 使用 Beautiful Soup 4 快速爬取所需的网页信息

近来使用一个和之前Java爬虫特别简单好使的Jsoup框架极其类似的BeautifulSoup[Java爬
larger5·2018-07-21 23:02

一套简单的java爬虫框架VW-Crawler发布啦！！！

VW-Crawler背景自己一直对爬虫比较感兴趣，大学的毕业论文也是一个爬虫项目(爬教务处信息，然后做了个Android版教务管理系统，还获得了优秀毕业设计的称号)，自那以后遇到自己感兴趣的网站就会去抓一下。前段时间工作上需要一些JD信息，我就从网上找了个开源的爬虫框架WebMagic，使用简单，易配置，功能也很强大，当然了也有些网站的数据不适合使用。前前后后写了不下十几个，慢慢的就想是不是可以把
爆米花机枪手·2018-07-19 22:10

Java爬虫——微博热搜

工具Jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于j
nick_young·2018-07-17 20:46

基于webmagic实现爬取博客园的所有精品文章

之前有使用过Python实现一个很简单的爬虫Demo，这次由于公司使用的是Java爬虫，基于webmagic框架去实现的爬虫。
HangDie_·2018-07-17 16:15

Java: 根据网易云音乐URL下载歌曲、歌词、专辑封面和MV

先看最终效果图：前提请下载：（1）jsoup-1.11.3.jar（2）JMF2.1.1e工作原理如下：输入一个网易云音乐URL，如：http://music.163.com/#/song?
HippoSystem·2018-07-17 00:00

Java 网络爬虫基础入门

作为网络爬虫的入门教程，本达人课采用Java开发语言，内容涵盖了网络爬虫的原理以及开发逻辑，Java网络爬虫基础知识，网络抓包介绍，jsoup的介
GitChat的博客·2018-07-13 04:00

Spring Boot + JSoup 抓取京东商品信息

需求分析导入京东商品URL列表生成京东商品信息并输出到excel表思路读取excel获取URL列表访问url并获得HTML源码提取对应的商品信息字段输出到excel搭建框架创建SpringBoot工程选择依赖配置pom.xml4.0.0com.landawangoperation-web0.0.1-SNAPSHOTjaroperation-webDemoprojectforSpringBootor
黄旺鑫·2018-07-12 20:55

Android WebView加载图片显示过大的处理

下面给出解决办法：利用Jsoup解析html指定img标签的宽高属性来解决。
一只懂音乐的码虫·2018-07-12 10:06

java根据百度url获取真正的网页地址

publicstaticStringgetRealUrlFromBaiduUrl(Stringurl){Connection.Responseres=null;intitimeout=60000;try{res=Jsoup.connect
st4024589553·2018-07-09 11:00

java根据百度url获取真正的网页地址

publicstaticStringgetRealUrlFromBaiduUrl(Stringurl){Connection.Responseres=null;intitimeout=60000;try{res=Jsoup.connect
st4024589553·2018-07-09 11:00

各大主流编程语言-常用爬虫框架以及优劣分析

关注微信公众号：(DT数据技术博文)，查看更多JAVA爬虫、大数据、人工智能技术.一、前言目前市场上爬虫框架有很多，不同语言不同类型的爬虫框架都有，然而在开发预研的时候对于选择那种框架对于很多开发者来说尤为头疼
梦梦王爷·2018-07-09 11:56

httpclient请求链接返回html或者javascript并返回给浏览器

应用场景：1、前端调对方接口需要转化为后台调对方接口的方式2、后台调对方接口返回的就是页面或者js源码一般最好的解决办法是：可利用jsoup直接将页面打印到前端，废话不多说了,先上代码：1
HaleyLiu123·2018-07-08 11:08

java爬虫(jsoup)如何设置HTTP代理ip爬数据

现在爬数据越来越难，各种反爬，简单的网站没做什么反爬，就随便介绍下：1.随便找点网站弄点免费的http代理ip，去爬一下，太简单就不介绍了，目前最好用的代理ip是蘑菇代理具体说下，稍微有点爬虫技术含量的吧，怎么样伪装自己的爬虫程序，尽量避免反爬：1.请求头的user-agent参数必不可少，而且！！！！要随机，这里是大坑，我之前就是没有随机，然后爬了几天就被人反爬了，醉了，我当时还以为代理的问题，
Revalution·2018-07-05 10:20

java爬虫(jsoup)如何设置HTTP代理ip爬数据

现在爬数据越来越难，各种反爬，简单的网站没做什么反爬，就随便介绍下：1.随便找点网站弄点免费的http代理ip，去爬一下，太简单就不介绍了，目前最好用的代理ip是蘑菇代理具体说下，稍微有点爬虫技术含量的吧，怎么样伪装自己的爬虫程序，尽量避免反爬：1.请求头的user-agent参数必不可少，而且！！！！要随机，这里是大坑，我之前就是没有随机，然后爬了几天就被人反爬了，醉了，我当时还以为代理的问题，
像少年一样飞驰啦·2018-07-05 10:00

java爬虫(jsoup)如何设置http代理ip爬数据

做java好长时间了，一直没时间，也没心情写笔记。今天空下来认真写一篇，以后也坚持记录下点滴，好好学习。最近由于项目需要，转战挖掘数据的领域，说实话，一开始没接触过，所以踩的坑会比较多，不过没见过猪跑，还没吃过猪肉吗。所以也就慢慢的摸索过来了。下面有几个大坑爬数据的人应该都得经历过，所以我把自己的经验记录下，方便自己跟大家吧。现在爬数据越来越难，各种反爬，简单的网站没做什么反爬，就随便介绍下：1.
像少年一样飞驰啦·2018-07-04 15:46

Java爬虫之批量下载LibreStock图片（可输入关键词查询下载）

前言（废话）公司产品新版本刚刚上线，所以也终于得空休息一下了，有了一点时间。由于之前看到过爬虫，可以把网页上的数据通过代码自动提取出来，觉得挺有意思的，所以也想接触一下，但是网上很多爬虫很多都是基于Python写的，本人之前也学了一点Python基础，但是还没有那么熟练和自信能写出东西来。所以就想试着用Java写一个爬虫，说起马上开干！爬点什么好呢，一开始还纠结了一下，到底是文本还是音乐还是什么呢
佛系programer·2018-07-02 12:56

Spring Boot + Java爬虫 + 部署到Linux （三、Java爬虫使用代理，模拟登录，保存cookie）

很多网站对资源都有一定的限制。如果不登录，不是网站的登录用户（会员）访问的话，一些资源会访问不到。这对我们爬虫是十分不利的。而绝大多数网站都是通过登录之后，向浏览器设置cookie，达到验证的功能。由于目标网站很多有时候可能会被q，而无法一般的访问。所以我们要使用代理解决障碍。这里呢，我推荐ss，既好用又便宜。手机、电脑均有客户端可以使用。方法原理也比较简单，首先需要租一台便宜的国外服务器，然后远
gg_yangliyang·2018-06-30 15:52

JAVA爬虫多线程高速爬取高清电脑壁纸

笔者特别喜欢将一大堆高清的图片作为Windows的壁纸幻灯片放映。就像下图一样。以前各大高清壁纸网站上找自己喜欢的风景壁纸，一张一张的下载，用了好几年，终于审美疲劳了。所以打算换一下资源。然后瞄准了这个网站（ZOL壁纸）。里面的壁纸还是不错的。实在没精力像年少的时候一张一张的挑一张一张的下载了。就干脆写个小爬虫批量抓取吧。额，第一步该干嘛？先简单分析一下网页当选择我点击分辨率1280*800的后，
XiangYida·2018-06-29 23:54

工业和信息化部-备案信息查询-信息爬取

此处根据主办单位名称查询查询参数如下图所示：表单参数：页面展示信息：Java程序模拟手动输入验证码的情况下，爬取数据：importcom.alibaba.fastjson.JSONObject;importorg.jsoup.Co
frank12-12·2018-06-29 17:12

Spring Boot + Java爬虫 + 部署到Linux （二、Java爬虫）

这个小项目的主要（唯一）的业务就是一个爬虫。这个爬虫的功能就是爬取一个图片网站的图片。爬虫相对是独立的，如果只想做一个简单的爬虫，也可以参考。做爬虫之前，先分析一下要爬的网站的结构。不要一上来就乱爬。由于爬虫的单位最大是一个图集（imageset），所以爬虫的入口就设置为图集的地址。如果需要爬取更大的范围，爬图集也可以作为基础的子程序。一般图集的首地址，会展示一些图集的基本信息，如标题、长度、各个
gg_yangliyang·2018-06-27 19:29

Spring Boot + Java爬虫 + 部署到Linux （一、环境配置，新建一个Spring Boot项目）

如果是只想了解Java爬虫也是可以的，爬虫是相对独立的一部分。当初这个爬虫是我用python写过一次，
gg_yangliyang·2018-06-25 20:00

java爬虫+正则

最近在写java爬虫用到正则故来复习下。
任嘉平生愿·2018-06-22 10:41

NowView——站酷、MONO、知乎等图文精选App

NowView4.1GitHubJsoup+MaterialViewPager+RxJava2+Retrofit+Lifecycle+Realm+Fresco+Retrolambda一款Android图文精选
DreamWinter·2018-06-19 03:20

基于HttpClient的正方教务系统模拟登录(带验证码)

【注：原文链接csdn-java爬虫】PS:恩，由于最近在学web和简单的http协议，所以心血来潮想用java写个爬虫来爬取学校官网(正方教务系统)个人主页的基础信息(课程信息、成绩……)，其实在之前学过
风雨_寒·2018-06-17 23:20

POI实现html和word的相互转换（带图片）

一.添加maven依赖主要使用了以下和poi相关的依赖，为了便于获取html的图片元素，还使用了jsoup：org.apache.poipoi3.14org.apache.poi
盛夏流年1993·2018-06-16 13:10

基于HttpClient的正方教务系统模拟登录(带验证码)

写在前面：其实写java爬虫的话，一般使用三种方法：自带库类(urlconnection)，外库(httpclient)和文
*迷途不知返的野指针·2018-06-14 21:58

Java分布式爬虫seimicrawler

最近在扒一些数据，原本使用jsoup，但是发觉这个框架爬取的效率不高，用起来也不是很方便，了解了一些爬虫框架之后，决定使用SeimiCrawler来爬取数据。
softwindy_brother·2018-06-14 10:23

【日常问题】jsoup爬虫代理报错java.net.UnknownHostException

问题：java.net.UnknownHostException:www.cnblogs.comatjava.net.PlainSocketImpl.connect(PlainSocketImpl.java:195)atjava.net.SocksSocketImpl.connect(SocksSocketImpl.java:366)atjava.net.Socket.connect(Socket
Java_BlackHumour·2018-06-11 10:45

Java网络爬虫实操（10）

本篇文章结合Java爬虫框架NetDiscovery使用selenium技术实现自动化获取前三个商品的信息。1)逻辑流程程序打开JD的商品搜索页面自动输入商品关键字自动点击查询按钮自动点击销量
cpongo2·2018-06-10 14:45

【日常问题】jsoup设置代理报错

问题：使用jsoup爬虫设置代理报错。解决：端口原来为int类型，改为String类型即可。
Java_BlackHumour·2018-06-08 18:16

Java爬虫实践：Jsoup+HttpUnit爬取今日头条、网易、搜狐、凤凰新闻

0x0背景最近学习爬虫，分析了几种主流的爬虫框架，决定使用最原始的两大框架进行练手：Jsoup&HttpUnit其中jsoup可以获取静态页面，并解析页面标签，最主要的是，可以采用类似于jquery的语法获取想要的标签元素
小小Tiny·2018-06-08 10:34

一篇关于java爬虫实现的技术分享

最近由于工作的需要，独自开始研究爬虫爬取互联网数据；经过两周左右的探究，踩过许多坑，也学习到了许多以往不知道的知识。一直都在做伸手党，很是惭愧_(:_」∠)_感觉都要脸红了☺，在这里总结一下经验，顺便分享给大家，希望可以帮助到有需要的朋友。爬虫技术不是很成熟，如果能有大佬能够不吝赐教那就更好啦~在网上找了许多资料，爬虫工具大多是用python实现的；因为本身是学java出身，虽说python比ja
0果子分你一半·2018-06-06 17:17

java爬虫 httpclient htmlunit selenium 比较

简单介绍。1httpclienthttpclient是HttpClient是ApacheJakartaCommon下的子项目，支持常用的各种协议，相对比较底层，很多java项目的互联网编程都是依赖于该包。2htmlunit相当与一个没有ui的浏览器，本身就是对httpclient进行封装。3selenium这个最早是基于firfox的自动化测试软件，现在也支持其他的浏览器，比如ie，chrome等
dhyana-c·2018-06-05 20:39

JSOUP 教程—— Java爬虫，简易入门，秒杀htmlparser

转载自JSOUP教程——Java爬虫，简易入门，秒杀htmlparser关于爬虫，之前一直用做第一个站的时候，记得那时候写的爬虫是爬sina的数据，用的就是htmlparser可能是由于好奇和满足我当时的需求
茅坤宝骏氹·2018-06-04 09:14

java爬虫WebMagic框架爬取图片

一.该爬虫用了WebMagic爬虫框架实现1.WebMagic开发文档:http://webmagic.io/2.在使用之前，您需要了解正则表达式和XPath，大神请忽略二.下面是实现代码和分析2.1添加maven依赖不知道maven的童鞋请参考https://my.oschina.net/huangyong/blog/194583junitjunit4.11testus.codecraftweb
Mr丶sirius·2018-06-02 20:23

美团外卖商家数据采集爬虫文章解析-失败案例

一开始直接选择的是美团的网页版，随便选择一个地方，进入外卖的商家列表这个时候，我是直接开始写JAVA的Jsoup代码的，将所有的请求header以及所请求的参数全部放到代码当中进行请求，结果只是返回了一个
fhg12225·2018-06-02 17:09

Java爬虫之利用Jsoup自制简单的搜索引擎

  Jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
山阴少年·2018-06-01 14:35

深入浅出爬虫(Java福利版)

福利在手，说走就走；关键技术点生产消费者模式的应用；线程池的应用；网页解析技术(Jsoup)的应用；Selenium的应用；乐观锁的简单实现；单例模式的应用；防反爬技术的应用；自定义应用池的实现；Java
GZ-MK·2018-05-25 17:48

java使用jsoup爬虫入门

一、maven项目里pom添加jsoup依赖    org.jsoup    jsoup    1.9.2二、以csdn网址为例，获取页面，使用dom获取内容，写入本地publicclassJsoupDemo
Z丶royAl·2018-05-25 11:22

（第一个java爬虫）java爬取网页文本并抽取中英文关键词

然后导入jsoup包，用来爬取网页，再到这个网址http://hanlp.linrunsoft.com/services.html下载并按步骤导入HanLP的包，用来抽取关键词项目文件架构源代码及说明1
ccnuacmhdu·2018-05-24 18:51

运用java爬虫和python做词云图

前言：最近有点时间，就写个东西玩玩，就是分析电影评论做成词云图。这次没有采用python去爬取电影评论，而是采用了java中的多线程和线程池去爬取电影评论，但是用评论做词云图使用python写的。如果不喜欢用java做爬虫的朋友，也可以换成用python语言写，过程不是很重要，看自己喜好。环境：windows10jdk1.7python3.5成果：作品链接：请大家随手star下不甚感激java多线
vicoqi·2018-05-24 12:01

JAVA爬虫学习jsoup

首先添加maven依赖org.jsoupjsoup1.10.3核心代码DocumentobjectDoc=Jsoup.connect("http://www.xxx.cn/20170725-n3-20170725160315487779
悠悠-我心·2018-05-23 11:40

使用java实现一个简单的抓取安居客租房信息的爬虫

首先我是用的是Jsoup来分析html网页，从中获得我们所需要的数据。在得到这些数据之后，再将这些数据导入到我们本地的excel表格中，这里我使用了网上的一个开源工具包xxl-excel很好用。
gottawangzi·2018-05-22 23:38

在Java代码中解析html,获取其中的值方法

有时我们获取到了页面需要在Java代码中进行解析,获取html中的数据,Jsoup是一个很方便的工具。一、什么是Jsoup？
zhanglei500038·2018-05-21 14:32

使用jsoup解析html的table中的文本信息实例

jsoup是一个非常好用的html解析工具。使用时需要下载相应的jar包。下面就是我使用jsoup解析html的表格的java源代码。亲测可用！
chenkangyong·2018-05-21 14:35

Xpath、Jsoup、Xsoup(我的Java爬虫之二)

从Xpath说起什么是XpathXPath是W3C的一个标准。它最主要的目的是为了在XML1.0或XML1.1文档节点树中定位节点所设计。XPath是一种表达式语言，它的返回值可能是节点，节点集合，原子值，以及节点和原子值的混合等。语法选取结点表达式描述/从根节点选取//从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。.选取当前结点..选取当前节点的父结点@选取属性实例路径表达式结果bo
菟潞寺沙弥·2018-05-21 00:00

Python使用selenium进行爬虫（一）

JAVA爬虫框架很多，类似JSOUP，WEBLOGIC之类的爬虫框架都十分好用，个人认为爬虫的大致思路就是：1、挑选需求爬的URL地址，将其放入需求网络爬虫的队列，也可以把爬到的符合一定需求的地址放入这个队列中
0世界和平0·2018-05-18 10:14

java解析富文本处理Img标签

1）后台上传的时候用的是相对路径，前端显示需要的是最对路径用一个工具类即可(需要用到jsoup)(下载地址:https://jsoup.org/download)在pom引入:  org.jsoup jsoup
浪客哈撒·2018-05-16 14:40
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他