JSoup

Jsoup发送get和post请求

jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
after_you·2020-08-23 15:39

基于http协议的批量教务系统图片爬取

批量的爬取学校教务管理系统上的个人登记照，在断断续续的摸索几天的java爬虫后，本来是想着利用httpclient+jsoup框架来一方面的用httpclient模拟用户
Rong姐姐好可爱·2020-08-23 15:53

org.jsoup.HttpStatusException:HTTP error fetching URL. Status=500, URL=******************

错误：使用jsoup爬去数据时，报错org.jsoup.HttpStatusException:HTTPerrorfetchingURL.Status=500,URL=*****************
文颖·2020-08-23 15:20

httpclient/jsoup模拟登陆人人网

HttpClient(DefaultHttpClient)代表了一个会话，在同一个会话中，HttpClient对cookie自动进行管理(当然，也可以在程序中进行控制)。在同一个会话中，当使用post或是get发起一个新的请求时，一般需要对调用前一个会话的abort()方法，否则会抛出异常。有些网站登录成功后会重定向(302,303)，比如这里的人人网。如果发出的是post请求，需要从响应头中取出
zbqyexingkong·2020-08-23 15:18

记录报错：Jsoup爬虫 [Torg.jsoup.HttpStatusException: HTTP error fetching URL. Status=500,,URL=http://xxx

控制台信息如下：org.jsoup.HttpStatusException:HTTPerrorfetchingURL.Status=500,URL=“http://XXXXXX/xxxxx/xxxxxxx
薛定谔的猹e丶·2020-08-23 14:43

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=544, URL=

使用jsoup爬取信息时，发生如下错误：org.jsoup.HttpStatusException:HTTPerrorfetchingURL.Status=544,URL=https://……atorg.jsoup.helper.HttpConnection
秦时明月之君临天下·2020-08-23 14:10

使用 org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403 无法获取页面错误. 为什么高手赐教!

为什么Stringurl="https://pixabay.com/videos/";//通过解析xml文本//Connectionconn=Jsoup.connect(url).timeout(5000
Foxmaner·2020-08-23 14:38

利用jsoup进行模拟登录

因为工作的原因，近段时间开始接触jsoup。大概也弄清了用java来爬网页是怎样一个过程。特此，写篇日志以便他日方便查看。Jsoup是一个java平台的能够对xml文档结构的文档进行解析。
weixin_38168760·2020-08-23 14:05

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403

爬取网站的时候conn=Jsoup.connect(url).timeout(5000).get();直接用get方法，有些网站可以正常爬取。
weixin_33724570·2020-08-23 14:48

Jsoup实现java模拟登陆

Jsoup实现java模拟登陆1：如何获取cookies。1.1:由于需要登录，故先模拟登陆时的那一个，这里用map来装载变量名称，变量值。
weixin_30679823·2020-08-23 14:43

利用jsoup爬页面的自动答题系统

blog/1917574这个比较麻烦，针对网站利用其证书http://stackoverflow.com/questions/7744075/how-to-connect-via-https-using-jsoup
weixin_30553777·2020-08-23 14:42

Android模拟登陆综合教务系统客户端(java)-jsoup解析数据

现如今，基本的app都需要接入网络,下面介绍如何模拟登陆学校的教务系统获得里面的内容。有Http基础的朋友都知道，我们是通过Get与Post请求与服务器进行交互的，Get顾名思义就是获取信息，Post就是想服务器发请求，但是Post也可以用来获取信息并且比Get有很多优势，我们这里就是使用的Post。Java中有很多方式与服务器进行连接，常见的有HttpUrlCollection，HttpClie
th是个小屁孩·2020-08-23 14:04

Jsoup 模拟登陆

楔子之前用JSOUP模拟登陆签到获取积分(只需要用户密码即可登陆的情况)。好奇Jsoup模拟浏览器访问，他是如何保持连接状态的。
千里草竹·2020-08-23 14:59

模拟登陆CSDN——就是这么简单

工具介绍本篇文章主要是讲解如何模拟登陆CSDN，使用的工具是HttpClient+Jsoup其中HttpClient主要是负责发送请求，而Jsoup主要是解析HTML你可能对HttpClient的API
百里马·2020-08-23 14:27

HttpURLConnection 和HttpClient+Jsoup处理标签抓取页面和模拟登录

HttpURLConnection抓取packagecom.app.html;importjava.io.BufferedReader;importjava.io.BufferedWriter;importjava.io.FileNotFoundException;importjava.io.FileOutputStream;importjava.io.IOException;importjava
stone-liu·2020-08-23 14:23

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403 爬取网站出现403错误

爬取网站的时候conn=Jsoup.connect(url).timeout(5000).get();直接用get方法，有些网站可以正常爬取。
早退的程序员·2020-08-23 14:34

jsoup模拟登陆合肥工业大学信息门户

jsoup模拟登陆合肥工业大学信息门户一、login.portal文件二、userPasswordValidate.portal文件三、index.portal文件四、代码网站：合肥工业大学信息门户登录界面打开
xfdelovely·2020-08-23 14:49

HttpClient+Jsoup模拟登陆,解析HTML,信息筛选（广工图书馆）

最近在做一个校园综合Android客户端，主要是想把学校各类网站信息进行整合，放在一个平台上，供学校学生阅览。思路如下：拿广东工业大学图书馆网站作为一个例子实现目标：用个人账号登陆图书馆并获取到个人借阅情况。登陆地址http://222.200.98.171:81/login.aspx这里会用到Chrome的开发者工具（浏览器按F12可以开启）打开登陆界面的源码,下面是源码中的form标签Html
mypanlong·2020-08-23 14:00

Jsoup 爬虫模拟CSDN用户登录

需要模拟登录的页面核心源码：代码：packagecom.test;importjava.io.BufferedWriter;importjava.io.FileOutputStream;importjava.io.IOException;importjava.io.OutputStreamWriter;importjava.util.HashMap;importjava.util.List;imp
潇潇雨歇_·2020-08-23 14:21

httpclient+jsoup模拟登陆网页

httpclient+jsoup模拟登陆网页；写一个模板；因为要抓取网页中的内容所以需要附送地址：http://120.26.62.139:8888/Login.aspx；公司代码为zdh，用户名：test123
leyu5385·2020-08-23 14:17

Jsoup登录解析网页信息

今天解析网页的时候，遇到必须登录后才能够访问的问题，在网上搜索了一些资料，反正有人做出来了，不过是使用HttpClient+Jsoup来实现的，我不清楚他们使用什么版本的Jsoup，地址：HttpClient
jwzhangjie·2020-08-23 14:44

JSOUP org.jsoup.HttpStatusException HTTP error fetching URL. Status=403, URL=

org.jsoup.HttpStatusException:HTTPerrorfetchingURL.Status=403,URL=http://xxxx.com/xxx/xxx/xxx.html设置下
iteye_16572·2020-08-23 14:40

Java下HttpUnit和Jsoup的Http抓取

简单记录下：搜集信息-分析问题-解决问题关于html文档的操作现成库有：HttpUnit很老了，不更了http://www.httpunit.org/20May2008HttpUnit1.7releasedJsoup
dhe8356·2020-08-23 14:28

HttpClient + Jsoup模拟登录教务处并获取课表

1、概述最近想做一个校园助手类的APP，由于第一次做，所以打算先把每个功能单独实现，防止乱了阵脚。利用教务处登录获取课表和成绩等是一个基本功能，所以以获取课表为例实现了这个功能。完整代码点这里，尝试了好几次的，所以写的比较乱。2、涉及的关键知识首先，明确获取课表的流程：其实，获取课表就是让手机模拟浏览器，给服务器传去账号、密码，然后服务器会返回cookies（不懂自行百度），利用cookie就可以
diancha6978·2020-08-23 14:28

HttpClient + Jsoup 模拟登陆,解析HTML,信息筛选（广工图书馆）

HttpClient+Jsoup模拟登陆,解析HTML获取信息最近在做一个校园综合Android客户端，主要是想把学校各类网站信息进行整合，放在一个平台上，供学校学生阅览。
chenchuangfeng·2020-08-23 14:22

Jsoup 发送post请求 org.jsoup.HttpStatusException: HTTP error fetching URL. Status=404, URL=https:

在使用Jsoup发从post请求的时候，需要携带很多参数！
IT_小斯·2020-08-23 14:18

Jsoup模拟登陆例子

Java代码packagecom.jsouplogin;importjava.util.HashMap;importjava.util.List;importjava.util.Map;importorg.jsoup.Connection
action5362603·2020-08-23 14:45

Android webview实现图文混排

啥不说，先上图AndroidStudio添加依赖：compile'org.jsoup:jsoup:1.11.3'importandroid.content.Intent;importandroid.net.Uri
u013133387·2020-08-23 12:10

获取cookie后将cookie放在下一次请求

获取cookie后将cookie放在下一次请求代码如下importjava.io.IOException;importjava.util.Map;importorg.jsoup.Connection;importorg.jsoup.Connection.Method
_Libbytian·2020-08-23 11:28

java爬虫问题二: 使用jsoup爬取数据class选择器中空格多选择怎么解决

问题描述：在使用jsoup爬取其他网站数据的时候，发现class是带空格的多选择，如果直接使用doc.getElementsByClass(“class的值”),这种方法获取不到想要的数据。
微信公众号_凯哥java·2020-08-23 11:01

Jsoup GET POST爬取数据

1依赖org.jsoupjsoup1.13.12Get请求2.1HTMLimportorg.jsoup.Connection;importorg.jsoup.Jsoup;importorg.jsoup.nodes.Document
PkyShare·2020-08-23 11:57

jsoup菜鸟练习

Jsoup学习文档1maven依赖org.jsoupjsoup1.11.22api地址http://www.open-open.com/jsoup/3实际操作demo实例解析内涵段子文章http://neihanshequ.com
java可爱小菜鸡·2020-08-23 11:22

java html解析包之jsoup

再找时就发现了jsoup，看了一下文档，和python的beautifulsoup包的使用方法比较接近，使用比htmlparser更简单。该软件包使用MIT协议，可免费用于任何用途。
cwll2009·2020-08-23 10:46

免費的Google翻譯API

由於GoogletranslateAPI要收錢因此想了一個偷機的方法1.用HttpClient發送一個request給http://translate.google.com2.再用Jsoup來parsehtml
georgelife7·2020-08-23 09:53

Jsoup下载抖音文件限制1M的问题解决

1.最近有个朋友找我需要下载抖音文件,我研究了下,首先想到用的是用jsoup这个组件进行下载。2.项目中一般都是用maven开发的,首先要引入jsoup的gav，还用到了commons-io组件。
程序江湖_zpl·2020-08-23 09:32

从网页抓取的div转化成html再转换为pdf

;importjava.io.File;importjava.io.IOException;importjava.util.HashMap;importjava.util.Map;importorg.jsoup.Conn
LEO_CAT·2020-08-23 08:48

jsoup中选择器select()的使用（jquery,css选择器风格）

没用过Jquery和css的选择器，所以看了Jsoup的介绍后还是不会用select选择器，然后去看了下Jquery选择器的使用，才发觉jsoup真心强大，所以做个简单记录。
nizaina_0·2020-08-23 06:58

Java实现模拟登录正方教务抓取成绩、课表、空教室信息

我们可以借助工具如IE插件HttpWatch、浏览器自带的开发者工具抓包分析请求过程，通过HttpClient来模拟浏览器请求，Jsoup解析网页内容，这里还要注意Cookie和Referer的使用。
chenlin4410·2020-08-23 05:25

建立https链接的SLL验证证书失效问题

使用jsoup爬取解析网页时，出现了如下的异常情况。
ThanksCreek·2020-08-23 05:10

使用selenium抓取JS动态生成的页面

在抓取网页数据时，传统jsoup方案只能对静态页面有效，而有些网页数据往往是js生成的，所以这时候需要其它的方案。
ThanksCreek·2020-08-23 04:05

Java爬虫: Java爬虫可能用得到的一些工具

用到的一些Maven依赖：org.jsoupjsoup1.10.2org.mybatismybatis3.4.1mysqlmysql-connector-java5.1.38com.alibabafastjson1.2.7Java
李先森LeeCode·2020-08-23 03:13

Java爬取网易云音乐歌手所有专辑信息

根据歌手Id爬取对应歌手所有专辑信息以及专辑Id部分模拟歌手Id（这个积分我想免费但是调整不了sorry）下一篇，Java爬取网易云音乐歌手对应专辑所有歌曲信息以及歌曲Id提取packagecom.ssm.jsoup.music
Miofly·2020-08-22 23:05

解析soap Xml

"+""+"CH0000"+"查询成功"+"1"+"1"+"2"+"20170822"+"055606"+"借记卡1"+"20170823"+"055616"+"借记卡2"+""+""+"";org.jsoup.nodes.Documentdoc
txtsteve·2020-08-22 22:20

java爬虫问题二: 使用jsoup爬取数据class选择器中空格多选择怎么解决

2019独角兽企业重金招聘Python工程师标准>>>问题描述：在使用jsoup爬取其他网站数据的时候，发现class是带空格的多选择，如果直接使用doc.getElementsByClass(“class
weixin_34375233·2020-08-22 19:04

java爬虫：JSOUP

转载自：http://xiaolongonly.cn/2016/05/06/Reptile1/爬虫教程第一篇，认识强大的java包JSOUP。
bd2star·2020-08-22 15:02

【使用JSOUP实现网络爬虫】使用DOM方法来遍历一个文档

Fileinput=newFile("/tmp/input.html");Documentdoc=Jsoup.parse(input,"UTF-8","http://example.co
OkidoGreen·2020-08-22 15:29

云顶之奕S2上线了，用爬虫分析云顶之奕两个赛季都未曾登场的牌

新建maven项目，导入jsoup与httpclient与jackson等依赖。
upZzh·2020-08-22 14:05

Java爬虫：用jsoup解析网页

Jsoup的官网：https://jsoup.org/主要功能：1.从一个URL，文件或字符串中解析HTML；2.使用DOM或CSS选择器来查找、取出数据；3.可操作HTML元素、属性、文本；两种方法解析
wangqianqianya·2020-08-22 14:28

java爬虫之Jsoup，方法和使用知识汇总

jsoup就是一个html解析器，从中获取到你想要的数据我用是maven项目下面是依赖org.jsoupjsoup1.9.2下面是代码，我爬取的是一个html网站的素材基本信息，我写的只能爬取静态网页数据
五只小狗·2020-08-22 13:40

Java爬虫之JSoup使用教程

title:Java爬虫之JSoup使用教程date:2018-12-248:00:00+0800update:2018-12-248:00:00+0800author:mecover:https://
suveng·2020-08-22 13:08
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他