Jsoup

jacob调用office实现word文件转pdf文件的过程（完美格式和图片、兼容docx）

一开始我是想用poi把word转成html（原项目就导有poi的包，各种excel,word操作），然后用jsoup解析一下（原项目就用到jsoup包），再用Itext转成pdf（jar包都下载好了==
weilikk·2018-10-26 13:00

jsoup+htmlUnit可以实现抓取执行过js的html页面

1：背景本来想用jsoup去抓取一个页面但是抓取的数据总是不全，然后发现有的数据是页面执行过js之后渲染到页面上的，也就是说只有执行过js之后数据页面上才会显示数据，但是jsoup并不能实现执行页面的js
曾将·2018-10-26 09:00

Java 爬取国家统计局统计用区划代码和城乡划分代码

用的SpringBoot2、MyBatisPlus（Jdbc都行，随便你）、Junit5、okhttp、jsoup、dozer（你可以手动赋值，没几个属性）。总共70W+条数据。
欲穷三千界·2018-10-25 13:04

java爬虫程序卡死的问题

我开发了一个爬虫程序使用的是httpclient4.3.5+jsoup1.7.2，发现在爬取数据的时候有的时候会卡住，发现每次都是执行到response=httpClient.execute(httpGet
TheManOfCoding·2018-10-19 14:25

爬虫小计（charles抓取wss数据--yy数据爬取）

与热门直播的礼物情况（粉丝的人物画像）难点打赏礼物的人物画像httpswss（数据的实时性），需要模拟匿名用户的访问，某直播网站的wss数据又是二进制数据头大的js代码，无限多，无限长分析一般普通数据用javajsoup
hassen2010·2018-10-14 17:44

爬虫---爬网站图片

1.先添加依赖org.jsoupjsoup1.11.32.写如下代码packagecom.stylefeng.guns.common.utils;importcom.auth0.jwt.internal.org.apache.commons.lang3
蛋皮皮652·2018-10-08 17:33

使用Jsoup技术获取`阿里拍卖`中法院拍卖的所有拍卖品

文章目录前言最终效果效果演示爬取所有记录根据条件爬取项目仓库项目前准备技术选型开发工具用到的jar包爬取所有数据页面分析第一步：获取所有省份列表代码实现进入主页解析页面获得所有省的文档模型循环，获取各省的信息获得市列表获得总页数和翻页时的路径规则进入拍卖品列表页并取出值解析`json`数据获得详情路径，并提取数据持久化数据库定义POJO构造数据库操作工厂类执行插入根据搜索条件爬取数据分析从EXCE
安澜公子·2018-10-05 12:10

[Jsoup] 使用HtmlUnit + Jsoup解析js动态生成的网页

[email protected]本文地址：http://blog.csdn.net/dietime1943/article/details/79035779转载请注明来源/作者在使用Jsoup
Yeung先森·2018-09-30 19:31

[Jsoup] 使用HtmlUnit + Jsoup解析js动态生成的网页

[email protected]本文地址：http://blog.csdn.net/dietime1943/article/details/79035779转载请注明来源/作者在使用Jsoup
Yeung先森·2018-09-30 19:31

Java：java爬虫获取动态网页的数据

前段时间一直在研究爬虫，抓取网络上的特定的数据，如果只是静态网页就是再简单不过了，直接使用Jsoup：Documentdoc=Jsoup.connect(url).timeout(2000).get()
Yeung先森·2018-09-30 19:43

jsoup+Java多线程爬虫-Lv1.0

刚刚接触爬虫这个领域，使用Java+jsoup写了一个简单的网络爬虫。就是直接从网站上爬取文本信息，原理也没有那么复杂。
我喜欢煎蛋卷·2018-09-28 11:24

一款小巧灵活的Java多线程爬虫框架（AiPa）

AiPa依赖当下最简单的HTML解析器Jsoup。AiPa只需要使用者提供网址集合，即可在多线程下自动爬取，并对一些异常进行处理。
薛勤·2018-09-27 17:00

什么是UserAgent？

叁念一、UserAgent介绍在使用jsoup制作爬虫时，有时候发现同样一个地址，如果设置UserAgent与不设置两者返回的结果是不一样的，例如以下几个实战场景：不同的浏览器访问同一个网址展现的内容有差异
一条会码代码的闲鱼·2018-09-23 13:32

Java爬取京东商品数据

本文爬取的数据为京东手机信息准备工作导入爬取数据需要的依赖包编写httpClient工具类编写pojo类编写daoorg.apache.httpcomponentshttpclient4.5.4org.jsoupjsoup1.10.3mysqlmysql-connector-java5.1
QuietHRH·2018-09-21 22:26

简单地学习Java爬虫->使用Jsoup

文章目录简单地学习Java爬虫->使用Jsoup一、gradle环境搭建二、Activity简单地学习Java爬虫->使用Jsoup一、gradle环境搭建学习参考资料：Jsoup文档implementation'org.jsoup
七子笑·2018-09-21 00:00

Android网络爬虫

然后用了一个listview展示出来，实现了刷新，加载更多，还有点击事件打开嗅事百科按f12查看源码我对网页了解也不是太多，在网上查了一些资料，然后就开始上手了，对于网址的处理可以使用开源库，我使用了Jsoup
PdKingLiu·2018-09-18 20:16

Android网络爬虫

然后用了一个listview展示出来，实现了刷新，加载更多，还有点击事件打开嗅事百科按f12查看源码我对网页了解也不是太多，在网上查了一些资料，然后就开始上手了，对于网址的处理可以使用开源库，我使用了Jsoup
PdKingLiu·2018-09-18 20:16

jsoup

jsoup解释，见百度百科。jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。
Java and python·2018-09-18 13:23

java京东商品信息爬取

在京东首页输入手机,我们能看到很多手机商品信息,接下来用java实现100页商品信息的爬取并录入到数据库使用到的技术:HttpClient,Jsoup,多线程,阻塞队列1.创建数据库,创建手机信息表DROPTABLEIFEXISTS
崇尚至简·2018-09-18 13:10

使用Jsoup刷CSDN刷博客浏览量

最近公司在搞一些抓新闻的东西，使用了Jsoup，加上本人刚开始写CSDN博客，想来测试一下，使用Jsoup是否可以通过打开CSDN的链接来增加浏览量，答案是可行的！
闲来也无事·2018-09-16 15:00

Java简单实现爬虫技术，抓取整个网站所有链接+图片+文件（思路+代码）

亲测小点的网站还是能随随便便爬完的，由于是单线程所以速度嘛~~你懂的（多线程没学好，后期再慢慢加上多线程吧）先上几张效果图需要用到的知识点网络请求（至于用哪个嘛，看个人喜好，文章用的是okhttp）File文件读写Jsoup
java_yuan12138·2018-09-08 15:08

java 爬取中国所有的大学

String[]args){try{String[]array=newString[100];String[]place=newString[100];inti=0;Documentdoc=(Document)Jsoup.connect
weixin_30610755·2018-09-06 22:00

XML与Jsoup

1.XML概述1.1XML的概念HTML：HyperTextMarkupLanguage超文本标记语言，由各种标签组成。XML：eXtensibleMarkupLanguage可扩展标记语言名词解释：可拓展：标签名可以自定义。标记语言：这门语言完全由标签构成的。1.2XML的作用描述数据之间的关系。用于不同系统之间的数据传输1.3XML与HTML的主要差异区别HTMLXML功能制作网页，主要用于表
KeepStruggling·2018-09-06 10:07

五种实现网络爬虫的方法（三，基于httpclient编写爬虫）

咕咕咕~总所周知httpclient是java爬虫的利器，一般我个人开发，都是用httpclient来编写抓取登陆代理等，用jsoup，xpath，正则来处理解析。废话不多说直接上代码。
AaronLin_·2018-09-02 20:20

Java 爬虫实战二之获取CSDN博主排名

2.代码CsdnHtml类importorg.jsoup.nodes.Document;importorg.jsoup.nodes.Element;importorg.jsoup.select.Elements
LittleLawson·2018-09-01 22:06

JAVA个人常用JAR（持续更新）

网页解析工具：jsoup[maven]网页访问工具：httpclient[maven]JSON处理工具：fastjson[maven]---jackson[maven]FTP服务器：ftpserver[
eoser·2018-09-01 10:52

Android 使用Jsoup解析HTML实现快速爬虫抓包

jsoupCookbook(中文版)注意：div的class名称有空格的话，是解析不到的，比如：还有一种情况，就是页面需要点击按钮添加数据，简单的说，通过点击调用JS来加载数据，那么这部分数据也不好抓取
小红妹·2018-08-31 23:19

Java关于爬虫工程师（初级）应该会的技术与知识

JavaJavaScriptwebhttp、抓包MySQL/Oracle；MongoDBLinux/Dosshell/py脚本xpath/Jsoup/正则/数据处理相关的其他辅助类httpClient/
青笙·2018-08-28 11:31

爬虫获取ajax请求数据

要抓取的xhr信息如下：这个界面谷歌浏览器F12就能出现，点开能找到我们想要的请求URL和其他的一些信息代码上我用java的Jsoup实现：Mapheaders=n
freezeriver·2018-08-27 23:29

java简单网络爬虫

PGTID=0d3090a7-0015-63c6-e921-e0d02c8e6792&ClickID=2我们想要的信息无非是：租房的户型，大小，详细地址，以及价格等（如下图）关于解析html我用的jsoup
zhao_xinhu·2018-08-27 18:11

Java爬取中国高校的信息，实现高效下拉选

就去网上搜索一下相关信息，总结了一下，还是把这些信息控制在自己的手里比较好，就尝试用Jsoup去爬取中国高校信息。
乐闻x·2018-08-24 17:56

Jsoup,（安卓）强大的爬虫解析工具！

介绍Jsoup是一个用来处理html文本的java库。它提供了非常方便的API，可以通过dom,css或者类似jquery的方法来提取和操作数据。嗯，所以他到底是干嘛的呢？
第四风111·2018-08-21 20:58

Jsoup实现模拟登陆

之前写爬虫都是用的python，公司电脑上没有python环境，没办法，只好学习了一下java版，于是发现了一个很好用的工具Jsoup，个人感觉用法上和python的beautifulsoup有些相似。
freezeriver·2018-08-18 11:08

Jsoup官方文档

Jsoup官方文档中文版解析和遍历一个HTML文档一个文档的对象模型文档由多个Elements和TextNodes组成(以及其它辅助nodes：详细可查看：nodespackagetree).其继承结构如下
大灰狼zz·2018-08-18 11:48

网络爬虫详细设计方案

目录网络爬虫设计方案1、网络爬虫简介2、Java爬虫的开发和使用流程2.1下载2.2分析3、单点登陆与Jsoup解析3.1单点登陆简介3.1.1登陆3.1.2注销3.2Jsoup网页解析4、网络爬虫详细设计
虚怀若谷a·2018-08-17 15:34

Webmagic爬虫案例简介

WebMagic的设计参考了业界最优秀的爬虫Scrapy，而实现则应用了HttpClient、Jsoup等Java世界最成熟的工具，目标就是做一个Java语言Web爬虫的教科书般的实现。
wu_amber·2018-08-15 22:43

jsoup+蚂蚁代理/阿布云代理

阅读更多finalstaticStringappkey="xxxxx";//蚂蚁代理keyfinalstaticStringsecret="xxxxxxxxxxxx";//蚂蚁代理密码//设置IP切换头finalstaticStringProxyHeadKey="Proxy-Switch-Ip";finalstaticStringProxyHeadVal="yes";//代理服务器finalsta
heioo·2018-08-14 15:00

Java字符串乱码转byte[]数组判断编码类型的方法

是这样的，在使用jsoup做爬虫的时候，抓取到的网页二进制编码不确定，有的是utf-8有的是GBK，所以就需要进行编码判断使用工具：juniversalchardetmaven包：com.googlecode.juniversalchardetjuniversalchardet1.0.3
聚繁大BUG·2018-08-13 12:01

Android使用OkHttp进行重定向拦截处理的方法

这里的处理重定向的意思是：把重定向请求拦截下来，然后我们自己去请求重定向后的网页，然后通过Jsoup解析自己需要的网页数据。比如说我们模拟用户登录，然后自己去请求解析登陆后跳转的网页的内容。
Sanisy·2018-08-13 10:35

jsoup教程

jsoup是一款Java的HTML解析器，主要用来对HTML解析。
数据萌新·2018-08-09 11:49

使用Jsoup模拟登陆并爬取网站

Mapmap=newHashMap<>();Documentdocument=Jsoup.connect(url).data(map).post();Elementselements=document.getElementsByTag
域名无法解析·2018-08-07 17:10

HttpClient+Jsoup模拟登陆贺州学院教务系统，获取学生个人信息

前言注：可能学校的教务系统已经做了升级，当前的程序不知道还能不能成功获取信息，加上已经毕业，我的账户已经被注销，试不了，在这里做下思路跟过程的记录。在我的毕业设计中”基于SSM框架贺州学院校园二手交易平台设计与实现”我有这样一个设想：使用学校教务系统账号进行贺州学院学生身份认证（通过HttpClient模拟登陆），发布者身份信息真实、平台由学生（可以跟计算机协会合作，由他们进行维护）维护，平台安全
huanzi-qch·2018-08-04 11:00

Java过滤HTML标签，即提取HTML中的纯文本，不使用正则表达式【jsoup方式，超级简单】，附富文本方式

服务器端提取方案（Jsoup方式）如果你想从带HTML标签的字符串中提取纯文本的话，可以使用jsoup工具包，非常简单应用场景，比如你的网站有个富文本编辑器，富文本编辑器中带有很多html标签，比如p标签
聚繁大BUG·2018-08-01 11:52

java 实现简单爬虫

根据爬取页面内容，使用jsoup解析html页面，获取需要的路径，进行循环下载。
a-lofty-ideal·2018-07-28 09:32

用Java写一个爬虫

我这里使用的是jsoup，简单粗暴的一种技术。先做来个简单的demo：先找一个简单点的网页，就这个了，读者杂志，文章还是很不错的。ps:此网址获取数据将只用于练习，不会非法传播。
Hide_bush·2018-07-26 16:57

java实现登录之后抓取数据

首先需要一个jsoup的jar包，我用的1.6.0。。下载地址为：http://pan.baidu.com/s/1mgqOuHa1，获取网页内容（核心代码，技术有限没封装）。
最是那一低头的温柔·2018-07-22 19:37

[Python爬虫] 使用 Beautiful Soup 4 快速爬取所需的网页信息

近来使用一个和之前Java爬虫特别简单好使的Jsoup框架极其类似的BeautifulSoup[Java爬
larger5·2018-07-21 23:02

Java爬虫——微博热搜

工具Jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于j
nick_young·2018-07-17 20:46

Java: 根据网易云音乐URL下载歌曲、歌词、专辑封面和MV

先看最终效果图：前提请下载：（1）jsoup-1.11.3.jar（2）JMF2.1.1e工作原理如下：输入一个网易云音乐URL，如：http://music.163.com/#/song?
HippoSystem·2018-07-17 00:00

Java 网络爬虫基础入门

作为网络爬虫的入门教程，本达人课采用Java开发语言，内容涵盖了网络爬虫的原理以及开发逻辑，Java网络爬虫基础知识，网络抓包介绍，jsoup的介
GitChat的博客·2018-07-13 04:00
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他