Java爬虫：Jsoup

Android爬虫（一）使用OkHttp+Jsoup实现网络爬虫

Demo数据爬取完后通过RecyclerView展示，这篇文章先写爬取数据部分这里我爬虫测试网站是：什么值得买想要爬取的数据是首页的一些精选文章，主要爬取文章标题、图片、简介这个是我爬到的数据这里需要引用到Jsoup
斯沃乐。·2019-03-22 14:07

springboot2.1入门系列十二 springboot使用jsoup爬取全国的省市数据

本文通过springboot结合jsoup技术实现模拟爬虫爬取全国的省市数据，其他层级的数据如县乡镇村的数据可以由同学们自己练习。
盛桃云·2019-03-21 22:08

Java爬虫技术总结

—本博客为原创内容，转载需注明本人—前几天有个师妹将要毕业，需要准备毕业论文，但是论文调研需要数据资料，上知网一查，十几万条数据！指导老师让她手动copy收集，十几万的数据手动copy要浪费多少时间啊，然后她就找我帮忙。我想了一下，写个爬虫程序去爬下来或许是个不错的解决方案呢！之前一直听其他人说爬虫最好用python，但是我是一名Java工程师啊！鲁迅曾说过，学python救不了中国人，但是Jav
chf_940684164·2019-03-21 17:31

java中String类型的xml格式数据解析

最近研究java爬虫，Get请求后取得数据为String类型的xml数据，尝试了许久的解析，因此做个小记录。
DatamanloveR·2019-03-20 15:32

JSoup使用快代理的独享代理IP获取网页的接口

Java使用JSoup获取网页数据，快代理的独享代理IPAPIHttpClient.java类importjava.io.IOException;importjava.security.SecureRandom
梅子山楂酒·2019-03-17 22:11

Java使用Jsoup爬取省市区乡镇的数据源码

标题Java使用Jsoup爬取省市区乡镇的数据源码由于业务需求，需要让用户选择地址信息。所以在想在网上找一份最新的省市区及乡镇的数据。
游荡人生·2019-03-16 21:28

5、Java xml操作和解析

由于一次性加载会占内存比较大SAX：基于事件驱动逐行读取优点:不占内存缺点:只能读取，不能增删改xml常见的解析器1、JAXPsun公司提供的解析器，支持dom,sax，但是性能差基本不用2、DOM4J一款很优秀的解析器3、Jsoup
四月的谎言v5·2019-03-16 15:57

springboot xss 注入问题

思路使用全局过滤的方式来预防xss注入问题当然thymeleaf模板也可以用来预防xss注入这里采用Jsoup来防止xss注入步骤一导入jar包org.jsoupjsoup1.11.3相关代码一共两个文件过滤器代码
imsjw·2019-03-15 09:54

java爬虫-2018国家统计局区划和城乡划分代码以及数据库、json文件

国家统计局：http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2018分析：#查看省份数据http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2018/index.html#查看内蒙古市级数据http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2018/15.
性情中人1993·2019-03-13 17:47

[转]jsoup的Element类，妈妈再也不用担心我在java类中操作HTML节点了

原贴：https://blog.csdn.net/u010142437/article/details/18802873一、简介该类是Node的直接子类，同样实现了可克隆接口。类声明：publicclassElementextendsNode它表示由一个标签名，多个属性和子节点组成的html元素。从这个元素中，你可以提取数据，可以遍历节点树，可以操纵html。二、构造方法1、publicEleme
[email protected]·2019-03-11 15:28

java爬虫入门第一弹——从抓取百度首页开始

简单介绍一下：老王是个新人，心血来潮想用java试试写爬虫，完全零基础，搜了很多教程，往往因为作者水平太高，不能一下子理解大佬代码中的深意，并且有些看似很简单的东西，对于我这种菜鸟来说，其实是很难解决的错误或者是异常。故，在稍有心得后，写下此篇。从最基础开始。一步一步，从小菜鸟，成为稍微大一点的菜鸟，给初学者带来一点启示。如果只需要全部的代码，请直接拉至最后如果转载，请注明出处：https://b
会飞的王浩然·2019-03-02 20:56

springboot中使用过滤器，jsoup过滤XSS脚本

背景：略目标：完成request请求中的脚本过滤技术：filter,jsoup,requestWapper1.把可能包含脚本的参数位置分析一下------------------------------
千山暮雪CN·2019-02-28 23:27

java爬虫（及常用数据结构）

类与类之间的关系项目目录结构终端显示爬取的结果我的Java爬虫代码从爬虫项目中体会常用数据结构的用法//未完待续。。。。。Queue//放在队列中浏览的新闻。。
_zyw_·2019-02-23 15:33

java 使用Jsoup提取HTML纯文本

java使用Jsoup提取HTML纯文本网上很多提取HTML文本的方法，但是都不全，很多的特殊字符不能过滤掉，本文章讲述的方法可以将所有的标签包括HTML的特殊字符全部过滤掉。
Michean·2019-02-21 17:17

[Jsoup] 使用Jsoup发送Request Payload(请求负载)

本文地址：https://blog.csdn.net/dietime1943/article/details/87312903本文作者：[email protected]******如果你看到这一行，说明网络爬虫可能在本人还没有发布完成的时候就抓走了我的文章，导致内容不完整,请去上述的原文链接查看原文******本文章意在讲解如何使用Post请求Requestpayload类型
bluetata·2019-02-18 17:52

Python爬虫入门-多线程爬取高清电脑壁纸

Python爬虫多线程爬取电脑壁纸爬取的思路与我之前写的Java爬虫博客一致，这里不再分析，需要详解的看我另一篇博客JAVA爬虫多线程高速爬取高清电脑壁纸直接看代码吧，里面有注释，初次学习Python，
XiangYida·2019-02-16 15:41

java简单爬虫

java简单爬虫通过javaurl实现可以爬去简单视频爬虫可以爬去网页和图片，使用jsoup作为底层实现可以进行二次开发环境：javase，eclipsejar：jsoupmaven：org.jsoupjsoup1.11.3
自然_IT·2019-02-12 20:14

不学Maven会死？Maven真香！

这几日一直在研究Java爬虫，经历了入坑又爬坑的感觉，在知乎找Java爬虫框架，找到了一款心仪的框架，而且是国人开发，浏览了文档说明手册，感觉挺好上手，支持正则、jQuery、XPATH选择语法，自己好借鉴以前使用
我的袜子都是洞·2019-02-04 11:07

java爬虫入门---WebMagic

一、爬虫框架的使用爬虫的底层实现：HttpClient+Jsoup，这里使用别人做好的的爬虫框架的轮子，可以省略我们绝大多数步骤！webmagic的设计目标是尽量的模块化，并体现爬虫的功能特点。
城墙_城墙·2019-01-31 13:42

springboot项目练习15 抽离公共模块整理代码

将entity实体类和公共类抽离出原项目修改服务提供者和服务消费者项目1新建项目news-common，添加公共依赖langjsoup依赖4.0.0com.gc.spingbootnews-common0.0.1
Master_slaves·2019-01-23 23:59

Java爬虫-爬取知乎内容(附源码注释)

在前一段时间,做了一个demo,苦于没有数据展示,所以翻了很多关于爬虫的资料,在这里分享一下踩过的坑踩过的坑之前没接触爬虫的时候以为,只要请求中携带相关信息(请求头中跟浏览器发送的一模一样)就能获取到页面.例如,在请求中携带cookie伪装成浏览器.伪装referer请求跟浏览器中的请求没什么区别.然而,这种操作确实对大部分页面有效,但是还有一小部分呢.直到某天,我突然想到试着爬一下知乎,用之前的
清水°·2019-01-22 17:52

Jsoup爬虫获取自己网站在百度搜索中的实时排名

一直有一个需求，希望看到自己网站在百度的实时的排名用过一些工具，要么反应迟钝，要么结果不准确或不实时于是打算用jsoup写一个小爬虫来实时百度看网站排名直接上代码依赖只有jsoupjar包下载地址:https
zzzmh·2019-01-22 00:00

Android模拟登录教务系统(强智系统)

在这里我将模仿此功能使用J2V8、Jsoup等第三方库实现模拟登录教务系统读取信息。这里的教务系统以南昌大学教务系统（湖南强智科技教务系统）为例。
dodod2012·2019-01-21 22:54

Java基础学习笔记

如何阅读Java源码阅读java的真实体会面向对象Java创建内部类对象爬虫Java爬虫实战（二）：抓取一个视频网站上2015年所有电影的下载链接用Java实现网易云音乐爬虫揭秘Java网络爬虫程序原理
4change·2019-01-21 02:36

Java基础学习笔记

如何阅读Java源码阅读java的真实体会面向对象Java创建内部类对象爬虫Java爬虫实战（二）：抓取一个视频网站上2015年所有电影的下载链接用Java实现网易云音乐爬虫揭秘Java网络爬虫程序原理
4change·2019-01-21 02:36

Java实现Ip代理池

先对国内Http代理标签页面进行爬取，解析页面使用的Jsoup，这里大概代码如下privateListcrawl(Stringapi,intindex){Stringhtm
Asche910·2019-01-19 14:20

Java实现Ip代理池

先对国内Http代理标签页面进行爬取，解析页面使用的Jsoup，这里大概代码如下privateListcrawl(Stringapi,intindex){Stringhtm
Asche·2019-01-19 14:00

使用Jsoup防止XSS攻击

树挪死，人挪活。大城市小人物，生活最终会把你变成你讨厌的人。前阵子项目国测后，打开一个项目页面，莫名其妙弹出xss，搜了全局也没找到alert("xss")，问了一下项目经理，原来是国测做防注入的时候，在添加数据的时候做的，一脸懵逼。查了一下资料，以前做项目的时候都没想到这个问题，如果保存一段script脚本，查数据的时候，这段脚本就会被执行，这东西后果挺严重啊，如果是在桌面外弹框，执行个挖矿脚本
liu884746703·2019-01-17 22:21

Java爬虫小例子：获取全国信息

前言：最近开始学习java爬虫，看过基础知识，准备找个例子试试手，于是就有下面这个东西，有参考其他的文章并结合自己的思想，可供跟我一样的java爬虫初学者参考。
等待鲜花盛开·2019-01-15 15:36

Java定时爬取数据

因为是通过jsoup来获取页面标签对象的，对于不同的网页，需要修改不同的参数。如果我们需要爬取这个界面的学院新闻模块，应该怎
程序○人生·2019-01-15 14:51

利用Jsoup解析修改html标签

先引入Jsoup://JsoupHTML解析器implementation'org.jsoup:jsoup:1.11.2'拿到修改前的html:privateStringstr="***********
To-seven·2019-01-15 13:00

案例分析-爬虫（51job网站的信息）

爬虫案例爬虫介绍技术说明jsoup使用介绍代码实现需求数据封装爬取数据番外篇（获取图片）番外篇（url编码和解码）爬虫介绍网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者
小牛学堂2019·2019-01-13 16:40

使用HttpClient与Jsoup实现Java爬虫简单入门

HttpClient下载地址：http://hc.apache.org/downloads.cgiJsoup下载地址：https://jsoup.org/download本次使用的是httpclient
bug killer·2019-01-11 22:15

Java爬虫项目实战（一）

主网站链接：http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2015/index.html主要jar包：http://jsoup.org/packages
youqc·2019-01-10 17:00

Java爬虫入门(六)——课程设计报告

Java高级程序设计课程设计任务书一题目Java并发爬取静态小说系统二目的与要求:2.1目的:JAVA爬虫并发爬取静态小说网站的全部小说：https://www.bookbao8.com/BookList-c
codingCoge·2019-01-09 20:14

爬虫工作总结----2018年

3月面试朋友内推进入一家数据公司做爬虫工程师，继续摸索Java爬虫技巧,后面开始接触APP相关的爬虫，以前自学过Android，搞起来会顺手点，到现在不算精通也算熟练吧。
xiaoxsen·2019-01-08 20:36

Java Https工具类，Java Https Post请求

JavaHttpsPost请求================================©Copyright蕃薯耀2019-01-08http://fanshuyao.iteye.com/一、使用jsoup
蕃薯耀·2019-01-08 11:00

Java Https工具类，Java Https Post请求

JavaHttpsPost请求================================©Copyright蕃薯耀2019-01-08http://fanshuyao.iteye.com/一、使用jsoup
蕃薯耀·2019-01-08 11:00

使用java画一张海报

org.jsoupjsoup1.11.3com.alibabafastjson1.2.54talkischeap，showmethecode2.上代码我就不多说了，注释已经写得很清楚了packagecom.pibgstar.demo.utils
跟派大星学编程·2019-01-08 10:57

[JavaWeb实训Day4]__jsoup爬虫(爬新闻页面)&词云的生成( kumo库)

目录一、本次实验分析过程二、Jee连接MySQL数据库三、异步传值及界面设计四、jsoup爬虫爬取新闻网页五、新闻词云的生成(kumo库)六、存入数据库快速链接：【JavaWeb项目实训】——总目录JavaWeb
cungudafa·2019-01-07 20:24

Java Jsoup 爬虫模拟登陆

python+selenium写的一个自动提交表单的插件优化一下，实在是因为自学的python基础比较渣，需要处理的异常处理不到位，总之代码不是很健壮，就想着还是用java来写吧，而后不知道从哪里看到Jsoup
慢慢淡忘·2019-01-07 14:28

【JavaWeb项目实训】——总目录

day1配置环境Win10、Tomcat、EclipseJee配置day2搭建界面（helloworld），跑通整个项目Jsp中button用法day3Java点击事件（同步与异步）同day4☞day4jsoup
cungudafa·2019-01-05 00:00

求助，java爬虫Cookie问题

代码如下（账号密码部分替换了）：publicvoidlogin(){Stringurl="http://www.ekgc.cn/member/elogin?redirect_url=http://www.ekgc.cn";Stringdata="KgcForm_models_LoginForm%5Bidentity%5D=账号&KgcForm_models_LoginForm%5Bpassword
会飞的小氵鱼·2019-01-04 20:16

【JAVA】Webmagic 爬虫框架，带着问题解读源码

前言github地址https://github.com/cwtree/webmagicWebMagic的设计参考了业界最优秀的爬虫Scrapy，而实现则应用了HttpClient、Jsoup等Java
chiweitree·2019-01-03 17:11

Java爬虫之科目一题目

FastJson（JSON与Java对象进行转换）2、Loombok（简化JavaBean的编写）3、线程池（提高爬虫爬取效率，多线程执行任务）4、批量提交执行SQL（减少与数据库的连接，可以批量插入数据）5、Jsoup
可爱的小书包·2018-12-31 19:04

jsoup解析html页面

maven依赖org.jsoupjsoup1.11.3要解析的html内容我主要解析table部分只给出table部分内容HT2catlocalhost.localdomain192.168.104.165Cat-ConfigSyncTask167Cat-ConfigSyncTask
琅琊山二当家·2018-12-28 15:58

Java实现爬取百度图片的方法分析

现在我们有了JSOUP，以后的处理HTML的内容只需要使用JSOUP就已经足够了，JSOUP有更快的更新，更方便的API等。jsoup是一款Java的H
Joker_Ye·2018-12-28 14:46

详解java爬虫jsoup解析多空格class数据

在使用jsoup爬取其他网站数据的时候，发现class是带空格的多选择，如果直接使用doc.getElementsByClass(“class的值”),这种方法获取不到想要的数据。
243644739·2018-12-23 16:31

go语言解析网页利器goquery使用教程(爬虫必备)

在java中很显然就是Jsoup，而在Golang里，应该就是这个goquery了吧。
Asche910·2018-12-23 11:42

go语言解析网页利器goquery使用教程(爬虫必备)

在java中很显然就是Jsoup，而在Golang里，应该就是这个goquery了吧。
Asche·2018-12-23 11:00
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他