Java爬虫：Jsoup

Java爬虫入门篇（一）HttpClient+jsoup，以及防盗链简述

本文中使用的HttpClient是在apacheHttpClient的基础上封装的class，文章末尾会给出源码分享思路：首先我们用HttpClient模拟请求，获取到html代码，用jsoup解析过滤
殷天文·2020-02-05 18:02

jsoup 模拟登陆github网页（源代码）亲测可用 直接复制就能用

73294442全部代码：1packagePa;2importjava.util.HashMap;3importjava.util.List;4importjava.util.Map;56importorg.jsoup.Connection
博二爷·2020-02-05 17:00

寒假学习进度-8（热词爬取）

packagehotword;importjava.io.IOException;importorg.jsoup.Connection;importorg.jsoup.Jsoup;importorg.jsoup.nodes.Document
苍天の笑·2020-02-05 12:00

Android关于Jsoup对item数量的统计

(abc.get(i).text()).equals("")）获取数量，谁知道当get(i)超范围时，字符串竟然是出错信息而不是空集...灵机一动，根据alt+enter函数提示，找到了jsoup的item
猿猴星·2020-02-01 19:07

手把手教你用Java+Spring Boot实现对微博热搜的搜集

使用Java语言，SpringBoot框架进行开发，包管理器用Maven，解析使用Jsoup，存储使用MySQL。我能得到什么？
anilople·2020-02-01 06:56

2020年寒假假期总结0117

找工作的工作信息至数据库这里只放出关键代码，完整代码上传至GitHub：https://github.com/heiyang1125/WebMagicLivingExample.git在爬取过程中，与上次Jsoup
HEIYANG·2020-01-17 17:00

2020年寒假假期总结0116

Jsoup实战爬取（京东手机数据）相关依赖和配置说明已经在上一篇随笔中交代：https://www.cnblogs.com/heiyang/p/12199113.html新建关于手机商品的POJO（JavaBean
HEIYANG·2020-01-16 10:00

2020年寒假假期总结0115

WebMagic的学习基础：Jsoup的学习（Jsoup基础API+Http+Jsoup实战爬取上）Jsoup的Selector选择器API:@TestpublicvoidTestSelector()throwsException
HEIYANG·2020-01-15 22:00

2020年寒假假期总结0114

WebMagic的学习基础：Jsoup的学习（Http基础API和Jsoup基础API）在学习WebMagic之前，我们需要简单了解关于Jsoup的知识，WebMagic是基于Jsoup的爬虫工具。
HEIYANG·2020-01-14 22:00

Java爬取51job_2.0

大三上快结束了，看看之前的Java爬虫代码，感觉还是需要改进改进，就写了这个爬虫2.0版本，虽然还是爬的51job，但是更加的低耦合了，还加入了代理池和多线程的内容，爬取速度有了质的提升。
PowerZZJ·2020-01-13 10:00

Java爬虫一键爬取结果并保存为Excel

Java爬虫一键爬取结果并保存为Excel将爬取结果保存为一个Excel表格官方没有给出导出Excel的教程这里我就发一个导出为Excel的教程导包因为个人爱好我喜欢用Gradle所以这里就弄Gradle
Timeless小帅·2020-01-12 13:00

Java爬虫一键爬取结果并保存为Excel

Java爬虫一键爬取结果并保存为Excel将爬取结果保存为一个Excel表格官方没有给出导出Excel的教程这里我就发一个导出为Excel的教程导包因为个人爱好我喜欢用Gradle所以这里就弄Gradle
Timeless小帅·2020-01-12 13:00

Java爬虫爬取 天猫 淘宝 京东 搜索页和 商品详情

Java爬虫爬取天猫淘宝京东搜索页和商品详情先识别商品url，区分平台提取商品编号，再根据平台带着商品编号爬取数据。
wx581061abdf3e7·2020-01-09 11:29

Jsoup向指定页面发送post请求

一jsoup的主要功能如下：从一个URL，文件或字符串中解析HTML;使用DOM或CSS选择器来查找、取出数据;可操作HTML元素、属性、文本;jsoup是基于MIT协议发布的，可放心使用于商业项目。
千锋IJava·2020-01-08 16:44

Java：java爬虫获取动态网页的数据

前段时间一直在研究爬虫，抓取网络上的特定的数据，如果只是静态网页就是再简单不过了，直接使用Jsoup：Documentdoc=Jsoup.connect(url).timeout(2000).get()
伽南香071·2020-01-06 22:08

网上爬取快递100的快递公司名称和公司编码

importcom.google.common.collect.Lists;importorg.jsoup.Jsoup;importorg.jsoup.nodes.Document;importorg.jsoup.nodes.Element
十五小哥哥·2020-01-06 20:00

Scrapy框架结合Spynner采集需进行js,ajax动态加载的网页并提取网页信息（以采集微信公众号文章列表为例）

java,python都提供了很多的工具包或框架，例如java的httpclient,Htmlunit,Jsoup,HtmlParse
comboo·2020-01-05 14:50

FReader ，一款Android小说阅读器实现，支持阅读网络、本地TXT、本地EPUB小说

并且保存了上一次的阅读进度阅读界面可自定义屏幕亮度、字体大小、行距、背景颜色等实现仿真翻页动画效果技术点项目基于MVP模式开发，封装了Okhttp请求自定义View显示小说内容，并且实现了仿真翻页动画解析EPUB小说：Pull解析XML，Jsoup
MrFengZH·2020-01-04 19:29

【需求】Jsoup爬取淘宝订单的订单号总结

用过阿里百川的朋友都知道SDK是直接提供了打开用户订单的方法，但是它是用H5或淘宝app进入用户订单，并没有返回json这样的数据供我们使用，所以就想到了利用webview获取到用户订单的html代码，然后jsoup
FynnJason·2020-01-03 07:39

【Jsoup】HTML解析器，轻松获取网页内容

Jsoup简介jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
亦枫·2020-01-02 06:35

Jsoup初探

简介jsoupisanopen-sourceJavalibraryofmethodsdesignedtoextractandmanipulatedatastoredinHTMLdocuments.Jsoup
syncwt·2020-01-01 22:33

Android笔记之JSoup爬虫入门

前言闲扯一些没用的，写这篇文章之前是有点私心的，因为之前评论某大v的文章是鸡汤，瞬间被拉黑，连个解释和说明的机会都没有，文章语言干涩，内容平平，于是就好奇到底是些什么样的人喜欢和吹捧这样的鸡汤作者。所谓技术可以解惑答疑，所以我就爬来了该作者的所有的文章，每篇文章的阅读数，赞数，评论数，赞赏数，赞赏者，评论者，入选的专题。通过阅读数，赞数，评论数，赞赏数可以看出该作者的热度曲线，以及未来趋势。通过阅
小时不识月z·2020-01-01 17:33

java爬虫进阶篇（半小时知乎两万推荐问题）

上一篇写了一个简单的新浪新闻爬虫作为上手主要是用jsoup包来对url页面进行抓取到本地，并在本地进行数据的解析提取。这里就不重复叙述jsoup的用法了，百度一下基本一大片。
小鸡在路上·2020-01-01 15:11

Android:抓取网页重点内容加载到聊天框(jsoup解析网页)

本文为在im程序中仿QQ的链接解析，利用jsoup开源解析html库，提取网页的标题、描述，以及网页图片；jsoup链接消息内容中判断为网页时，new线程加载网页信息：executorService=Executors.newFixedThreadPool
AnakinSky·2019-12-31 14:52

Java通过URL获取公众号文章生成HTML的方法

但是图片存在跨域访问的问题，微信不允许跨域访问公众号图片，所以需要将公众号图片从存入本地后，再上传至OSS，然后把HTML中的图片全部替换为自己的OSS地址就可以了这里就需要在后台对HTML进行DOM的解析，需要用的Jsoupcom.aliyun.ossaliyun-sdk-oss2.2.3org.jsoupjsoup1.9.2controlle
暴怒大吊·2019-12-31 10:08

获取腾讯视频真实播放地址及资源地址

知识储备首先我们要了解怎样去抓取网页信息，这个可以参考我前面的一篇文章Jsoup初探之所以博主选择腾讯视频有两个很重要的原因，第一，开始说
syncwt·2019-12-31 08:39

Android http实战模拟登录 okhttp/retrofit/jsoup/验证码获取

定义retrofit的接口publicinterfaceApiService{@GET("{part}/")ObservablegetNewsData(@Path("part")Stringpart,@Query("key")Stringkey,@Query("num")Stringnum,@Query("page")intpage);@FormUrlEncoded@POST("reader/re
icecrea·2019-12-31 01:51

Nodejs 异步流程控制及若干细节

以前工作中的爬虫都是基于HttpClient+jsoup，很早就知道Nodejs有cheerio，HTML和JavaScript天生的一对，拿Nodejs去做网页爬虫很简单，有多简单呢？
jarvan4dev·2019-12-30 02:22

Java 中使用 selenium 和 chrome 浏览器下载动态网页

前言上一篇文章《用jsoup分析下载的html内容》中提到过，当我们用OkHttp下载网页的时候，发现下载的内容中没有我们在浏览器上看到的阅读数、评论数、喜欢数这三部分的内容。
阿土伯已经不是我·2019-12-29 20:46

Jsoup使用选择器语法来查找元素

(Stringselector)和Elements.select(Stringselector)方法实现:Fileinput=newFile("htmlpath");Documentdocument=Jsoup.parser
写Bug的张小天·2019-12-29 13:22

SpringBoot爬虫小说阅读网站，定时更新小说和抓取功能

SpringBoot小说爬虫搭建阅读网站通过jsoup采集数据到mysql数据。redis作为缓存框架，减轻服务器压力。部署在linux，网站UI套纵横中文网！
容器云平台·2019-12-29 10:00

Java解析和遍历html文档利器

php啦，但是我想在android客户端获取网络http的的数据，虽然可以使用php但是需要二次连接和php环境，然而就直接使用java语言去搞，那么不可能直接用java原生语言去码的啦，使用****Jsoup
AlicFeng·2019-12-29 03:38

jsoup 简单的使用

jsoup:JavaHTMLParserjsoupisaJavalibraryforworkingwithreal-worldHTML.ItprovidesaveryconvenientAPIforextractingandmanipulatingdata
JD2017·2019-12-29 02:30

2018总结2019规划

2018总结2018新加技术栈:Docker、ES、GIT、Maven、Java8、Gaven、Java多线程、Java爬虫、Java微信开发JMter、JVM虚拟机、Netty、Redis、Shiro
情商堪忧·2019-12-26 19:59

[Java]爬虫利器Jsoup

官网https://jsoup.org/常见操作Documentdoc3=Jsoup.connect(url3).headers(headers).cookies(cookies).get();Elementnextpage
VincentJianshu·2019-12-26 15:18

java爬虫（爬新浪新闻） 如何从零开始

爬虫通常搜索引擎处理的对象是互联网网页。首先面临的问题是：如何能够设计出高效的下载系统，以将如此海量的网页数据传送到本地，在本地形成互联网网页的镜像备份。网络爬虫即起此作用，它是搜索引擎系统中很关键也很基础的构件。爬虫：实际上就是通过相应的技术，抓取页面上特定的信息。网络爬虫当"蜘蛛"程序出现时，现代意义上的搜索引擎才初露端倪。它实际上是一种电脑"机器人"(ComputerRobot)，电脑"机器
小鸡在路上·2019-12-26 09:22

Java爬虫（八）-- httpClient进阶：HTTPS和证书认证（原理总结篇）

一、前言本篇文章承接上一篇，对应讲述一些我在接触SSL协议、证书认证时学到的一些原理性知识。因为本身不是科班出身，网络方面很多对我来说都是新知识，特在此记录一下。二、HTTPSHTTPS=HTTP+SSL/TLS协议，即加密过后的HTTP通信。它其实还是HTTP协议，只是在外面加了一层，SSL是一种加密安全协议，引入SSL的目的是为了解决HTTP协议在不可信网络中使用明文传输数据导致的安全性问题。
Richard_易·2019-12-25 08:03

Scala爬虫刷博客阅读量

二、实现思路知识点爬虫主要的手段是通过HTTP请求，获取并解析HTML网页，获取指定数据HTML网页是一种格式数据，解析可通过JSOUP（java包）解
阿海与蜗牛·2019-12-23 02:47

Jsoup提取字符串保留换行给客户端

万一别人用的不是这3标签或者彼此嵌套都会存在问题或者干脆document.select(‘*’)去重复过程去嵌套过程更麻烦甚至不可为，有的文本内容本来就是重复的，那么有没有保留换行的提取文本3.保留换行的提取文本Jsoup.clean
Rex_叶然·2019-12-22 21:51

WebMagic+Spring Boot爬取网易云音乐评论

关于WebMagicWebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。
褐言·2019-12-22 18:37

Android自由开发者 通过Jsoup抓取网页数据

现在网上流行了一种自由开发者的风气；就是自己私下写一个简易的app上传到github上；可以以此项目作为开源；同时熟悉git操作；但是很多时候我们都需要一些数据来呈现在app中；如图片列表，如文字+图片列表；网上有很多开放式的api可以调用，如百度api、http://gank.io/api(干货集中营api)；如果你现在想弄自己的一套数据，想把一些网站的数据整合过来使用，那就需要去抓取某些网页中
lieco·2019-12-22 16:36

记一次初学Webmagic的踩坑之旅：爬取知乎数据

好久没更新博客了，最近在做一个知乎的小爬虫，基于springboot+myabtis+webmagicwebmagic是一个简单灵活的Java爬虫框架。
语落心生·2019-12-22 13:37

使用webview处理富文本显示

用jsoup解析html。。。依赖org.jsoup:jsoup:1.11.3调用方法：tvHtml.imageClick((imageUrls,position)->
吃泥巴的猫·2019-12-22 04:16

react-native完整实例—妹子图片查看app

项目目前只支持android版本，因为使用到jsoup抓取网站数据，而ios开发本人不会。
sleepforests·2019-12-20 22:36

java简单的爬虫(今日头条)

之前在做资讯站的时候需要用到爬虫来获取一些文章,今天刚好有空就研究了一下.在网上看到了一个demo,使用的是Jsoup,我拿过来修改了一下,由于今日头条的文章的特殊性,所以无法直接获取文章的地址,需要获取文章的
maylor_zhu·2019-12-19 10:03

jsoup教程

jsoup是一款Java的HTML解析器，主要用来对HTML解析。
__豆约翰__·2019-12-19 04:01

JAVA爬虫技术--HttpClient请求

Java爬虫入门简介（一）——HttpClient请求原文地址链接http://www.datalearner.com/blog/1051501160659926数据是科研活动重要的基础。
葡小萄家的猫·2019-12-18 13:08

利用Jsoup获取HTML页面的各分页中的标题信息

简单介绍一下JsoupJsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。
一颗小梪梪·2019-12-17 21:27

分享技术随笔

目录：一、java8新特性:1.接口内允许添加默认实现的方法2.lambda语法二、oracle1.关于listagg的用法2.关于sql执行的先后顺序三、拓展1.jsoup的html爬取一、java8
silin_liu·2019-12-16 11:34

【从零开始】正则表达式从入门到应用1

我最近正在做一些关于Html代码的解析工作，虽然手头上有jsoup这样好用的工具，还是架不住世界上的技术人员代码风格千变万化，难免遇到不按套路出牌的，专门花一点时间系统
ElegyBringer·2019-12-12 00:33
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他