Java爬虫：Jsoup

仿小米应用商店Android客户端

数据的来源是利用Jsoup直接抓取小米应用商店官网的数据（很尴尬，不会利用python去爬虫，现在就只能先这样弄了）。主要还是抱着一种学习的态度，熟悉第三方库的使用和熟悉基本Android的开发流程。
入魔的冬瓜·2019-12-08 08:22

linux 下使用 python 和 pdfkit 来转换 html 为 pdf

前言在前面，我们已经演示过如何下载html页面内容，并且通过jsoup来解析html的内容。那么现在我们又想将文章的正文内容转换成为pdf。
阿土伯已经不是我·2019-12-08 05:11

WebMagic学习(一)之Hello world

Java爬虫项目简介大型的：Nutchapache/nutch·GitHubapache下的开源爬虫程序，功能丰富，文档完整。有数据抓取解析以及存储的模块。适合做搜索引擎，分布式爬虫是其中一个功能。
枫晴maple·2019-12-08 01:02

Java爬虫实战—爬取某网盘技术类PDF电子书

背景背景是这样的：前2天在网上搜技术类电子书，结果发现CSDN某博客更新了大量技术类PDF电子书（链接在这里程序员成长思路-电子书），考虑到他这个应该是为网盘导流，文件有可能是临时存储的，所以保险起见得下到自己本地来，常规下载如下图，感觉操作和跳转步骤太多，懒筋作祟，于是想怎么不写个爬虫把它全搞下来！分析页面在CSDN博客页面，查看跳转及网络请求，没有发现什么可利用的点，于是转到网盘下载页面，看下
测试开发栈·2019-12-07 23:29

接口返回html页面展示在浏览器

1.导包org.jsoupjsoup1.12.12.上代码packagecn.sd.service.impl;importcn.sd.service.SpeedServiceI;importcn.sd.utils.OutKey
品味Code·2019-12-07 22:00

java+selenium+jsoup爬取数据，并存到excel

一.selenium1.介绍SeleniumSelenium是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7,8,9,10,11），MozillaFirefox，Safari，GoogleChrome，Opera等。主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。
寻找大海的鱼·2019-12-07 01:33

Java jsoup获取网页中的图片

获取图片packagecom.vfsd.net;importjava.io.File;importjava.io.FileOutputStream;importjava.io.IOException;importjava.io.InputStream;importjava.io.OutputStream;importjava.net.HttpURLConnection;importjava.net
西北逍遥·2019-12-05 20:00

使用jsoup简单抓取应用市场数据

统计各个应用市场本应用的下载数量是个麻烦没有效率的要求，不符合广大程序员哥们的使用习惯，我是搞android的，深知android应用市场真是繁琐，于是百度了一下，从网上找了一个jsoup来解析网页，用于方便我们应用市场下载量的统计工作
浪漫晨风·2019-12-01 09:49

Android利用Jsoup抓取数据，再也不怕写App没有数据啦

Jsoup介绍先附上官方介绍：JsoupisaJavalibraryforworkingwithreal-worldHTML.Itprovidesaveryconv
EoniJJ·2019-12-01 09:40

Java爬虫小白 HttpClient POST 带参数请求

直接上代码publicstaticvoidmain(String[]args)throwsException{//创建浏览器CloseableHttpClienthttpClient=HttpClients.createDefault();//输入访问的地址HttpPosthttpPost=newHttpPost("https://movie.douban.com/subject/26858510
wen897377291·2019-11-23 11:46

Java爬取网页数据HTML,CSS,JS

最近接触了下java的爬虫，文本信息爬完了，就想看看图片怎么爬，于是就研究了一下，案例爬学校的官网pom依赖org.jsoupjsoup1.11.3commons-iocommons-io2.5org.apache.httpcomponentshttpclient4.5.5
鼓架架·2019-11-20 18:11

Java使用DOM的方式获取元素

@TestpublicvoidtestDOM()throwsException{Documentdoc=Jsoup.parse(newFile("C:\\User\\tree\\Desktop\\test.html
三宝鸭·2019-11-17 22:36

Java爬虫HttpClient -- 配置请求参数

packagexxx.xxx.xxx;importorg.apache.http.HttpEntity;importorg.apache.http.client.config.RequestConfig;importorg.apache.http.client.methods.CloseableHttpResponse;importorg.apache.http.client.methods.Ht
三宝鸭·2019-11-17 13:45

Java读取本地json文件

背景之前一直在弄一个Java爬虫，将爬取的信息保存到了数据库中。
王陸·2019-11-17 13:00

Jsoup解析Xml{详解}

1:概述*代码：//2.1获取student.xml的pathStringpath=JsoupDemo1.class.getClassLoader().getResource("student.xml"
---dgw博客·2019-11-12 18:00

接口自动化框架（四）--jsoup

jsoup是一款Java的HTML解析器。重点是它提供了一套非常省力的API，构造接口请求非常便捷。
臂力棒在想·2019-11-05 22:44

Java爬虫（02）——抓取finalUrl页面信息

抓取页面信息实现：packagecom.sichan.one;importjava.io.IOException;importorg.jsoup.Jsoup;importorg.jsoup.nodes.Document
王孖徵·2019-11-05 05:55

Java网络爬虫 Jsoup

一、Jsoup介绍我们抓取到页面之后，还需要对页面进行解析。可以使用字符串处理工具解析页面，也可以使用正则表达式，但是这些方法都会带来很大的开发成本，所以我们需要使用一款专门解析html页面的技术。
王陸·2019-11-04 17:00

基于Retrotfit2.1+Material Design+ijkplayer开发的一个APP（新闻，gif 动图，视频播放）

数据来源新闻直接用的聚合数据提供的接口gif动图通过jsoup爬的某个网页上的数据视频通过fiddler抓包某个APP的接口项目效果图PNGimg1.jpgimg2.jpgimg3.jpgimg4.jpgimg5
jiangzehui·2019-11-04 10:11

Jsoup模拟登陆

Jsoup模拟登陆的大概步骤(以待验证码的登陆为例)首先对整个登陆过程进行网络分析，搞清楚需要用到哪些参数，以及请求的网址。输入参数或者在网页中爬取相应的参数。对请求网址发起网络请求，获
袁来老爹·2019-11-02 16:08

Android项目2：新闻+视频聚合App——萌土日报

通过这个项目，我不仅掌握了Android移动开发常见的控件和布局的使用，还有通用的框架Okhttp、Glide、Jsoup、腾讯X5WebView，能快速开发出MaterialDesign简约设计风格的安卓
Java服务器端何哥·2019-10-30 11:04

高拓展性的Java多线程爬虫框架reptile(个人开源项目)

特性模块化设计，具有高度拓展性支持单机多线程部署支持简单集群部署配置简单清晰支持同步或异步运行单机部署时，请求爬取完毕并且无其他线程产生新请求时会自动停止爬虫并关闭所有可关闭的资源整合Jsoup，支持HTML
谢朴欢·2019-10-29 21:20

[完整爬虫]java爬虫基础对36Kr快讯数据进行爬取以及数据筛选过滤

由于九月事件把爬虫推到风口浪尖而我写这些只是分享技术不涉及隐私等个人资料的获取并且是在不会对对方服务器造成压力的情况下进行的爬取特此声明36Kr也叫36氪,是一个我非常喜欢的网站,网罗天下资讯,而且页面整洁资讯一目了然,极大的开拓眼界,许多不管是金融方面科技方面我感觉是最新最全面,当然最终是准备爬取一下上面的资讯,当然是不会对对方服务器造成压力的情况下进行的爬取.一.所需材料,涉及技术javajs
张德仁·2019-10-24 15:58

jsoup获取文章内容

jsoup爬取文章内容protectedvoiddoGet(HttpServletRequestrequest,HttpServletResponseresponse)throwsServletException
西北逍遥·2019-10-22 19:00

细数那些Java爬虫技术

最近，某大数据科技公司因为涉嫌非法抓取某招聘网站用户的简历信息，公司被查封，负责编写抓取程序的程序员也将面临坐牢。作者：架构之路来源最近，某大数据科技公司因为涉嫌非法抓取某招聘网站用户的简历信息，公司被查封，负责编写抓取程序的程序员也将面临坐牢。事情的大概经过是这样的：某大数据科技公司老板丢给一个小小的程序员一个网站，告诉他把这个网站的数据抓取下来，咱们做一做分析。这个小小的程序员就吭哧吭哧的写了
你知道歌谣吗？·2019-10-18 16:14

基于密度的网页列表抽取

代码依赖于jsoup、httpclient一、抽取网页所有链接并进行一些过滤1publicstaticArrayListgetList(Stringurl,Stringhtml){23ArrayListlist
w_posion·2019-10-17 18:00

Java 多线程爬虫及分布式爬虫架构探索

这是Java爬虫系列博文的第五篇，在上一篇Java爬虫服务器被屏蔽，不要慌，咱们换一台服务器中，我们简单的聊反爬虫策略和反反爬虫方法，主要针对的是IP被封及其对应办法。
平头哥的技术博文·2019-10-16 09:00

Java 多线程爬虫及分布式爬虫架构探索

这是Java爬虫系列博文的第五篇，在上一篇Java爬虫服务器被屏蔽，不要慌，咱们换一台服务器中，我们简单的聊反爬虫策略和反反爬虫方法，主要针对的是IP被封及其对应办法。
平头哥的技术博文·2019-10-16 09:02

ava 爬虫服务器被屏蔽，不要慌，咱们换一台服务器

这是Java爬虫系列博文的第四篇，在上一篇Java爬虫遇上数据异步加载，试试这两种办法!中，我们从内置浏览器内核和反向解析法两个角度简单的聊了聊关于处理数据异步加载问题。
fsgrgs·2019-10-15 14:31

Java 爬虫服务器被屏蔽，不要慌，咱们换一台服务器

这是Java爬虫系列博文的第四篇，在上一篇Java爬虫遇上数据异步加载，试试这两种办法！中，我们从内置浏览器内核和反向解析法两个角度简单的聊了聊关于处理数据异步加载问题。
平头哥的技术博文·2019-10-15 12:00

Android开发——RecyclerView实现下载列表

本篇记录的是使用Jsoup框架爬取网页内容，结合Android的RecyclerView，从而实现批量下载小说的功能（也是我的APP星之小说下载器Android版的核心功能），思路仅供参考本文使用了AsyncTask
Stars-one·2019-10-15 11:00

Android开发——RecyclerView实现下载列表

本篇记录的是使用Jsoup框架爬取网页内容，结合Android的RecyclerView，从而实现批量下载小说的功能（也是我的APP星之小说下载器Android版的核心功能），思路仅供参考本文使用了AsyncTask
Stars-one·2019-10-15 11:00

Android开发——RecyclerView实现下载列表

本篇记录的是使用Jsoup框架爬取网页内容，结合Android的RecyclerView，从而实现批量下载小说的功能（也是我的APP星之小说下载器Android版的核心功能），思路仅供参考本文使用了AsyncTask
Stars-one·2019-10-15 11:00

Java 爬虫遇上数据异步加载，试试这两种办法！

这是Java爬虫系列博文的第三篇，在上一篇Java爬虫遇到需要登录的网站，该怎么办？)
平头哥的技术博文·2019-10-15 05:23

java爬虫写一个百度图片下载器

4.0源码剖析5.0项目地址6.0写在最后的话前言：大概一个月前帮一个朋友写一个爬虫，这个爬虫比较有意思，抓取新浪微博的图片（某个人物的微博）【站内深度抓取】，然后就花了点时间帮他写一个java爬虫，然后打包成为一个类似绿色版的软件给他
houyuSource·2019-10-12 23:54

Java 爬虫遇上数据异步加载，试试这两种办法！

这是Java爬虫系列博文的第三篇，在上一篇Java爬虫遇到需要登录的网站，该怎么办？
平头哥的技术博文·2019-10-12 14:00

Java 爬虫服务器被屏蔽，不要慌，咱们换一台服务器

这是Java爬虫系列博文的第四篇，在上一篇Java爬虫遇上数据异步加载，试试这两种办法！中，我们从内置浏览器内核和反向解析法两个角度简单的聊了聊关于处理数据异步加载问题。
平头哥的技术博文·2019-10-12 09:36

星之小说下载器Android版

只能通过网页方式宣传了一款使用Jsoup开源库网络爬虫的APP，将在线阅读的小说解析，把小说全本下载为txt文件由于使用爬虫技术，所以下载的速度不是很理想，后期可能还得优化优化下载保存的路径:内置sd卡
Stars-one·2019-10-10 17:00

星之小说下载器Android版

只能通过网页方式宣传了一款使用Jsoup开源库网络爬虫的APP，将在线阅读的小说解析，把小说全本下载为txt文件由于使用爬虫技术，所以下载的速度不是很理想，后期可能还得优化优化下载保存的路径:内置sd卡
Stars-one·2019-10-10 17:00

星之小说下载器Android版

只能通过网页方式宣传了一款使用Jsoup开源库网络爬虫的APP，将在线阅读的小说解析，把小说全本下载为txt文件由于使用爬虫技术，所以下载的速度不是很理想，后期可能还得优化优化下载保存的路径:内置sd卡
Stars-one·2019-10-10 17:00

Java 爬虫遇上数据异步加载，试试这两种办法！

这是Java爬虫系列博文的第三篇，在上一篇Java爬虫遇到需要登录的网站，该怎么办？
平头哥的技术博文·2019-10-10 06:16

jsoup之 getElementsByAttributeValue getElementsByAttributeValueStarting attributes用法

语法1publicElementsgetElementsByAttributeValue(Stringkey,Stringvalue)寻找属性为指定值的元素。不区分大小写。代码1if(td.text().indexOf("error")==-1)return;//Elementsstyle=table.getElementsByAttribute("style");Elementsstyle=ta
琅琊山二当家·2019-10-09 15:17

Java 网络爬虫，就是这么的简单

第一篇是关于Java网络爬虫入门内容，在该篇中我们以采集虎扑列表新闻的新闻标题和详情页为例，需要提取的内容如下图所示：我们需要提取图中圈出来的文字及其对应的链接，在提取的过程中，我们会使用两种方式来提取，一种是Jsoup
平头哥的技术博文·2019-10-09 10:00

webView加载html图片遇到的问题解决

格式的字符串的时候不用慌张,正常去交给webview的loaddata方法来解决即可,但是今天说的是一组图片字符串因为给出的网址不包含http://所以怎么解都解不出来的我们只需要拼接一下这个数据然后在利用jsoup
·2019-10-08 18:09

Java 网络爬虫，就是这么的简单

第一篇是关于Java网络爬虫入门内容，在该篇中我们以采集虎扑列表新闻的新闻标题和详情页为例，需要提取的内容如下图所示：我们需要提取图中圈出来的文字及其对应的链接，在提取的过程中，我们会使用两种方式来提取，一种是Jsoup
平头哥的技术博文·2019-10-08 08:43

Java简单爬虫

importjava.io.File;importjava.io.FileWriter;importjava.io.IOException;importjava.util.ArrayList;importorg.jsoup.Connection
蜡笔小新G·2019-09-29 18:25

java通过Jsoup爬取网页过程详解

这篇文章主要介绍了java通过Jsoup爬取网页过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下一，导入依赖org.jsoupjsoup1.10.3org.apache.httpcomponentshttpclient
蜀山鸭梨大·2019-09-27 10:38

爬山的蜗牛旅程：爬虫 Jsoup+(HtmlUnit或HttpClient)实现

学习的旅程，就像蜗牛爬山，一点点的往上爬，一点点的欣赏旅途的风景Jsoup：解析和操作Html的技术（将html解析成document）,通过操作document节点来解析元素属性和文本的技术（类似jQuery
会飞的黑猪·2019-09-26 13:30

通过url解析网址title和logo图片

importorg.jsoup.Jsoup;importorg.jsoup.nodes.Document;importorg.jsoup.select.Elements;importjava.util.regex.Matcher
lv_hang515888·2019-09-25 09:26

java实现获取网站的keywords，description

获取网站的关键字和描述内容实现HTML解析器jsoup下载jsoup的lib地址：http://jsoup.org/download复制代码代码如下:packagecn.evan.util;importjava.io.IOException
·2019-09-25 02:01
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他