Java爬虫：Jsoup

Android 对Html进行操作

用webview对HTML展示，利用jsoup对html操作。Android与js进行交互。
Android_冯星·2017-11-14 11:40

java实现一个简单的网络爬虫代码示例

找到了一个jsoup包，一个非常方便解析html的工具呢。
在远行的路上·2017-11-13 08:04

爬取搜搜问问的一个实例

搜搜问问问题对爬取，之后存储到本地，再用jsoup做进一步的解析。
呵呵哒呵呵705·2017-11-11 20:36

分享一个简单的java爬虫框架

反复给网站编写不同的爬虫逻辑太麻烦了,自己实现了一个小框架可以自定义的部分有:请求方式(默认为Getuser-agent为谷歌浏览器的设置),可以通过实现RequestSet接口来自定义请求方式储存方式(默认储存在f盘的html文件夹下),可以通过SaveUtil接口来自定义保存方式需要保存的资源(默认为整个html页面)筛选方式(默认所有url都符合要求),通过实现ResourseChooser
qq_35488769·2017-11-11 09:04

Java爬虫学习:利用HttpClient和Jsoup库实现简单的Java爬虫程序

利用HttpClient和Jsoup库实现简单的Java爬虫程序HttpClient简介HttpClient是ApacheJakartaCommon下的子项目，可以用来提供高效的、最新的、功能丰富的支持
johnson_moon·2017-11-06 16:04

Java爬虫学习:使用HtmlUnit获取html页面

使用HtmlUnit获取html页面HtmlUnit简介官网介绍HtmlUnitisa"GUI-LessbrowserforJavaprograms".ItmodelsHTMLdocumentsandprovidesanAPIthatallowsyoutoinvokepages,filloutforms,clicklinks,etc...justlikeyoudoinyour"normal"bro
johnson_moon·2017-11-06 14:11

网页爬虫 静态网页

一、通过Jsoup请求获取网页审查元素。
柳千渡·2017-11-05 10:46

android:获取富文本图片和使用Jsoup抓取腾讯新闻网页数据

先看效果：获取富文本中的图片抓取腾讯新闻中的图片首先引入要使用的jar包compile'jp.wasabeef:glide-transformations:2.0.2'compile'org.jsoup
晓果博客·2017-11-02 10:10

Java爬虫入门简介（四）——抓包工具的使用以及使用HttpClient模拟用户登录的访问

原文地址：http://www.datalearner.com/blog/1051509365677137网络爬虫需要解决的一个重要的问题就是要针对某些需要用户名和密码访问的页面可以模拟用户自动登录。在这一篇博客中我们将介绍如何使用Chrome浏览器自带的抓包工具分析页面并模拟用户自动登录。我们会以CSDN的用户登录为例，讲述如何使用抓包工具获取登录方式并使用HttpClient工具模拟登陆访问。
数据学习（Datalearner）·2017-10-31 21:50

CSDN爬虫（四）——博客专家(所有)爬取+数据分析

CSDN爬虫（四）——博客专家(所有)爬取+数据分析说明开发环境：jdk1.7+myeclipse10.7+win74bit+mysql5.5+webmagic0.5.2+jsoup1.7.2爬虫框架：
最是那一低头的温柔·2017-10-23 16:24

web爬虫下载图片（Java实现）

原文链接：http://www.cnblogs.com/dorra/p/7710972.htmlpackagecom.dorra.jsoup;importjava.io.BufferedReader;importjava.io.File
diakuicu0780·2017-10-22 18:00

HtmlUnit+Jsoup 解决爬虫无法解析执行javascript的问题

阅读更多本人最近在研究爬虫。作为一个新手。研究了些爬虫框架，发现所有开源的爬虫框架很多，功能也很齐全，但唯独遗憾的是，目前还没有发现那个爬虫对js完美的解释并执行。看了浅谈网络爬虫爬js动态加载网页（二）之后很有感慨，首先对博主的钻研精神季度敬佩。虽然该文中第二和第三种方案不怎么靠谱，但能想到这些方案，说明博主的思维发散性很强，不会局限于单方向钻牛角尖式的思考。不过很遗憾，因为我就是这样的人。我始
jiaoronggui·2017-10-22 17:00

Jsoup使用总结

Jsoup是对网页进行解析的工具:首先通过网页地址获取网页的数据(String格式),然后就是使用jsoup将进行对结点解析://解析html成DocumentpublicstaticDocumentgetDocument
CrossFile_TMS·2017-10-20 11:24

深入了解Java爬虫的运用技术

首先我们需要知道关于爬虫的一些基本概念，下面我来做一些简单的介绍。1.爬虫是什么？爬虫又叫网络爬虫，是一种运行在互联网上为了获取数据的自动化程序或脚本2.爬虫解决了什么问题爬虫解决了获取数据的问题3.爬虫爬取的数据有什么用和搜索引擎结合使用，对数据进行分析，提取有价值的信息，得到数据的商业价值4.爬虫的简单分类•通用爬虫：百度爬取互联网所有数据的爬虫叫做通用爬虫•垂直爬虫：为做数据分析而爬取特定数
likemebee·2017-10-19 21:57

解析 html 字符串

http://www.open-open.com/jsoup/去除html字符串内的html标签，只留文本：/***解析一个html字符串，只得到此字符串中的文本*@paramhtml*@return*
哈哈__哈哈·2017-10-17 18:25

java爬虫绕过登录页面

转自：http://blog.csdn.net/jiangsanfeng1111/article/details/51282966当我们在写爬虫的时候，往往会遇到很多反爬的问题。比如：在登录页面设置验证码、扫描二维码登录、滑动鼠标登录、手机短信验证码登录等等。这里介绍一种个人已经实现的方法——绕过登录页面。这里的绕过不是说真的可以绕过登录，除非这个系统本来就有问题，这是这个系统天大的bug。这里说
一身气质范·2017-10-16 15:40

java 使用webmagic 爬虫框架爬取博客园数据存入数据库

java使用webmagic爬虫框架爬取博客园数据存入数据库webmagic简介：WebMagic是一个简单灵活的Java爬虫框架。你可以快速开发出一个高效、易维护的爬虫。
a906423355·2017-10-12 16:21

Java爬虫技术之绕过百度云防护抓取网站内容

大家好，我是Coody最近做文章采集，碰到一个有经过百度云加速的网站，由于打开浏览器需要安全检查，所以针对相关机制做了一下研究，故此封装了一个HTTP工具。本文已发布之开源中国，由于csdn用户量巨大且易于搜索引擎收录，故此分享出来希望对特定的友友有所帮助。直接贴代码，copy下来可以直接使用如图：输入图片说明首先需要一个Http工具类：HttpHandlepackageorg.coody.rob
Coodyer·2017-10-08 22:18

java爬虫爬取美女图片

前言：抓住国庆假期的小尾巴，分享一波福利。if(!existUrl(cache,saveUrl)){//插入数据库Picpic=newPic(title,tag,tiAdd,newDate(),saveUrl,img);picList.add(pic);//插入缓存cache.put(newnet.sf.ehcache.Element(saveUrl,saveUrl));logger.info("
艳学网·2017-10-08 09:21

golang解析网页利器goquery的使用方法

java里用Jsoup，nodejs里用cheerio，都可以相当方便的解析网页，在golang语言里也找到了一个网页解析的利器，相当的好用，选择器跟jQuery一样安装gogetgithub.com/
Tomoya·2017-09-30 09:51

java爬虫，破解JS加密的Cookie

二问题：对于常见的静态页面来说，jsoup的解析是比较常见的。但是这个网站如果直接用jsoup去抓取，会报错。
bohu83·2017-09-25 14:16

java爬虫--jsoup简单的表单抓取案例

软件环境：eclipse，Jsoup包下载地址：点击打开链接密码：bmrr抓取表单比较简单，直接用select选择标签即可。
Beeman_xia·2017-09-25 09:43

WebCollector 网页爬虫

爬虫简介：WebCollector是一个无须配置、便于二次开发的Java爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。
尹文辉·2017-09-23 09:22

Java爬虫入门简介（三）——HttpClient保存使用Cookie登录

其他爬虫博客：Java爬虫入门简介（一）——HttpClient请求及其详细使用Java爬虫入门简介（二）——Jsoup解析HTML页面Java爬虫入门简介（三）——HttpClient保存和使用Cookie
数据学习（Datalearner）·2017-09-22 20:37

Jsoup爬取网页乱码编码格式gb2312转utf8

最近做的一个项目需要爬取股票公告并存储于mongodb中用来显示，当我在用jsoup爬取新浪财经股票公告的时候，发现了乱码问题。
poyuan97·2017-09-20 19:33

码云推荐 | 那些优秀的网络爬虫工具介绍

一、强力Java爬虫|Spiderman项目简介：Spiderman是一个Java开源Web数据抽取工具。
zicochan·2017-09-20 09:17

使用PhantomJS实现模拟登陆（Java爬虫）

PhantomJS介绍最近开发爬虫的时候，遇到.aspx后缀的网页需要去模拟登陆然后获取cookie，本来计划通过selenium进行登陆，但是效果很不好红色警告很多，似乎selenium对于JavaScript支持不是很好。在查过资料之后，发现了PhantomJS这一大杀器，基本满足爬虫很多需要，便决定使用PhantomJS进行开发模拟登陆。以下是对于PhantomJS的介绍（1）一个基于web
Nightmare_Zero·2017-09-18 21:00

Java爬虫爬取网站图片

实现的效果，自动在工程下创建Pictures文件夹，根据网站URL爬取图片，层层获取。在Pictures下以网站的层级URL命名文件夹，用来装该层URL下的图片。同时将文件名，路径，URL插入数据库，便于索引。第一步，创建持久层类，用来存储文件名，路径以及URL。  packageorg.amuxia.demo;   importjava.sql.Connection;   importjava.
hzp666·2017-09-13 10:45

使用Jsoup抓取明星库

抓取明星库的总页数privatestaticfinalLoggerlogger=LoggerFactory.getLogger(SinastarTest.class);privatestaticfinalStringurl="http://ku.ent.sina.com.cn/star/search&page_no=";privatestaticvoidtestGrab(){logger.info
Jankin-Xu·2017-09-13 10:06

Java爬虫入门简介（二） —— Jsoup解析HTML页面

Java爬虫入门简介（二）——Jsoup解析HTML页面原文链接：http://blog.csdn.net/df19900725/article/details/77587318上一节我们获取了http
葡小萄家的猫·2017-09-08 22:35

java爬虫一（分析要爬取数据的网站）

一、获取你想要抓取的网站地址：http://www.zhaopin.com/然后打开控制台，F12，打开。我用的是Chrome浏览器，跟个人更喜欢Chrome的控制台字体。找到搜索栏对应的html标签：http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E6%B7%B1%E5%9C%B3&kw=Java&sm=0&p=1也可以直接在地址栏输入这个网址
柴丝言·2017-09-07 10:20

简易JAVA爬虫练习，为新手总结的三种爬虫方法

这是想学习java爬虫的新手必经之路，也是最简单的几种JAVA爬虫爬取网页信息的方法，当然,这几种方法爬取的网页有限，对于需要登录的网页则还需进行更复杂的操作，这里就不做多余的解释，毕竟是写给新手的，希望对刚学习
Ronsssss·2017-08-31 18:21

Java爬虫--页面跳转爬数据

刚来老板（导师）公司实习，接到任务是用java做一个爬虫，来搜索中关村中手机的参数，功能是输入一个关键字，然后可以输出相关手机的CPU型号，操作系统，蓝牙版本。比如：输入s6，就要输出s6手机的相关参数。嗯，我还不怎么会Java语言，借这个机会可以好好学学，就是这样！下面开始学习吧…首先需要搞清楚需求是什么，先把过程模拟一遍，就不上图了，自己脑补一下，首先在百度主页面中输入关键字s6，然后需要有页
NineLi·2017-08-29 19:17

编写网络爬虫获取饿了么商家信息（一）

利用HttpClient和Jsoup两种工具分别进行爬取数据maven坐标：commons-httpclientcommons-httpclient3.1org.jsoupjsoup1.10.2runtime
李润泽·2017-08-28 15:27

Java爬虫初体验:简单抓取IT之家热评(整合Spring Boot+Elasticsearch+Redis+Mybatis)

爬取主程序使用Jsoup解析网页源代码@ComponentpublicclassWebCrawler{privatestaticfinalStringencoding="utf-8";@AutowiredprivateHotCommentMapperhotCommentMapper
赖小明·2017-08-27 17:22

webmagic小试牛刀

序webmagic是java里头比较优秀的一个爬虫框架：使用Jsoup作为HTML解析工具，并基于其开发了解析XPath的工具Xsoup。默认使用了ApacheHttpClient作为下载工具。
weixin_34372728·2017-08-27 17:11

webmagic小试牛刀

序webmagic是java里头比较优秀的一个爬虫框架：使用Jsoup作为HTML解析工具，并基于其开发了解析XPath的工具Xsoup。默认使用了ApacheHttpClient作为下载工具。
codecraft·2017-08-27 00:00

Java爬虫入门简介（二） —— Jsoup解析HTML页面

博客系列Java爬虫入门简介（一）——HttpClient请求（本文）Java爬虫入门简介（二）——Jsoup解析HTML页面（本文）上一篇博客我们已经介绍了如何使用HttpClient模拟客户端请求页面了
数据学习（Datalearner）·2017-08-25 22:51

2017 优秀博文

一款干货满满，助你进阶的App项目Android仿今日头条的开源项目手把手教你从零开始做一个好看的APPKeepGank.IO-又一款开源Gank.IO客户端.欢迎star一个用来巩固Android基础的APPjsoup
狼也Langye·2017-08-24 15:52

简单的html解析工具类

就写了个简单的工具类用到的技术是结合了jsoup、sipsoup包的使用maven地址：org.jsoupjsoup1.10.2com.virjarsipsoupRELEASEimportjava.io.File
写代码的小姐姐·2017-08-16 16:31

用Jsoup写一个简单的爬虫，并把从网页上面爬下的数据保存到数据库中

今天研究了Jsoup的一些基本用法，来与大家一块分享一下。我是先把从网页上面的数据做成了一个对象，然后把对象存进HashMap中，最后通过JDBC再保存到数据库中。今天要进行爬虫的网站是智联招聘。
兰维轩·2017-08-10 19:33

行政区划官方数据--java对象或json-java爬虫获取

今天需要用到行政区划的数据，之前爬取过，但是没有保留。上各家API看了下，，都要收费或者key。。好吧，，自己动手。。webmagic框架。以下代码可以获取到所有的行政区划code和汉字。。这是一个list,,集合有了，，json还远吗？剩下的父子关系其实很好处理。。就是判断是否省市县，处理就好。先贴获取区划的代码：publicclassCityZoneSpiderimplementsPagePr
梦醉天下·2017-08-08 16:36

Java爬虫实战——利用jsoup爬取网页资源

前言最近沉寂了几周，那是因为小编在埋头farming，学习新技术，思考人生……我一直认为分享的目的在于自我成长并造福他人，我们曾经和现在在网路上搜索的资料和方案又何尝不是别人分享和总结的呢？感谢有那么多人在默默分享和付出……今天给大家分享一个小爬虫方案，小编很久很久之前就想深入爬虫的世界，可是放眼大都是Python系列，虽然用Python很爽很优雅，但一直在Java栈里，暂时不想额外去学Pytho
测试开发栈·2017-08-05 13:37

改进方法--C#使用NSoup解析HTML的乱码解决

NSoup是JSoup的Net移植版本。使用方法基本一致。如果项目涉及HTML的处理，强烈推荐NSoup，毕竟字符串截断太苦逼了。
RayWang80s·2017-08-03 12:55

Jsoup学习

------------------------------------------什么是Jsoup:跨项目请求数据的时候，ajax不支持跨域请求，但是javascript支持，使用jsoup从跨域服务端返回
尼古拉斯*妥妥·2017-07-30 21:21

Java爬虫入门简介（一） —— HttpClient请求及其使用方法

博客系列Java爬虫入门简介（一）——HttpClient请求（本文）Java爬虫入门简介（二）——Jsoup解析HTML页面博客系列一环境的准备二创建工程三第一个示例四HttpClient的详细使用博客系列首先
数据学习（Datalearner）·2017-07-27 21:48

利用jsoup来爬取网站匿名IP实践

解决思路是通过jsoup包去解析html，从而获取匿名IP地址，再通过设置IP地址以及端口号去访问一个网址从而验证匿名IP地址是否可用。
6点A君·2017-07-25 19:47

WebMagic简明教程（一）

WebMagic简明教程（一）前言做项目需要爬取一些数据，不想用Python，就尝试了下webmagic这个爬虫框架，总的来说上手还是比较简单的，这里来总结一下.webmagic是一个简单灵活的Java
chenxiaokang97·2017-07-23 01:48

Jsoup -- 网络爬虫解析器

需要下载jsoup-1.8.1.jar包jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。
遇见美好·2017-07-17 21:59

教务系统,验证码识别,异步加载,java爬虫06

上一篇介绍了Python的selenium,今天终于把selenium的java环境弄好了.遇到ajax异步加载的网页还真有点点头疼,普通的爬虫会遇到登录的网页和加载的验证码不一致,不过selenium还真是神器,可以模拟浏览器,实现加载的网页一致性,爬取网页无所不能.环境selenium3.4的jar包和依赖包下载:http://pan.baidu.com/s/1jI1ewNc同时需要Phant
m0_37681914·2017-07-14 11:24
上一页 44 45 46 47 48 49 50 51 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他