JSOUP爬虫常见问题解决方法

     首先我们必需明确一点的是,自己想要对那些网站进行爬取相关信息,其次就是你要爬取的东西,你要什么?接下来就是怎么去爬取,采用的方式手段是什么?页面中是否存在反爬虫技术,如何去解决?

 

(备注:以下部分说法是建立在下载HTML页面,css样式,js文件,各类图片中操作的)

 

一、jsoup + java技术爬虫

   充分利用Jsoup 工具,进行页面的解析,获取,以及修改原页面的东西,达成你想要的的效果。jsoup 是一种解析HTML页面转成doc,一个树状形式的数据结构,功能非常强大。

  jsoup 中会有正则表达式,通过正则表达式,利用Pattern 、Matcher ,可以获取特定的字段替换自己不要的东西

 

二、jsoup 获取HTML常用的属性方法有

       a.获取id的属性的值,由于id属性唯一,所以属性element 是单数。getELementById("idName").text(),获得的是String类型数据; 

 

      b.获取class的属性值,class属性为多个元素值,所以是一个复数概念,然后doc中存在这个getindex方法,获取第几个元素,同时亦可以用text()方法,或者是tostring方法,直接输出;

 

      c.获取tag标签的属性值,tag标签也是一个多数的概念,所以呢,是一个ELements 存储的对象的,要精准的定位在哪个地方需要自己多看一下页面的结构方式是怎么样的,获得标签之后,你可以对它进行操作,比如添加样式,添加节点,删除属性值,删除不必要的东西................比较多的东西

 

      d.获取方式getXX方式,也可以使用Select,具体的可以参看jsoup开发文档。

三、今天的重点

              1.数据就存在标签中(最简单)如何获取?

                 解决办法:

                                 通过标签和属性class 名称,id名称直接绑定获取值,比较简单。

                                 实例:比如存在一个

我是div实例

                                 String value  = doc.getElementByClass("myclass").text();(备注:)

              2.数据信息存在

你可能感兴趣的:(爬虫,jsoup,jsoup,爬虫)