Pannahouse
Pannahouse

JAVA爬虫demo

转载请注明出处：http://blog.csdn.net/lmj623565791/article/details/23272657

今天公司有个需求，需要做一些指定网站查询后的数据的抓取，于是花了点时间写了个demo供演示使用。

思想很简单：就是通过Java访问的链接，然后拿到html字符串，然后就是解析链接等需要的数据。

技术上使用Jsoup方便页面的解析，当然Jsoup很方便，也很简单，一行代码就能知道怎么用了：

[java] view plain copy
print ?
  1. Document doc = Jsoup.connect(“http://www.oschina.net/”)   
  2.  .data(”query”, “Java”)   // 请求参数  
  3.  .userAgent(”I ’ m jsoup”) // 设置 User-Agent   
  4.  .cookie(”auth”, “token”) // 设置 cookie   
  5.  .timeout(3000)           // 设置连接超时时间  
  6.  .post();                 // 使用 POST 方法访问 URL   
[java] view plain copy
print ?
  1. Document doc = Jsoup.connect(“http://www.oschina.net/”)   
  2.  .data(”query”, “Java”)   // 请求参数  
  3.  .userAgent(”I ’ m jsoup”) // 设置 User-Agent   
  4.  .cookie(”auth”, “token”) // 设置 cookie   
  5.  .timeout(3000)           // 设置连接超时时间  
  6.  .post();                 // 使用 POST 方法访问 URL   
 Document doc = Jsoup.connect("http://www.oschina.net/") 
  .data("query", "Java")   // 请求参数
  .userAgent("I ’ m jsoup") // 设置 User-Agent 
  .cookie("auth", "token") // 设置 cookie 
  .timeout(3000)           // 设置连接超时时间
  .post();                 // 使用 POST 方法访问 URL
下面介绍整个实现过程：

1、分析需要解析的页面：

网址：http://www1.sxcredit.gov.cn/public/infocomquery.do?method=publicIndexQuery

页面：

先在这个页面上做一次查询：观察下请求的url，参数，method等。

这里我们使用chrome内置的开发者工具（快捷键F12），下面是查询的结果：![这里写图片描述](https://img-blog.csdn.net/20180119003625760?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMzc4Nzg1Nzk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)


我们可以看到url，method，以及参数。知道了如何或者查询的URL，下面就开始代码了，为了重用与扩展，我定义了几个类：

1、Rule.java用于指定查询url,method,params等

[java] view plain copy
print ?
  1. package com.zhy.spider.rule;  
  2.   
  3. /** 
  4.  * 规则类 
  5.  *  
  6.  * @author zhy 
  7.  *  
  8.  */  
  9. public class Rule  
  10. {  
  11.     /** 
  12.      * 链接 
  13.      */  
  14.     private String url;  
  15.   
  16.     /** 
  17.      * 参数集合 
  18.      */  
  19.     private String[] params;  
  20.     /** 
  21.      * 参数对应的值 
  22.      */  
  23.     private String[] values;  
  24.   
  25.     /** 
  26.      * 对返回的HTML，第一次过滤所用的标签，请先设置type 
  27.      */  
  28.     private String resultTagName;  
  29.   
  30.     /** 
  31.      * CLASS / ID / SELECTION 
  32.      * 设置resultTagName的类型，默认为ID  
  33.      */  
  34.     private int type = ID ;  
  35.       
  36.     /** 
  37.      *GET / POST 
  38.      * 请求的类型，默认GET 
  39.      */  
  40.     private int requestMoethod = GET ;   
  41.       
  42.     public final static int GET = 0 ;  
  43.     public final static int POST = 1 ;  
  44.       
  45.   
  46.     public final static int CLASS = 0;  
  47.     public final static int ID = 1;  
  48.     public final static int SELECTION = 2;  
  49.   
  50.     public Rule()  
  51.     {  
  52.     }  
  53.   
  54.       
  55.     public Rule(String url, String[] params, String[] values,  
  56.             String resultTagName, int type, int requestMoethod)  
  57.     {  
  58.         super();  
  59.         this.url = url;  
  60.         this.params = params;  
  61.         this.values = values;  
  62.         this.resultTagName = resultTagName;  
  63.         this.type = type;  
  64.         this.requestMoethod = requestMoethod;  
  65.     }  
  66.   
  67.     public String getUrl()  
  68.     {  
  69.         return url;  
  70.     }  
  71.   
  72.     public void setUrl(String url)  
  73.     {  
  74.         this.url = url;  
  75.     }  
  76.   
  77.     public String[] getParams()  
  78.     {  
  79.         return params;  
  80.     }  
  81.   
  82.     public void setParams(String[] params)  
  83.     {  
  84.         this.params = params;  
  85.     }  
  86.   
  87.     public String[] getValues()  
  88.     {  
  89.         return values;  
  90.     }  
  91.   
  92.     public void setValues(String[] values)  
  93.     {  
  94.         this.values = values;  
  95.     }  
  96.   
  97.     public String getResultTagName()  
  98.     {  
  99.         return resultTagName;  
  100.     }  
  101.   
  102.     public void setResultTagName(String resultTagName)  
  103.     {  
  104.         this.resultTagName = resultTagName;  
  105.     }  
  106.   
  107.     public int getType()  
  108.     {  
  109.         return type;  
  110.     }  
  111.   
  112.     public void setType(int type)  
  113.     {  
  114.         this.type = type;  
  115.     }  
  116.   
  117.     public int getRequestMoethod()  
  118.     {  
  119.         return requestMoethod;  
  120.     }  
  121.   
  122.     public void setRequestMoethod(int requestMoethod)  
  123.     {  
  124.         this.requestMoethod = requestMoethod;  
  125.     }  
  126.   
  127. }  
[java] view plain copy
print ?
  1. package com.zhy.spider.rule;  
  2.   
  3. /** 
  4.  * 规则类 
  5.  *  
  6.  * @author zhy 
  7.  *  
  8.  */  
  9. public class Rule  
  10. {  
  11.     /** 
  12.      * 链接 
  13.      */  
  14.     private String url;  
  15.   
  16.     /** 
  17.      * 参数集合 
  18.      */  
  19.     private String[] params;  
  20.     /** 
  21.      * 参数对应的值 
  22.      */  
  23.     private String[] values;  
  24.   
  25.     /** 
  26.      * 对返回的HTML，第一次过滤所用的标签，请先设置type 
  27.      */  
  28.     private String resultTagName;  
  29.   
  30.     /** 
  31.      * CLASS / ID / SELECTION 
  32.      * 设置resultTagName的类型，默认为ID  
  33.      */  
  34.     private int type = ID ;  
  35.       
  36.     /** 
  37.      *GET / POST 
  38.      * 请求的类型，默认GET 
  39.      */  
  40.     private int requestMoethod = GET ;   
  41.       
  42.     public final static int GET = 0 ;  
  43.     public final static int POST = 1 ;  
  44.       
  45.   
  46.     public final static int CLASS = 0;  
  47.     public final static int ID = 1;  
  48.     public final static int SELECTION = 2;  
  49.   
  50.     public Rule()  
  51.     {  
  52.     }  
  53.   
  54.       
  55.     public Rule(String url, String[] params, String[] values,  
  56.             String resultTagName, int type, int requestMoethod)  
  57.     {  
  58.         super();  
  59.         this.url = url;  
  60.         this.params = params;  
  61.         this.values = values;  
  62.         this.resultTagName = resultTagName;  
  63.         this.type = type;  
  64.         this.requestMoethod = requestMoethod;  
  65.     }  
  66.   
  67.     public String getUrl()  
  68.     {  
  69.         return url;  
  70.     }  
  71.   
  72.     public void setUrl(String url)  
  73.     {  
  74.         this.url = url;  
  75.     }  
  76.   
  77.     public String[] getParams()  
  78.     {  
  79.         return params;  
  80.     }  
  81.   
  82.     public void setParams(String[] params)  
  83.     {  
  84.         this.params = params;  
  85.     }  
  86.   
  87.     public String[] getValues()  
  88.     {  
  89.         return values;  
  90.     }  
  91.   
  92.     public void setValues(String[] values)  
  93.     {  
  94.         this.values = values;  
  95.     }  
  96.   
  97.     public String getResultTagName()  
  98.     {  
  99.         return resultTagName;  
  100.     }  
  101.   
  102.     public void setResultTagName(String resultTagName)  
  103.     {  
  104.         this.resultTagName = resultTagName;  
  105.     }  
  106.   
  107.     public int getType()  
  108.     {  
  109.         return type;  
  110.     }  
  111.   
  112.     public void setType(int type)  
  113.     {  
  114.         this.type = type;  
  115.     }  
  116.   
  117.     public int getRequestMoethod()  
  118.     {  
  119.         return requestMoethod;  
  120.     }  
  121.   
  122.     public void setRequestMoethod(int requestMoethod)  
  123.     {  
  124.         this.requestMoethod = requestMoethod;  
  125.     }  
  126.   
  127. }  
package com.zhy.spider.rule;

/**
 * 规则类
 * 
 * @author zhy
 * 
 */
public class Rule
{
    /**
     * 链接
     */
    private String url;

    /**
     * 参数集合
     */
    private String[] params;
    /**
     * 参数对应的值
     */
    private String[] values;

    /**
     * 对返回的HTML，第一次过滤所用的标签，请先设置type
     */
    private String resultTagName;

    /**
     * CLASS / ID / SELECTION
     * 设置resultTagName的类型，默认为ID 
     */
    private int type = ID ;

    /**
     *GET / POST
     * 请求的类型，默认GET
     */
    private int requestMoethod = GET ; 

    public final static int GET = 0 ;
    public final static int POST = 1 ;


    public final static int CLASS = 0;
    public final static int ID = 1;
    public final static int SELECTION = 2;

    public Rule()
    {
    }


    public Rule(String url, String[] params, String[] values,
            String resultTagName, int type, int requestMoethod)
    {
        super();
        this.url = url;
        this.params = params;
        this.values = values;
        this.resultTagName = resultTagName;
        this.type = type;
        this.requestMoethod = requestMoethod;
    }

    public String getUrl()
    {
        return url;
    }

    public void setUrl(String url)
    {
        this.url = url;
    }

    public String[] getParams()
    {
        return params;
    }

    public void setParams(String[] params)
    {
        this.params = params;
    }

    public String[] getValues()
    {
        return values;
    }

    public void setValues(String[] values)
    {
        this.values = values;
    }

    public String getResultTagName()
    {
        return resultTagName;
    }

    public void setResultTagName(String resultTagName)
    {
        this.resultTagName = resultTagName;
    }

    public int getType()
    {
        return type;
    }

    public void setType(int type)
    {
        this.type = type;
    }

    public int getRequestMoethod()
    {
        return requestMoethod;
    }

    public void setRequestMoethod(int requestMoethod)
    {
        this.requestMoethod = requestMoethod;
    }

}

简单说一下：这个规则类定义了我们查询过程中需要的所有信息，方便我们的扩展，以及代码的重用，我们不可能针对每个需要抓取的网站写一套代码。


2、需要的数据对象，目前只需要链接，LinkTypeData.java

[java] view plain copy
print ?
  1. package com.zhy.spider.bean;  
  2.   
  3. public class LinkTypeData  
  4. {  
  5.     private int id;  
  6.     /** 
  7.      * 链接的地址 
  8.      */  
  9.     private String linkHref;  
  10.     /** 
  11.      * 链接的标题 
  12.      */  
  13.     private String linkText;  
  14.     /** 
  15.      * 摘要 
  16.      */  
  17.     private String summary;  
  18.     /** 
  19.      * 内容 
  20.      */  
  21.     private String content;  
  22.     public int getId()  
  23.     {  
  24.         return id;  
  25.     }  
  26.     public void setId(int id)  
  27.     {  
  28.         this.id = id;  
  29.     }  
  30.     public String getLinkHref()  
  31.     {  
  32.         return linkHref;  
  33.     }  
  34.     public void setLinkHref(String linkHref)  
  35.     {  
  36.         this.linkHref = linkHref;  
  37.     }  
  38.     public String getLinkText()  
  39.     {  
  40.         return linkText;  
  41.     }  
  42.     public void setLinkText(String linkText)  
  43.     {  
  44.         this.linkText = linkText;  
  45.     }  
  46.     public String getSummary()  
  47.     {  
  48.         return summary;  
  49.     }  
  50.     public void setSummary(String summary)  
  51.     {  
  52.         this.summary = summary;  
  53.     }  
  54.     public String getContent()  
  55.     {  
  56.         return content;  
  57.     }  
  58.     public void setContent(String content)  
  59.     {  
  60.         this.content = content;  
  61.     }  
  62. }  
[java] view plain copy
print ?
  1. package com.zhy.spider.bean;  
  2.   
  3. public class LinkTypeData  
  4. {  
  5.     private int id;  
  6.     /** 
  7.      * 链接的地址 
  8.      */  
  9.     private String linkHref;  
  10.     /** 
  11.      * 链接的标题 
  12.      */  
  13.     private String linkText;  
  14.     /** 
  15.      * 摘要 
  16.      */  
  17.     private String summary;  
  18.     /** 
  19.      * 内容 
  20.      */  
  21.     private String content;  
  22.     public int getId()  
  23.     {  
  24.         return id;  
  25.     }  
  26.     public void setId(int id)  
  27.     {  
  28.         this.id = id;  
  29.     }  
  30.     public String getLinkHref()  
  31.     {  
  32.         return linkHref;  
  33.     }  
  34.     public void setLinkHref(String linkHref)  
  35.     {  
  36.         this.linkHref = linkHref;  
  37.     }  
  38.     public String getLinkText()  
  39.     {  
  40.         return linkText;  
  41.     }  
  42.     public void setLinkText(String linkText)  
  43.     {  
  44.         this.linkText = linkText;  
  45.     }  
  46.     public String getSummary()  
  47.     {  
  48.         return summary;  
  49.     }  
  50.     public void setSummary(String summary)  
  51.     {  
  52.         this.summary = summary;  
  53.     }  
  54.     public String getContent()  
  55.     {  
  56.         return content;  
  57.     }  
  58.     public void setContent(String content)  
  59.     {  
  60.         this.content = content;  
  61.     }  
  62. }  
package com.zhy.spider.bean;

public class LinkTypeData
{
    private int id;
    /**
     * 链接的地址
     */
    private String linkHref;
    /**
     * 链接的标题
     */
    private String linkText;
    /**
     * 摘要
     */
    private String summary;
    /**
     * 内容
     */
    private String content;
    public int getId()
    {
        return id;
    }
    public void setId(int id)
    {
        this.id = id;
    }
    public String getLinkHref()
    {
        return linkHref;
    }
    public void setLinkHref(String linkHref)
    {
        this.linkHref = linkHref;
    }
    public String getLinkText()
    {
        return linkText;
    }
    public void setLinkText(String linkText)
    {
        this.linkText = linkText;
    }
    public String getSummary()
    {
        return summary;
    }
    public void setSummary(String summary)
    {
        this.summary = summary;
    }
    public String getContent()
    {
        return content;
    }
    public void setContent(String content)
    {
        this.content = content;
    }
}

3、核心的查询类：ExtractService.java

[java] view plain copy
print ?
  1. package com.zhy.spider.core;  
  2.   
  3. import java.io.IOException;  
  4. import java.util.ArrayList;  
  5. import java.util.List;  
  6. import java.util.Map;  
  7.   
  8. import javax.swing.plaf.TextUI;  
  9.   
  10. import org.jsoup.Connection;  
  11. import org.jsoup.Jsoup;  
  12. import org.jsoup.nodes.Document;  
  13. import org.jsoup.nodes.Element;  
  14. import org.jsoup.select.Elements;  
  15.   
  16. import com.zhy.spider.bean.LinkTypeData;  
  17. import com.zhy.spider.rule.Rule;  
  18. import com.zhy.spider.rule.RuleException;  
  19. import com.zhy.spider.util.TextUtil;  
  20.   
  21. /** 
  22.  *  
  23.  * @author zhy 
  24.  *  
  25.  */  
  26. public class ExtractService  
  27. {  
  28.     /** 
  29.      * @param rule 
  30.      * @return 
  31.      */  
  32.     public static List extract(Rule rule)  
  33.     {  
  34.   
  35.         // 进行对rule的必要校验  
  36.         validateRule(rule);  
  37.   
  38.         List datas = new ArrayList();  
  39.         LinkTypeData data = null;  
  40.         try  
  41.         {  
  42.             /** 
  43.              * 解析rule 
  44.              */  
  45.             String url = rule.getUrl();  
  46.             String[] params = rule.getParams();  
  47.             String[] values = rule.getValues();  
  48.             String resultTagName = rule.getResultTagName();  
  49.             int type = rule.getType();  
  50.             int requestType = rule.getRequestMoethod();  
  51.   
  52.             Connection conn = Jsoup.connect(url);  
  53.             // 设置查询参数  
  54.   
  55.             if (params != null)  
  56.             {  
  57.                 for (int i = 0; i < params.length; i++)  
  58.                 {  
  59.                     conn.data(params[i], values[i]);  
  60.                 }  
  61.             }  
  62.   
  63.             // 设置请求类型  
  64.             Document doc = null;  
  65.             switch (requestType)  
  66.             {  
  67.             case Rule.GET:  
  68.                 doc = conn.timeout(100000).get();  
  69.                 break;  
  70.             case Rule.POST:  
  71.                 doc = conn.timeout(100000).post();  
  72.                 break;  
  73.             }  
  74.   
  75.             //处理返回数据  
  76.             Elements results = new Elements();  
  77.             switch (type)  
  78.             {  
  79.             case Rule.CLASS:  
  80.                 results = doc.getElementsByClass(resultTagName);  
  81.                 break;  
  82.             case Rule.ID:  
  83.                 Element result = doc.getElementById(resultTagName);  
  84.                 results.add(result);  
  85.                 break;  
  86.             case Rule.SELECTION:  
  87.                 results = doc.select(resultTagName);  
  88.                 break;  
  89.             default:  
  90.                 //当resultTagName为空时默认去body标签  
  91.                 if (TextUtil.isEmpty(resultTagName))  
  92.                 {  
  93.                     results = doc.getElementsByTag(”body”);  
  94.                 }  
  95.             }  
  96.   
  97.             for (Element result : results)  
  98.             {  
  99.                 Elements links = result.getElementsByTag(”a”);  
  100.   
  101.                 for (Element link : links)  
  102.                 {  
  103.                     //必要的筛选  
  104.                     String linkHref = link.attr(”href”);  
  105.                     String linkText = link.text();  
  106.   
  107.                     data = new LinkTypeData();  
  108.                     data.setLinkHref(linkHref);  
  109.                     data.setLinkText(linkText);  
  110.   
  111.                     datas.add(data);  
  112.                 }  
  113.             }  
  114.   
  115.         } catch (IOException e)  
  116.         {  
  117.             e.printStackTrace();  
  118.         }  
  119.   
  120.         return datas;  
  121.     }  
  122.   
  123.     /** 
  124.      * 对传入的参数进行必要的校验 
  125.      */  
  126.     private static void validateRule(Rule rule)  
  127.     {  
  128.         String url = rule.getUrl();  
  129.         if (TextUtil.isEmpty(url))  
  130.         {  
  131.             throw new RuleException(“url不能为空！”);  
  132.         }  
  133.         if (!url.startsWith(“http://”))  
  134.         {  
  135.             throw new RuleException(“url的格式不正确！”);  
  136.         }  
  137.   
  138.         if (rule.getParams() != null && rule.getValues() != null)  
  139.         {  
  140.             if (rule.getParams().length != rule.getValues().length)  
  141.             {  
  142.                 throw new RuleException(“参数的键值对个数不匹配！”);  
  143.             }  
  144.         }  
  145.   
  146.     }  
  147.   
  148.   
  149. }  
[java] view plain copy
print ?
  1. package com.zhy.spider.core;  
  2.   
  3. import java.io.IOException;  
  4. import java.util.ArrayList;  
  5. import java.util.List;  
  6. import java.util.Map;  
  7.   
  8. import javax.swing.plaf.TextUI;  
  9.   
  10. import org.jsoup.Connection;  
  11. import org.jsoup.Jsoup;  
  12. import org.jsoup.nodes.Document;  
  13. import org.jsoup.nodes.Element;  
  14. import org.jsoup.select.Elements;  
  15.   
  16. import com.zhy.spider.bean.LinkTypeData;  
  17. import com.zhy.spider.rule.Rule;  
  18. import com.zhy.spider.rule.RuleException;  
  19. import com.zhy.spider.util.TextUtil;  
  20.   
  21. /** 
  22.  *  
  23.  * @author zhy 
  24.  *  
  25.  */  
  26. public class ExtractService  
  27. {  
  28.     /** 
  29.      * @param rule 
  30.      * @return 
  31.      */  
  32.     public static List extract(Rule rule)  
  33.     {  
  34.   
  35.         // 进行对rule的必要校验  
  36.         validateRule(rule);  
  37.   
  38.         List datas = new ArrayList();  
  39.         LinkTypeData data = null;  
  40.         try  
  41.         {  
  42.             /** 
  43.              * 解析rule 
  44.              */  
  45.             String url = rule.getUrl();  
  46.             String[] params = rule.getParams();  
  47.             String[] values = rule.getValues();  
  48.             String resultTagName = rule.getResultTagName();  
  49.             int type = rule.getType();  
  50.             int requestType = rule.getRequestMoethod();  
  51.   
  52.             Connection conn = Jsoup.connect(url);  
  53.             // 设置查询参数  
  54.   
  55.             if (params != null)  
  56.             {  
  57.                 for (int i = 0; i < params.length; i++)  
  58.                 {  
  59.                     conn.data(params[i], values[i]);  
  60.                 }  
  61.             }  
  62.   
  63.             // 设置请求类型  
  64.             Document doc = null;  
  65.             switch (requestType)  
  66.             {  
  67.             case Rule.GET:  
  68.                 doc = conn.timeout(100000).get();  
  69.                 break;  
  70.             case Rule.POST:  
  71.                 doc = conn.timeout(100000).post();  
  72.                 break;  
  73.             }  
  74.   
  75.             //处理返回数据  
  76.             Elements results = new Elements();  
  77.             switch (type)  
  78.             {  
  79.             case Rule.CLASS:  
  80.                 results = doc.getElementsByClass(resultTagName);  
  81.                 break;  
  82.             case Rule.ID:  
  83.                 Element result = doc.getElementById(resultTagName);  
  84.                 results.add(result);  
  85.                 break;  
  86.             case Rule.SELECTION:  
  87.                 results = doc.select(resultTagName);  
  88.                 break;  
  89.             default:  
  90.                 //当resultTagName为空时默认去body标签  
  91.                 if (TextUtil.isEmpty(resultTagName))  
  92.                 {  
  93.                     results = doc.getElementsByTag(”body”);  
  94.                 }  
  95.             }  
  96.   
  97.             for (Element result : results)  
  98.             {  
  99.                 Elements links = result.getElementsByTag(”a”);  
  100.   
  101.                 for (Element link : links)  
  102.                 {  
  103.                     //必要的筛选  
  104.                     String linkHref = link.attr(”href”);  
  105.                     String linkText = link.text();  
  106.   
  107.                     data = new LinkTypeData();  
  108.                     data.setLinkHref(linkHref);  
  109.                     data.setLinkText(linkText);  
  110.   
  111.                     datas.add(data);  
  112.                 }  
  113.             }  
  114.   
  115.         } catch (IOException e)  
  116.         {  
  117.             e.printStackTrace();  
  118.         }  
  119.   
  120.         return datas;  
  121.     }  
  122.   
  123.     /** 
  124.      * 对传入的参数进行必要的校验 
  125.      */  
  126.     private static void validateRule(Rule rule)  
  127.     {  
  128.         String url = rule.getUrl();  
  129.         if (TextUtil.isEmpty(url))  
  130.         {  
  131.             throw new RuleException(“url不能为空！”);  
  132.         }  
  133.         if (!url.startsWith(“http://”))  
  134.         {  
  135.             throw new RuleException(“url的格式不正确！”);  
  136.         }  
  137.   
  138.         if (rule.getParams() != null && rule.getValues() != null)  
  139.         {  
  140.             if (rule.getParams().length != rule.getValues().length)  
  141.             {  
  142.                 throw new RuleException(“参数的键值对个数不匹配！”);  
  143.             }  
  144.         }  
  145.   
  146.     }  
  147.   
  148.   
  149. }  
package com.zhy.spider.core;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

import javax.swing.plaf.TextUI;

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import com.zhy.spider.bean.LinkTypeData;
import com.zhy.spider.rule.Rule;
import com.zhy.spider.rule.RuleException;
import com.zhy.spider.util.TextUtil;

/**
 * 
 * @author zhy
 * 
 */
public class ExtractService
{
    /**
     * @param rule
     * @return
     */
    public static List extract(Rule rule)
    {

        // 进行对rule的必要校验
        validateRule(rule);

        List datas = new ArrayList();
        LinkTypeData data = null;
        try
        {
            /**
             * 解析rule
             */
            String url = rule.getUrl();
            String[] params = rule.getParams();
            String[] values = rule.getValues();
            String resultTagName = rule.getResultTagName();
            int type = rule.getType();
            int requestType = rule.getRequestMoethod();

            Connection conn = Jsoup.connect(url);
            // 设置查询参数

            if (params != null)
            {
                for (int i = 0; i < params.length; i++)
                {
                    conn.data(params[i], values[i]);
                }
            }

            // 设置请求类型
            Document doc = null;
            switch (requestType)
            {
            case Rule.GET:
                doc = conn.timeout(100000).get();
                break;
            case Rule.POST:
                doc = conn.timeout(100000).post();
                break;
            }

            //处理返回数据
            Elements results = new Elements();
            switch (type)
            {
            case Rule.CLASS:
                results = doc.getElementsByClass(resultTagName);
                break;
            case Rule.ID:
                Element result = doc.getElementById(resultTagName);
                results.add(result);
                break;
            case Rule.SELECTION:
                results = doc.select(resultTagName);
                break;
            default:
                //当resultTagName为空时默认去body标签
                if (TextUtil.isEmpty(resultTagName))
                {
                    results = doc.getElementsByTag("body");
                }
            }

            for (Element result : results)
            {
                Elements links = result.getElementsByTag("a");

                for (Element link : links)
                {
                    //必要的筛选
                    String linkHref = link.attr("href");
                    String linkText = link.text();

                    data = new LinkTypeData();
                    data.setLinkHref(linkHref);
                    data.setLinkText(linkText);

                    datas.add(data);
                }
            }

        } catch (IOException e)
        {
            e.printStackTrace();
        }

        return datas;
    }

    /**
     * 对传入的参数进行必要的校验
     */
    private static void validateRule(Rule rule)
    {
        String url = rule.getUrl();
        if (TextUtil.isEmpty(url))
        {
            throw new RuleException("url不能为空！");
        }
        if (!url.startsWith("http://"))
        {
            throw new RuleException("url的格式不正确！");
        }

        if (rule.getParams() != null && rule.getValues() != null)
        {
            if (rule.getParams().length != rule.getValues().length)
            {
                throw new RuleException("参数的键值对个数不匹配！");
            }
        }

    }


}

4、里面用了一个异常类：RuleException.java

[java] view plain copy
print ?
  1. package com.zhy.spider.rule;  
  2.   
  3. public class RuleException extends RuntimeException  
  4. {  
  5.   
  6.     public RuleException()  
  7.     {  
  8.         super();  
  9.         // TODO Auto-generated constructor stub  
  10.     }  
  11.   
  12.     public RuleException(String message, Throwable cause)  
  13.     {  
  14.         super(message, cause);  
  15.         // TODO Auto-generated constructor stub  
  16.     }  
  17.   
  18.     public RuleException(String message)  
  19.     {  
  20.         super(message);  
  21.         // TODO Auto-generated constructor stub  
  22.     }  
  23.   
  24.     public RuleException(Throwable cause)  
  25.     {  
  26.         super(cause);  
  27.         // TODO Auto-generated constructor stub  
  28.     }  
  29.   
  30. }  
[java] view plain copy
print ?
  1. package com.zhy.spider.rule;  
  2.   
  3. public class RuleException extends RuntimeException  
  4. {  
  5.   
  6.     public RuleException()  
  7.     {  
  8.         super();  
  9.         // TODO Auto-generated constructor stub  
  10.     }  
  11.   
  12.     public RuleException(String message, Throwable cause)  
  13.     {  
  14.         super(message, cause);  
  15.         // TODO Auto-generated constructor stub  
  16.     }  
  17.   
  18.     public RuleException(String message)  
  19.     {  
  20.         super(message);  
  21.         // TODO Auto-generated constructor stub  
  22.     }  
  23.   
  24.     public RuleException(Throwable cause)  
  25.     {  
  26.         super(cause);  
  27.         // TODO Auto-generated constructor stub  
  28.     }  
  29.   
  30. }  
package com.zhy.spider.rule;

public class RuleException extends RuntimeException
{

    public RuleException()
    {
        super();
        // TODO Auto-generated constructor stub
    }

    public RuleException(String message, Throwable cause)
    {
        super(message, cause);
        // TODO Auto-generated constructor stub
    }

    public RuleException(String message)
    {
        super(message);
        // TODO Auto-generated constructor stub
    }

    public RuleException(Throwable cause)
    {
        super(cause);
        // TODO Auto-generated constructor stub
    }

}

5、最后是测试了：这里使用了两个网站进行测试，采用了不同的规则，具体看代码吧

[java] view plain copy
print ?
  1. package com.zhy.spider.test;  
  2.   
  3. import java.util.List;  
  4.   
  5. import com.zhy.spider.bean.LinkTypeData;  
  6. import com.zhy.spider.core.ExtractService;  
  7. import com.zhy.spider.rule.Rule;  
  8.   
  9. public class Test  
  10. {  
  11.     @org.junit.Test  
  12.     public void getDatasByClass()  
  13.     {  
  14.         Rule rule = new Rule(  
  15.                 ”http://www1.sxcredit.gov.cn/public/infocomquery.do?method=publicIndexQuery”,  
  16.         new String[] { “query.enterprisename”,“query.registationnumber” }, new String[] { “兴网”,“” },  
  17.                 ”cont_right”, Rule.CLASS, Rule.POST);  
  18.         List extracts = ExtractService.extract(rule);  
  19.         printf(extracts);  
  20.     }  
  21.   
  22.     @org.junit.Test  
  23.     public void getDatasByCssQuery()  
  24.     {  
  25.         Rule rule = new Rule(“http://www.11315.com/search”,  
  26.                 new String[] { “name” }, new String[] { “兴网” },  
  27.                 ”div.g-mn div.con-model”, Rule.SELECTION, Rule.GET);  
  28.         List extracts = ExtractService.extract(rule);  
  29.         printf(extracts);  
  30.     }  
  31.   
  32.     public void printf(List datas)  
  33.     {  
  34.         for (LinkTypeData data : datas)  
  35.         {  
  36.             System.out.println(data.getLinkText());  
  37.             System.out.println(data.getLinkHref());  
  38.             System.out.println(”***********************************”);  
  39.         }  
  40.   
  41.     }  
  42. }  
[java] view plain copy
print ?
  1. package com.zhy.spider.test;  
  2.   
  3. import java.util.List;  
  4.   
  5. import com.zhy.spider.bean.LinkTypeData;  
  6. import com.zhy.spider.core.ExtractService;  
  7. import com.zhy.spider.rule.Rule;  
  8.   
  9. public class Test  
  10. {  
  11.     @org.junit.Test  
  12.     public void getDatasByClass()  
  13.     {  
  14.         Rule rule = new Rule(  
  15.                 ”http://www1.sxcredit.gov.cn/public/infocomquery.do?method=publicIndexQuery”,  
  16.         new String[] { “query.enterprisename”,“query.registationnumber” }, new String[] { “兴网”,“” },  
  17.                 ”cont_right”, Rule.CLASS, Rule.POST);  
  18.         List extracts = ExtractService.extract(rule);  
  19.         printf(extracts);  
  20.     }  
  21.   
  22.     @org.junit.Test  
  23.     public void getDatasByCssQuery()  
  24.     {  
  25.         Rule rule = new Rule(“http://www.11315.com/search”,  
  26.                 new String[] { “name” }, new String[] { “兴网” },  
  27.                 ”div.g-mn div.con-model”, Rule.SELECTION, Rule.GET);  
  28.         List extracts = ExtractService.extract(rule);  
  29.         printf(extracts);  
  30.     }  
  31.   
  32.     public void printf(List datas)  
  33.     {  
  34.         for (LinkTypeData data : datas)  
  35.         {  
  36.             System.out.println(data.getLinkText());  
  37.             System.out.println(data.getLinkHref());  
  38.             System.out.println(”***********************************”);  
  39.         }  
  40.   
  41.     }  
  42. }  
package com.zhy.spider.test;

import java.util.List;

import com.zhy.spider.bean.LinkTypeData;
import com.zhy.spider.core.ExtractService;
import com.zhy.spider.rule.Rule;

public class Test
{
    @org.junit.Test
    public void getDatasByClass()
    {
        Rule rule = new Rule(
                "http://www1.sxcredit.gov.cn/public/infocomquery.do?method=publicIndexQuery",
        new String[] { "query.enterprisename","query.registationnumber" }, new String[] { "兴网","" },
                "cont_right", Rule.CLASS, Rule.POST);
        List extracts = ExtractService.extract(rule);
        printf(extracts);
    }

    @org.junit.Test
    public void getDatasByCssQuery()
    {
        Rule rule = new Rule("http://www.11315.com/search",
                new String[] { "name" }, new String[] { "兴网" },
                "div.g-mn div.con-model", Rule.SELECTION, Rule.GET);
        List extracts = ExtractService.extract(rule);
        printf(extracts);
    }

    public void printf(List datas)
    {
        for (LinkTypeData data : datas)
        {
            System.out.println(data.getLinkText());
            System.out.println(data.getLinkHref());
            System.out.println("***********************************");
        }

    }
}

输出结果：

[java] view plain copy
print ?
  1. 深圳市网兴科技有限公司  
  2. http://14603257.11315.com  
  3. ***********************************  
  4. 荆州市兴网公路物资有限公司  
  5. http://05155980.11315.com  
  6. ***********************************  
  7. 西安市全兴网吧  
  8. #  
  9. ***********************************  
  10. 子长县新兴网城  
  11. #  
  12. ***********************************  
  13. 陕西同兴网络信息有限责任公司第三分公司  
  14. #  
  15. ***********************************  
  16. 西安高兴网络科技有限公司  
  17. #  
  18. ***********************************  
  19. 陕西同兴网络信息有限责任公司西安分公司  
  20. #  
  21. ***********************************  
[java] view plain copy
print ?
  1. 深圳市网兴科技有限公司  
  2. http://14603257.11315.com  
  3. ***********************************  
  4. 荆州市兴网公路物资有限公司  
  5. http://05155980.11315.com  
  6. ***********************************  
  7. 西安市全兴网吧  
  8. #  
  9. ***********************************  
  10. 子长县新兴网城  
  11. #  
  12. ***********************************  
  13. 陕西同兴网络信息有限责任公司第三分公司  
  14. #  
  15. ***********************************  
  16. 西安高兴网络科技有限公司  
  17. #  
  18. ***********************************  
  19. 陕西同兴网络信息有限责任公司西安分公司  
  20. #  
  21. ***********************************  
深圳市网兴科技有限公司
http://14603257.11315.com
***********************************
荆州市兴网公路物资有限公司
http://05155980.11315.com
***********************************
西安市全兴网吧
#
***********************************
子长县新兴网城
#
***********************************
陕西同兴网络信息有限责任公司第三分公司
#
***********************************
西安高兴网络科技有限公司
#
***********************************
陕西同兴网络信息有限责任公司西安分公司
#
***********************************

最后使用一个Baidu新闻来测试我们的代码：说明我们的代码是通用的。

[java] view plain copy
print ?
  1.         /** 
  2.  * 使用百度新闻，只设置url和关键字与返回类型 
  3.  */  
  4. @org.junit.Test  
  5. public void getDatasByCssQueryUserBaidu()  
  6. {  
  7.     Rule rule = new Rule(“http://news.baidu.com/ns”,  
  8.             new String[] { “word” }, new String[] { “支付宝” },  
  9.             null, -1, Rule.GET);  
  10.     List extracts = ExtractService.extract(rule);  
  11.     printf(extracts);  
  12. }  
[java] view plain copy
print ?
  1.         /** 
  2.  * 使用百度新闻，只设置url和关键字与返回类型 
  3.  */  
  4. @org.junit.Test  
  5. public void getDatasByCssQueryUserBaidu()  
  6. {  
  7.     Rule rule = new Rule(“http://news.baidu.com/ns”,  
  8.             new String[] { “word” }, new String[] { “支付宝” },  
  9.             null, -1, Rule.GET);  
  10.     List extracts = ExtractService.extract(rule);  
  11.     printf(extracts);  
  12. }  
         /**
     * 使用百度新闻，只设置url和关键字与返回类型
     */
    @org.junit.Test
    public void getDatasByCssQueryUserBaidu()
    {
        Rule rule = new Rule("http://news.baidu.com/ns",
                new String[] { "word" }, new String[] { "支付宝" },
                null, -1, Rule.GET);
        List extracts = ExtractService.extract(rule);
        printf(extracts);
    }
我们只设置了链接、关键字、和请求类型，不设置具体的筛选条件。

结果：有一定的垃圾数据是肯定的，但是需要的数据肯定也抓取出来了。我们可以设置Rule.SECTION,以及筛选条件进一步的限制。

[html] view plain copy
print ?
  1. 按时间排序  
  2. /ns?word=支付宝&ie=utf-8&bs=支付宝&sr=0&cl=2&rn=20&tn=news&ct=0&clk=sortbytime  
  3. ***********************************  
  4. x  
  5. javascript:void(0)  
  6. ***********************************  
  7. 支付宝将联合多方共建安全基金 首批投入4000万  
  8. http://finance.ifeng.com/a/20140409/12081871_0.shtml  
  9. ***********************************  
  10. 7条相同新闻  
  11. /ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:2465146414%7C697779368%7C3832159921&same=7&cl=1&tn=news&rn=30&fm=sd  
  12. ***********************************  
  13. 百度快照  
  14. http://cache.baidu.com/c?m=9d78d513d9d437ab4f9e91697d1cc0161d4381132ba7d3020cd0870fd33a541b0120a1ac26510d19879e20345dfe1e4bea876d26605f75a09bbfd91782a6c1352f8a2432721a844a0fd019adc1452fc423875d9dad0ee7cdb168d5f18c&p=c96ec64ad48b2def49bd9b780b64&newp=c4769a4790934ea95ea28e281c4092695912c10e3dd796&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=1  
  15. ***********************************  
  16. OpenSSL漏洞涉及众多网站 支付宝称暂无数据泄露  
  17. http://tech.ifeng.com/internet/detail_2014_04/09/35590390_0.shtml  
  18. ***********************************  
  19. 26条相同新闻  
  20. /ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:3869124100&same=26&cl=1&tn=news&rn=30&fm=sd  
  21. ***********************************  
  22. 百度快照  
  23. http://cache.baidu.com/c?m=9f65cb4a8c8507ed4fece7631050803743438014678387492ac3933fc239045c1c3aa5ec677e4742ce932b2152f4174bed843670340537b0efca8e57dfb08f29288f2c367117845615a71bb8cb31649b66cf04fdea44a7ecff25e5aac5a0da4323c044757e97f1fb4d7017dd1cf4&p=8b2a970d95df11a05aa4c32013&newp=9e39c64ad4dd50fa40bd9b7c5253d8304503c52251d5ce042acc&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=2  
  24. ***********************************  
  25. 雅虎日本6月起开始支持支付宝付款  
  26. http://www.techweb.com.cn/ucweb/news/id/2025843  
  27. ***********************************  
[html] view plain copy
print ?
  1. 按时间排序  
  2. /ns?word=支付宝&ie=utf-8&bs=支付宝&sr=0&cl=2&rn=20&tn=news&ct=0&clk=sortbytime  
  3. ***********************************  
  4. x  
  5. javascript:void(0)  
  6. ***********************************  
  7. 支付宝将联合多方共建安全基金 首批投入4000万  
  8. http://finance.ifeng.com/a/20140409/12081871_0.shtml  
  9. ***********************************  
  10. 7条相同新闻  
  11. /ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:2465146414%7C697779368%7C3832159921&same=7&cl=1&tn=news&rn=30&fm=sd  
  12. ***********************************  
  13. 百度快照  
  14. http://cache.baidu.com/c?m=9d78d513d9d437ab4f9e91697d1cc0161d4381132ba7d3020cd0870fd33a541b0120a1ac26510d19879e20345dfe1e4bea876d26605f75a09bbfd91782a6c1352f8a2432721a844a0fd019adc1452fc423875d9dad0ee7cdb168d5f18c&p=c96ec64ad48b2def49bd9b780b64&newp=c4769a4790934ea95ea28e281c4092695912c10e3dd796&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=1  
  15. ***********************************  
  16. OpenSSL漏洞涉及众多网站 支付宝称暂无数据泄露  
  17. http://tech.ifeng.com/internet/detail_2014_04/09/35590390_0.shtml  
  18. ***********************************  
  19. 26条相同新闻  
  20. /ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:3869124100&same=26&cl=1&tn=news&rn=30&fm=sd  
  21. ***********************************  
  22. 百度快照  
  23. http://cache.baidu.com/c?m=9f65cb4a8c8507ed4fece7631050803743438014678387492ac3933fc239045c1c3aa5ec677e4742ce932b2152f4174bed843670340537b0efca8e57dfb08f29288f2c367117845615a71bb8cb31649b66cf04fdea44a7ecff25e5aac5a0da4323c044757e97f1fb4d7017dd1cf4&p=8b2a970d95df11a05aa4c32013&newp=9e39c64ad4dd50fa40bd9b7c5253d8304503c52251d5ce042acc&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=2  
  24. ***********************************  
  25. 雅虎日本6月起开始支持支付宝付款  
  26. http://www.techweb.com.cn/ucweb/news/id/2025843  
  27. ***********************************  
按时间排序
/ns?word=支付宝&ie=utf-8&bs=支付宝&sr=0&cl=2&rn=20&tn=news&ct=0&clk=sortbytime
***********************************
x
javascript:void(0)
***********************************
支付宝将联合多方共建安全基金 首批投入4000万
http://finance.ifeng.com/a/20140409/12081871_0.shtml
***********************************
7条相同新闻
/ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:2465146414%7C697779368%7C3832159921&same=7&cl=1&tn=news&rn=30&fm=sd
***********************************
百度快照
http://cache.baidu.com/c?m=9d78d513d9d437ab4f9e91697d1cc0161d4381132ba7d3020cd0870fd33a541b0120a1ac26510d19879e20345dfe1e4bea876d26605f75a09bbfd91782a6c1352f8a2432721a844a0fd019adc1452fc423875d9dad0ee7cdb168d5f18c&p=c96ec64ad48b2def49bd9b780b64&newp=c4769a4790934ea95ea28e281c4092695912c10e3dd796&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=1
***********************************
OpenSSL漏洞涉及众多网站 支付宝称暂无数据泄露
http://tech.ifeng.com/internet/detail_2014_04/09/35590390_0.shtml
***********************************
26条相同新闻
/ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:3869124100&same=26&cl=1&tn=news&rn=30&fm=sd
***********************************
百度快照
http://cache.baidu.com/c?m=9f65cb4a8c8507ed4fece7631050803743438014678387492ac3933fc239045c1c3aa5ec677e4742ce932b2152f4174bed843670340537b0efca8e57dfb08f29288f2c367117845615a71bb8cb31649b66cf04fdea44a7ecff25e5aac5a0da4323c044757e97f1fb4d7017dd1cf4&p=8b2a970d95df11a05aa4c32013&newp=9e39c64ad4dd50fa40bd9b7c5253d8304503c52251d5ce042acc&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=2
***********************************
雅虎日本6月起开始支持支付宝付款
http://www.techweb.com.cn/ucweb/news/id/2025843
***********************************


如果有什么不足，可以指出；如果觉得对你有用，顶一下~~哈哈

源码下载，点击这里。





转载请注明出处：http://blog.csdn.net/lmj623565791/article/details/23272657

今天公司有个需求，需要做一些指定网站查询后的数据的抓取，于是花了点时间写了个demo供演示使用。

思想很简单：就是通过Java访问的链接，然后拿到html字符串，然后就是解析链接等需要的数据。

技术上使用Jsoup方便页面的解析，当然Jsoup很方便，也很简单，一行代码就能知道怎么用了：

[java] view plain copy
print ?
  1. Document doc = Jsoup.connect(“http://www.oschina.net/”)   
  2.  .data(”query”, “Java”)   // 请求参数  
  3.  .userAgent(”I ’ m jsoup”) // 设置 User-Agent   
  4.  .cookie(”auth”, “token”) // 设置 cookie   
  5.  .timeout(3000)           // 设置连接超时时间  
  6.  .post();                 // 使用 POST 方法访问 URL   
[java] view plain copy
print ?
  1. Document doc = Jsoup.connect(“http://www.oschina.net/”)   
  2.  .data(”query”, “Java”)   // 请求参数  
  3.  .userAgent(”I ’ m jsoup”) // 设置 User-Agent   
  4.  .cookie(”auth”, “token”) // 设置 cookie   
  5.  .timeout(3000)           // 设置连接超时时间  
  6.  .post();                 // 使用 POST 方法访问 URL   
 Document doc = Jsoup.connect("http://www.oschina.net/") 
  .data("query", "Java")   // 请求参数
  .userAgent("I ’ m jsoup") // 设置 User-Agent 
  .cookie("auth", "token") // 设置 cookie 
  .timeout(3000)           // 设置连接超时时间
  .post();                 // 使用 POST 方法访问 URL
下面介绍整个实现过程：

1、分析需要解析的页面：![这里写图片描述](https://img-blog.csdn.net/20180119002051424?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMzc4Nzg1Nzk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

网址：http://www1.sxcredit.gov.cn/public/infocomquery.do?method=publicIndexQuery

页面：

先在这个页面上做一次查询：观察下请求的url，参数，method等。

这里我们使用chrome内置的开发者工具（快捷键F12），下面是查询的结果：


我们可以看到url，method，以及参数。知道了如何或者查询的URL，下面就开始代码了，为了重用与扩展，我定义了几个类：

1、Rule.java用于指定查询url,method,params等

[java] view plain copy
print ?
  1. package com.zhy.spider.rule;  
  2.   
  3. /** 
  4.  * 规则类 
  5.  *  
  6.  * @author zhy 
  7.  *  
  8.  */  
  9. public class Rule  
  10. {  
  11.     /** 
  12.      * 链接 
  13.      */  
  14.     private String url;  
  15.   
  16.     /** 
  17.      * 参数集合 
  18.      */  
  19.     private String[] params;  
  20.     /** 
  21.      * 参数对应的值 
  22.      */  
  23.     private String[] values;  
  24.   
  25.     /** 
  26.      * 对返回的HTML，第一次过滤所用的标签，请先设置type 
  27.      */  
  28.     private String resultTagName;  
  29.   
  30.     /** 
  31.      * CLASS / ID / SELECTION 
  32.      * 设置resultTagName的类型，默认为ID  
  33.      */  
  34.     private int type = ID ;  
  35.       
  36.     /** 
  37.      *GET / POST 
  38.      * 请求的类型，默认GET 
  39.      */  
  40.     private int requestMoethod = GET ;   
  41.       
  42.     public final static int GET = 0 ;  
  43.     public final static int POST = 1 ;  
  44.       
  45.   
  46.     public final static int CLASS = 0;  
  47.     public final static int ID = 1;  
  48.     public final static int SELECTION = 2;  
  49.   
  50.     public Rule()  
  51.     {  
  52.     }  
  53.   
  54.       
  55.     public Rule(String url, String[] params, String[] values,  
  56.             String resultTagName, int type, int requestMoethod)  
  57.     {  
  58.         super();  
  59.         this.url = url;  
  60.         this.params = params;  
  61.         this.values = values;  
  62.         this.resultTagName = resultTagName;  
  63.         this.type = type;  
  64.         this.requestMoethod = requestMoethod;  
  65.     }  
  66.   
  67.     public String getUrl()  
  68.     {  
  69.         return url;  
  70.     }  
  71.   
  72.     public void setUrl(String url)  
  73.     {  
  74.         this.url = url;  
  75.     }  
  76.   
  77.     public String[] getParams()  
  78.     {  
  79.         return params;  
  80.     }  
  81.   
  82.     public void setParams(String[] params)  
  83.     {  
  84.         this.params = params;  
  85.     }  
  86.   
  87.     public String[] getValues()  
  88.     {  
  89.         return values;  
  90.     }  
  91.   
  92.     public void setValues(String[] values)  
  93.     {  
  94.         this.values = values;  
  95.     }  
  96.   
  97.     public String getResultTagName()  
  98.     {  
  99.         return resultTagName;  
  100.     }  
  101.   
  102.     public void setResultTagName(String resultTagName)  
  103.     {  
  104.         this.resultTagName = resultTagName;  
  105.     }  
  106.   
  107.     public int getType()  
  108.     {  
  109.         return type;  
  110.     }  
  111.   
  112.     public void setType(int type)  
  113.     {  
  114.         this.type = type;  
  115.     }  
  116.   
  117.     public int getRequestMoethod()  
  118.     {  
  119.         return requestMoethod;  
  120.     }  
  121.   
  122.     public void setRequestMoethod(int requestMoethod)  
  123.     {  
  124.         this.requestMoethod = requestMoethod;  
  125.     }  
  126.   
  127. }  
[java] view plain copy
print ?
  1. package com.zhy.spider.rule;  
  2.   
  3. /** 
  4.  * 规则类 
  5.  *  
  6.  * @author zhy 
  7.  *  
  8.  */  
  9. public class Rule  
  10. {  
  11.     /** 
  12.      * 链接 
  13.      */  
  14.     private String url;  
  15.   
  16.     /** 
  17.      * 参数集合 
  18.      */  
  19.     private String[] params;  
  20.     /** 
  21.      * 参数对应的值 
  22.      */  
  23.     private String[] values;  
  24.   
  25.     /** 
  26.      * 对返回的HTML，第一次过滤所用的标签，请先设置type 
  27.      */  
  28.     private String resultTagName;  
  29.   
  30.     /** 
  31.      * CLASS / ID / SELECTION 
  32.      * 设置resultTagName的类型，默认为ID  
  33.      */  
  34.     private int type = ID ;  
  35.       
  36.     /** 
  37.      *GET / POST 
  38.      * 请求的类型，默认GET 
  39.      */  
  40.     private int requestMoethod = GET ;   
  41.       
  42.     public final static int GET = 0 ;  
  43.     public final static int POST = 1 ;  
  44.       
  45.   
  46.     public final static int CLASS = 0;  
  47.     public final static int ID = 1;  
  48.     public final static int SELECTION = 2;  
  49.   
  50.     public Rule()  
  51.     {  
  52.     }  
  53.   
  54.       
  55.     public Rule(String url, String[] params, String[] values,  
  56.             String resultTagName, int type, int requestMoethod)  
  57.     {  
  58.         super();  
  59.         this.url = url;  
  60.         this.params = params;  
  61.         this.values = values;  
  62.         this.resultTagName = resultTagName;  
  63.         this.type = type;  
  64.         this.requestMoethod = requestMoethod;  
  65.     }  
  66.   
  67.     public String getUrl()  
  68.     {  
  69.         return url;  
  70.     }  
  71.   
  72.     public void setUrl(String url)  
  73.     {  
  74.         this.url = url;  
  75.     }  
  76.   
  77.     public String[] getParams()  
  78.     {  
  79.         return params;  
  80.     }  
  81.   
  82.     public void setParams(String[] params)  
  83.     {  
  84.         this.params = params;  
  85.     }  
  86.   
  87.     public String[] getValues()  
  88.     {  
  89.         return values;  
  90.     }  
  91.   
  92.     public void setValues(String[] values)  
  93.     {  
  94.         this.values = values;  
  95.     }  
  96.   
  97.     public String getResultTagName()  
  98.     {  
  99.         return resultTagName;  
  100.     }  
  101.   
  102.     public void setResultTagName(String resultTagName)  
  103.     {  
  104.         this.resultTagName = resultTagName;  
  105.     }  
  106.   
  107.     public int getType()  
  108.     {  
  109.         return type;  
  110.     }  
  111.   
  112.     public void setType(int type)  
  113.     {  
  114.         this.type = type;  
  115.     }  
  116.   
  117.     public int getRequestMoethod()  
  118.     {  
  119.         return requestMoethod;  
  120.     }  
  121.   
  122.     public void setRequestMoethod(int requestMoethod)  
  123.     {  
  124.         this.requestMoethod = requestMoethod;  
  125.     }  
  126.   
  127. }  
package com.zhy.spider.rule;

/**
 * 规则类
 * 
 * @author zhy
 * 
 */
public class Rule
{
    /**
     * 链接
     */
    private String url;

    /**
     * 参数集合
     */
    private String[] params;
    /**
     * 参数对应的值
     */
    private String[] values;

    /**
     * 对返回的HTML，第一次过滤所用的标签，请先设置type
     */
    private String resultTagName;

    /**
     * CLASS / ID / SELECTION
     * 设置resultTagName的类型，默认为ID 
     */
    private int type = ID ;

    /**
     *GET / POST
     * 请求的类型，默认GET
     */
    private int requestMoethod = GET ; 

    public final static int GET = 0 ;
    public final static int POST = 1 ;


    public final static int CLASS = 0;
    public final static int ID = 1;
    public final static int SELECTION = 2;

    public Rule()
    {
    }


    public Rule(String url, String[] params, String[] values,
            String resultTagName, int type, int requestMoethod)
    {
        super();
        this.url = url;
        this.params = params;
        this.values = values;
        this.resultTagName = resultTagName;
        this.type = type;
        this.requestMoethod = requestMoethod;
    }

    public String getUrl()
    {
        return url;
    }

    public void setUrl(String url)
    {
        this.url = url;
    }

    public String[] getParams()
    {
        return params;
    }

    public void setParams(String[] params)
    {
        this.params = params;
    }

    public String[] getValues()
    {
        return values;
    }

    public void setValues(String[] values)
    {
        this.values = values;
    }

    public String getResultTagName()
    {
        return resultTagName;
    }

    public void setResultTagName(String resultTagName)
    {
        this.resultTagName = resultTagName;
    }

    public int getType()
    {
        return type;
    }

    public void setType(int type)
    {
        this.type = type;
    }

    public int getRequestMoethod()
    {
        return requestMoethod;
    }

    public void setRequestMoethod(int requestMoethod)
    {
        this.requestMoethod = requestMoethod;
    }

}

简单说一下：这个规则类定义了我们查询过程中需要的所有信息，方便我们的扩展，以及代码的重用，我们不可能针对每个需要抓取的网站写一套代码。


2、需要的数据对象，目前只需要链接，LinkTypeData.java

[java] view plain copy
print ?
  1. package com.zhy.spider.bean;  
  2.   
  3. public class LinkTypeData  
  4. {  
  5.     private int id;  
  6.     /** 
  7.      * 链接的地址 
  8.      */  
  9.     private String linkHref;  
  10.     /** 
  11.      * 链接的标题 
  12.      */  
  13.     private String linkText;  
  14.     /** 
  15.      * 摘要 
  16.      */  
  17.     private String summary;  
  18.     /** 
  19.      * 内容 
  20.      */  
  21.     private String content;  
  22.     public int getId()  
  23.     {  
  24.         return id;  
  25.     }  
  26.     public void setId(int id)  
  27.     {  
  28.         this.id = id;  
  29.     }  
  30.     public String getLinkHref()  
  31.     {  
  32.         return linkHref;  
  33.     }  
  34.     public void setLinkHref(String linkHref)  
  35.     {  
  36.         this.linkHref = linkHref;  
  37.     }  
  38.     public String getLinkText()  
  39.     {  
  40.         return linkText;  
  41.     }  
  42.     public void setLinkText(String linkText)  
  43.     {  
  44.         this.linkText = linkText;  
  45.     }  
  46.     public String getSummary()  
  47.     {  
  48.         return summary;  
  49.     }  
  50.     public void setSummary(String summary)  
  51.     {  
  52.         this.summary = summary;  
  53.     }  
  54.     public String getContent()  
  55.     {  
  56.         return content;  
  57.     }  
  58.     public void setContent(String content)  
  59.     {  
  60.         this.content = content;  
  61.     }  
  62. }  
[java] view plain copy
print ?
  1. package com.zhy.spider.bean;  
  2.   
  3. public class LinkTypeData  
  4. {  
  5.     private int id;  
  6.     /** 
  7.      * 链接的地址 
  8.      */  
  9.     private String linkHref;  
  10.     /** 
  11.      * 链接的标题 
  12.      */  
  13.     private String linkText;  
  14.     /** 
  15.      * 摘要 
  16.      */  
  17.     private String summary;  
  18.     /** 
  19.      * 内容 
  20.      */  
  21.     private String content;  
  22.     public int getId()  
  23.     {  
  24.         return id;  
  25.     }  
  26.     public void setId(int id)  
  27.     {  
  28.         this.id = id;  
  29.     }  
  30.     public String getLinkHref()  
  31.     {  
  32.         return linkHref;  
  33.     }  
  34.     public void setLinkHref(String linkHref)  
  35.     {  
  36.         this.linkHref = linkHref;  
  37.     }  
  38.     public String getLinkText()  
  39.     {  
  40.         return linkText;  
  41.     }  
  42.     public void setLinkText(String linkText)  
  43.     {  
  44.         this.linkText = linkText;  
  45.     }  
  46.     public String getSummary()  
  47.     {  
  48.         return summary;  
  49.     }  
  50.     public void setSummary(String summary)  
  51.     {  
  52.         this.summary = summary;  
  53.     }  
  54.     public String getContent()  
  55.     {  
  56.         return content;  
  57.     }  
  58.     public void setContent(String content)  
  59.     {  
  60.         this.content = content;  
  61.     }  
  62. }  
package com.zhy.spider.bean;

public class LinkTypeData
{
    private int id;
    /**
     * 链接的地址
     */
    private String linkHref;
    /**
     * 链接的标题
     */
    private String linkText;
    /**
     * 摘要
     */
    private String summary;
    /**
     * 内容
     */
    private String content;
    public int getId()
    {
        return id;
    }
    public void setId(int id)
    {
        this.id = id;
    }
    public String getLinkHref()
    {
        return linkHref;
    }
    public void setLinkHref(String linkHref)
    {
        this.linkHref = linkHref;
    }
    public String getLinkText()
    {
        return linkText;
    }
    public void setLinkText(String linkText)
    {
        this.linkText = linkText;
    }
    public String getSummary()
    {
        return summary;
    }
    public void setSummary(String summary)
    {
        this.summary = summary;
    }
    public String getContent()
    {
        return content;
    }
    public void setContent(String content)
    {
        this.content = content;
    }
}

3、核心的查询类：ExtractService.java

[java] view plain copy
print ?
  1. package com.zhy.spider.core;  
  2.   
  3. import java.io.IOException;  
  4. import java.util.ArrayList;  
  5. import java.util.List;  
  6. import java.util.Map;  
  7.   
  8. import javax.swing.plaf.TextUI;  
  9.   
  10. import org.jsoup.Connection;  
  11. import org.jsoup.Jsoup;  
  12. import org.jsoup.nodes.Document;  
  13. import org.jsoup.nodes.Element;  
  14. import org.jsoup.select.Elements;  
  15.   
  16. import com.zhy.spider.bean.LinkTypeData;  
  17. import com.zhy.spider.rule.Rule;  
  18. import com.zhy.spider.rule.RuleException;  
  19. import com.zhy.spider.util.TextUtil;  
  20.   
  21. /** 
  22.  *  
  23.  * @author zhy 
  24.  *  
  25.  */  
  26. public class ExtractService  
  27. {  
  28.     /** 
  29.      * @param rule 
  30.      * @return 
  31.      */  
  32.     public static List extract(Rule rule)  
  33.     {  
  34.   
  35.         // 进行对rule的必要校验  
  36.         validateRule(rule);  
  37.   
  38.         List datas = new ArrayList();  
  39.         LinkTypeData data = null;  
  40.         try  
  41.         {  
  42.             /** 
  43.              * 解析rule 
  44.              */  
  45.             String url = rule.getUrl();  
  46.             String[] params = rule.getParams();  
  47.             String[] values = rule.getValues();  
  48.             String resultTagName = rule.getResultTagName();  
  49.             int type = rule.getType();  
  50.             int requestType = rule.getRequestMoethod();  
  51.   
  52.             Connection conn = Jsoup.connect(url);  
  53.             // 设置查询参数  
  54.   
  55.             if (params != null)  
  56.             {  
  57.                 for (int i = 0; i < params.length; i++)  
  58.                 {  
  59.                     conn.data(params[i], values[i]);  
  60.                 }  
  61.             }  
  62.   
  63.             // 设置请求类型  
  64.             Document doc = null;  
  65.             switch (requestType)  
  66.             {  
  67.             case Rule.GET:  
  68.                 doc = conn.timeout(100000).get();  
  69.                 break;  
  70.             case Rule.POST:  
  71.                 doc = conn.timeout(100000).post();  
  72.                 break;  
  73.             }  
  74.   
  75.             //处理返回数据  
  76.             Elements results = new Elements();  
  77.             switch (type)  
  78.             {  
  79.             case Rule.CLASS:  
  80.                 results = doc.getElementsByClass(resultTagName);  
  81.                 break;  
  82.             case Rule.ID:  
  83.                 Element result = doc.getElementById(resultTagName);  
  84.                 results.add(result);  
  85.                 break;  
  86.             case Rule.SELECTION:  
  87.                 results = doc.select(resultTagName);  
  88.                 break;  
  89.             default:  
  90.                 //当resultTagName为空时默认去body标签  
  91.                 if (TextUtil.isEmpty(resultTagName))  
  92.                 {  
  93.                     results = doc.getElementsByTag(”body”);  
  94.                 }  
  95.             }  
  96.   
  97.             for (Element result : results)  
  98.             {  
  99.                 Elements links = result.getElementsByTag(”a”);  
  100.   
  101.                 for (Element link : links)  
  102.                 {  
  103.                     //必要的筛选  
  104.                     String linkHref = link.attr(”href”);  
  105.                     String linkText = link.text();  
  106.   
  107.                     data = new LinkTypeData();  
  108.                     data.setLinkHref(linkHref);  
  109.                     data.setLinkText(linkText);  
  110.   
  111.                     datas.add(data);  
  112.                 }  
  113.             }  
  114.   
  115.         } catch (IOException e)  
  116.         {  
  117.             e.printStackTrace();  
  118.         }  
  119.   
  120.         return datas;  
  121.     }  
  122.   
  123.     /** 
  124.      * 对传入的参数进行必要的校验 
  125.      */  
  126.     private static void validateRule(Rule rule)  
  127.     {  
  128.         String url = rule.getUrl();  
  129.         if (TextUtil.isEmpty(url))  
  130.         {  
  131.             throw new RuleException(“url不能为空！”);  
  132.         }  
  133.         if (!url.startsWith(“http://”))  
  134.         {  
  135.             throw new RuleException(“url的格式不正确！”);  
  136.         }  
  137.   
  138.         if (rule.getParams() != null && rule.getValues() != null)  
  139.         {  
  140.             if (rule.getParams().length != rule.getValues().length)  
  141.             {  
  142.                 throw new RuleException(“参数的键值对个数不匹配！”);  
  143.             }  
  144.         }  
  145.   
  146.     }  
  147.   
  148.   
  149. }  
[java] view plain copy
print ?
  1. package com.zhy.spider.core;  
  2.   
  3. import java.io.IOException;  
  4. import java.util.ArrayList;  
  5. import java.util.List;  
  6. import java.util.Map;  
  7.   
  8. import javax.swing.plaf.TextUI;  
  9.   
  10. import org.jsoup.Connection;  
  11. import org.jsoup.Jsoup;  
  12. import org.jsoup.nodes.Document;  
  13. import org.jsoup.nodes.Element;  
  14. import org.jsoup.select.Elements;  
  15.   
  16. import com.zhy.spider.bean.LinkTypeData;  
  17. import com.zhy.spider.rule.Rule;  
  18. import com.zhy.spider.rule.RuleException;  
  19. import com.zhy.spider.util.TextUtil;  
  20.   
  21. /** 
  22.  *  
  23.  * @author zhy 
  24.  *  
  25.  */  
  26. public class ExtractService  
  27. {  
  28.     /** 
  29.      * @param rule 
  30.      * @return 
  31.      */  
  32.     public static List extract(Rule rule)  
  33.     {  
  34.   
  35.         // 进行对rule的必要校验  
  36.         validateRule(rule);  
  37.   
  38.         List datas = new ArrayList();  
  39.         LinkTypeData data = null;  
  40.         try  
  41.         {  
  42.             /** 
  43.              * 解析rule 
  44.              */  
  45.             String url = rule.getUrl();  
  46.             String[] params = rule.getParams();  
  47.             String[] values = rule.getValues();  
  48.             String resultTagName = rule.getResultTagName();  
  49.             int type = rule.getType();  
  50.             int requestType = rule.getRequestMoethod();  
  51.   
  52.             Connection conn = Jsoup.connect(url);  
  53.             // 设置查询参数  
  54.   
  55.             if (params != null)  
  56.             {  
  57.                 for (int i = 0; i < params.length; i++)  
  58.                 {  
  59.                     conn.data(params[i], values[i]);  
  60.                 }  
  61.             }  
  62.   
  63.             // 设置请求类型  
  64.             Document doc = null;  
  65.             switch (requestType)  
  66.             {  
  67.             case Rule.GET:  
  68.                 doc = conn.timeout(100000).get();  
  69.                 break;  
  70.             case Rule.POST:  
  71.                 doc = conn.timeout(100000).post();  
  72.                 break;  
  73.             }  
  74.   
  75.             //处理返回数据  
  76.             Elements results = new Elements();  
  77.             switch (type)  
  78.             {  
  79.             case Rule.CLASS:  
  80.                 results = doc.getElementsByClass(resultTagName);  
  81.                 break;  
  82.             case Rule.ID:  
  83.                 Element result = doc.getElementById(resultTagName);  
  84.                 results.add(result);  
  85.                 break;  
  86.             case Rule.SELECTION:  
  87.                 results = doc.select(resultTagName);  
  88.                 break;  
  89.             default:  
  90.                 //当resultTagName为空时默认去body标签  
  91.                 if (TextUtil.isEmpty(resultTagName))  
  92.                 {  
  93.                     results = doc.getElementsByTag(”body”);  
  94.                 }  
  95.             }  
  96.   
  97.             for (Element result : results)  
  98.             {  
  99.                 Elements links = result.getElementsByTag(”a”);  
  100.   
  101.                 for (Element link : links)  
  102.                 {  
  103.                     //必要的筛选  
  104.                     String linkHref = link.attr(”href”);  
  105.                     String linkText = link.text();  
  106.   
  107.                     data = new LinkTypeData();  
  108.                     data.setLinkHref(linkHref);  
  109.                     data.setLinkText(linkText);  
  110.   
  111.                     datas.add(data);  
  112.                 }  
  113.             }  
  114.   
  115.         } catch (IOException e)  
  116.         {  
  117.             e.printStackTrace();  
  118.         }  
  119.   
  120.         return datas;  
  121.     }  
  122.   
  123.     /** 
  124.      * 对传入的参数进行必要的校验 
  125.      */  
  126.     private static void validateRule(Rule rule)  
  127.     {  
  128.         String url = rule.getUrl();  
  129.         if (TextUtil.isEmpty(url))  
  130.         {  
  131.             throw new RuleException(“url不能为空！”);  
  132.         }  
  133.         if (!url.startsWith(“http://”))  
  134.         {  
  135.             throw new RuleException(“url的格式不正确！”);  
  136.         }  
  137.   
  138.         if (rule.getParams() != null && rule.getValues() != null)  
  139.         {  
  140.             if (rule.getParams().length != rule.getValues().length)  
  141.             {  
  142.                 throw new RuleException(“参数的键值对个数不匹配！”);  
  143.             }  
  144.         }  
  145.   
  146.     }  
  147.   
  148.   
  149. }  
package com.zhy.spider.core;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

import javax.swing.plaf.TextUI;

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import com.zhy.spider.bean.LinkTypeData;
import com.zhy.spider.rule.Rule;
import com.zhy.spider.rule.RuleException;
import com.zhy.spider.util.TextUtil;

/**
 * 
 * @author zhy
 * 
 */
public class ExtractService
{
    /**
     * @param rule
     * @return
     */
    public static List extract(Rule rule)
    {

        // 进行对rule的必要校验
        validateRule(rule);

        List datas = new ArrayList();
        LinkTypeData data = null;
        try
        {
            /**
             * 解析rule
             */
            String url = rule.getUrl();
            String[] params = rule.getParams();
            String[] values = rule.getValues();
            String resultTagName = rule.getResultTagName();
            int type = rule.getType();
            int requestType = rule.getRequestMoethod();

            Connection conn = Jsoup.connect(url);
            // 设置查询参数

            if (params != null)
            {
                for (int i = 0; i < params.length; i++)
                {
                    conn.data(params[i], values[i]);
                }
            }

            // 设置请求类型
            Document doc = null;
            switch (requestType)
            {
            case Rule.GET:
                doc = conn.timeout(100000).get();
                break;
            case Rule.POST:
                doc = conn.timeout(100000).post();
                break;
            }

            //处理返回数据
            Elements results = new Elements();
            switch (type)
            {
            case Rule.CLASS:
                results = doc.getElementsByClass(resultTagName);
                break;
            case Rule.ID:
                Element result = doc.getElementById(resultTagName);
                results.add(result);
                break;
            case Rule.SELECTION:
                results = doc.select(resultTagName);
                break;
            default:
                //当resultTagName为空时默认去body标签
                if (TextUtil.isEmpty(resultTagName))
                {
                    results = doc.getElementsByTag("body");
                }
            }

            for (Element result : results)
            {
                Elements links = result.getElementsByTag("a");

                for (Element link : links)
                {
                    //必要的筛选
                    String linkHref = link.attr("href");
                    String linkText = link.text();

                    data = new LinkTypeData();
                    data.setLinkHref(linkHref);
                    data.setLinkText(linkText);

                    datas.add(data);
                }
            }

        } catch (IOException e)
        {
            e.printStackTrace();
        }

        return datas;
    }

    /**
     * 对传入的参数进行必要的校验
     */
    private static void validateRule(Rule rule)
    {
        String url = rule.getUrl();
        if (TextUtil.isEmpty(url))
        {
            throw new RuleException("url不能为空！");
        }
        if (!url.startsWith("http://"))
        {
            throw new RuleException("url的格式不正确！");
        }

        if (rule.getParams() != null && rule.getValues() != null)
        {
            if (rule.getParams().length != rule.getValues().length)
            {
                throw new RuleException("参数的键值对个数不匹配！");
            }
        }

    }


}

4、里面用了一个异常类：RuleException.java

[java] view plain copy
print ?
  1. package com.zhy.spider.rule;  
  2.   
  3. public class RuleException extends RuntimeException  
  4. {  
  5.   
  6.     public RuleException()  
  7.     {  
  8.         super();  
  9.         // TODO Auto-generated constructor stub  
  10.     }  
  11.   
  12.     public RuleException(String message, Throwable cause)  
  13.     {  
  14.         super(message, cause);  
  15.         // TODO Auto-generated constructor stub  
  16.     }  
  17.   
  18.     public RuleException(String message)  
  19.     {  
  20.         super(message);  
  21.         // TODO Auto-generated constructor stub  
  22.     }  
  23.   
  24.     public RuleException(Throwable cause)  
  25.     {  
  26.         super(cause);  
  27.         // TODO Auto-generated constructor stub  
  28.     }  
  29.   
  30. }  
[java] view plain copy
print ?
  1. package com.zhy.spider.rule;  
  2.   
  3. public class RuleException extends RuntimeException  
  4. {  
  5.   
  6.     public RuleException()  
  7.     {  
  8.         super();  
  9.         // TODO Auto-generated constructor stub  
  10.     }  
  11.   
  12.     public RuleException(String message, Throwable cause)  
  13.     {  
  14.         super(message, cause);  
  15.         // TODO Auto-generated constructor stub  
  16.     }  
  17.   
  18.     public RuleException(String message)  
  19.     {  
  20.         super(message);  
  21.         // TODO Auto-generated constructor stub  
  22.     }  
  23.   
  24.     public RuleException(Throwable cause)  
  25.     {  
  26.         super(cause);  
  27.         // TODO Auto-generated constructor stub  
  28.     }  
  29.   
  30. }  
package com.zhy.spider.rule;

public class RuleException extends RuntimeException
{

    public RuleException()
    {
        super();
        // TODO Auto-generated constructor stub
    }

    public RuleException(String message, Throwable cause)
    {
        super(message, cause);
        // TODO Auto-generated constructor stub
    }

    public RuleException(String message)
    {
        super(message);
        // TODO Auto-generated constructor stub
    }

    public RuleException(Throwable cause)
    {
        super(cause);
        // TODO Auto-generated constructor stub
    }

}

5、最后是测试了：这里使用了两个网站进行测试，采用了不同的规则，具体看代码吧

[java] view plain copy
print ?
  1. package com.zhy.spider.test;  
  2.   
  3. import java.util.List;  
  4.   
  5. import com.zhy.spider.bean.LinkTypeData;  
  6. import com.zhy.spider.core.ExtractService;  
  7. import com.zhy.spider.rule.Rule;  
  8.   
  9. public class Test  
  10. {  
  11.     @org.junit.Test  
  12.     public void getDatasByClass()  
  13.     {  
  14.         Rule rule = new Rule(  
  15.                 ”http://www1.sxcredit.gov.cn/public/infocomquery.do?method=publicIndexQuery”,  
  16.         new String[] { “query.enterprisename”,“query.registationnumber” }, new String[] { “兴网”,“” },  
  17.                 ”cont_right”, Rule.CLASS, Rule.POST);  
  18.         List extracts = ExtractService.extract(rule);  
  19.         printf(extracts);  
  20.     }  
  21.   
  22.     @org.junit.Test  
  23.     public void getDatasByCssQuery()  
  24.     {  
  25.         Rule rule = new Rule(“http://www.11315.com/search”,  
  26.                 new String[] { “name” }, new String[] { “兴网” },  
  27.                 ”div.g-mn div.con-model”, Rule.SELECTION, Rule.GET);  
  28.         List extracts = ExtractService.extract(rule);  
  29.         printf(extracts);  
  30.     }  
  31.   
  32.     public void printf(List datas)  
  33.     {  
  34.         for (LinkTypeData data : datas)  
  35.         {  
  36.             System.out.println(data.getLinkText());  
  37.             System.out.println(data.getLinkHref());  
  38.             System.out.println(”***********************************”);  
  39.         }  
  40.   
  41.     }  
  42. }  
[java] view plain copy
print ?
  1. package com.zhy.spider.test;  
  2.   
  3. import java.util.List;  
  4.   
  5. import com.zhy.spider.bean.LinkTypeData;  
  6. import com.zhy.spider.core.ExtractService;  
  7. import com.zhy.spider.rule.Rule;  
  8.   
  9. public class Test  
  10. {  
  11.     @org.junit.Test  
  12.     public void getDatasByClass()  
  13.     {  
  14.         Rule rule = new Rule(  
  15.                 ”http://www1.sxcredit.gov.cn/public/infocomquery.do?method=publicIndexQuery”,  
  16.         new String[] { “query.enterprisename”,“query.registationnumber” }, new String[] { “兴网”,“” },  
  17.                 ”cont_right”, Rule.CLASS, Rule.POST);  
  18.         List extracts = ExtractService.extract(rule);  
  19.         printf(extracts);  
  20.     }  
  21.   
  22.     @org.junit.Test  
  23.     public void getDatasByCssQuery()  
  24.     {  
  25.         Rule rule = new Rule(“http://www.11315.com/search”,  
  26.                 new String[] { “name” }, new String[] { “兴网” },  
  27.                 ”div.g-mn div.con-model”, Rule.SELECTION, Rule.GET);  
  28.         List extracts = ExtractService.extract(rule);  
  29.         printf(extracts);  
  30.     }  
  31.   
  32.     public void printf(List datas)  
  33.     {  
  34.         for (LinkTypeData data : datas)  
  35.         {  
  36.             System.out.println(data.getLinkText());  
  37.             System.out.println(data.getLinkHref());  
  38.             System.out.println(”***********************************”);  
  39.         }  
  40.   
  41.     }  
  42. }  
package com.zhy.spider.test;

import java.util.List;

import com.zhy.spider.bean.LinkTypeData;
import com.zhy.spider.core.ExtractService;
import com.zhy.spider.rule.Rule;

public class Test
{
    @org.junit.Test
    public void getDatasByClass()
    {
        Rule rule = new Rule(
                "http://www1.sxcredit.gov.cn/public/infocomquery.do?method=publicIndexQuery",
        new String[] { "query.enterprisename","query.registationnumber" }, new String[] { "兴网","" },
                "cont_right", Rule.CLASS, Rule.POST);
        List extracts = ExtractService.extract(rule);
        printf(extracts);
    }

    @org.junit.Test
    public void getDatasByCssQuery()
    {
        Rule rule = new Rule("http://www.11315.com/search",
                new String[] { "name" }, new String[] { "兴网" },
                "div.g-mn div.con-model", Rule.SELECTION, Rule.GET);
        List extracts = ExtractService.extract(rule);
        printf(extracts);
    }

    public void printf(List datas)
    {
        for (LinkTypeData data : datas)
        {
            System.out.println(data.getLinkText());
            System.out.println(data.getLinkHref());
            System.out.println("***********************************");
        }

    }
}

输出结果：

[java] view plain copy
print ?
  1. 深圳市网兴科技有限公司  
  2. http://14603257.11315.com  
  3. ***********************************  
  4. 荆州市兴网公路物资有限公司  
  5. http://05155980.11315.com  
  6. ***********************************  
  7. 西安市全兴网吧  
  8. #  
  9. ***********************************  
  10. 子长县新兴网城  
  11. #  
  12. ***********************************  
  13. 陕西同兴网络信息有限责任公司第三分公司  
  14. #  
  15. ***********************************  
  16. 西安高兴网络科技有限公司  
  17. #  
  18. ***********************************  
  19. 陕西同兴网络信息有限责任公司西安分公司  
  20. #  
  21. ***********************************  
[java] view plain copy
print ?
  1. 深圳市网兴科技有限公司  
  2. http://14603257.11315.com  
  3. ***********************************  
  4. 荆州市兴网公路物资有限公司  
  5. http://05155980.11315.com  
  6. ***********************************  
  7. 西安市全兴网吧  
  8. #  
  9. ***********************************  
  10. 子长县新兴网城  
  11. #  
  12. ***********************************  
  13. 陕西同兴网络信息有限责任公司第三分公司  
  14. #  
  15. ***********************************  
  16. 西安高兴网络科技有限公司  
  17. #  
  18. ***********************************  
  19. 陕西同兴网络信息有限责任公司西安分公司  
  20. #  
  21. ***********************************  
深圳市网兴科技有限公司
http://14603257.11315.com
***********************************
荆州市兴网公路物资有限公司
http://05155980.11315.com
***********************************
西安市全兴网吧
#
***********************************
子长县新兴网城
#
***********************************
陕西同兴网络信息有限责任公司第三分公司
#
***********************************
西安高兴网络科技有限公司
#
***********************************
陕西同兴网络信息有限责任公司西安分公司
#
***********************************

最后使用一个Baidu新闻来测试我们的代码：说明我们的代码是通用的。

[java] view plain copy
print ?
  1.         /** 
  2.  * 使用百度新闻，只设置url和关键字与返回类型 
  3.  */  
  4. @org.junit.Test  
  5. public void getDatasByCssQueryUserBaidu()  
  6. {  
  7.     Rule rule = new Rule(“http://news.baidu.com/ns”,  
  8.             new String[] { “word” }, new String[] { “支付宝” },  
  9.             null, -1, Rule.GET);  
  10.     List extracts = ExtractService.extract(rule);  
  11.     printf(extracts);  
  12. }  
[java] view plain copy
print ?
  1.         /** 
  2.  * 使用百度新闻，只设置url和关键字与返回类型 
  3.  */  
  4. @org.junit.Test  
  5. public void getDatasByCssQueryUserBaidu()  
  6. {  
  7.     Rule rule = new Rule(“http://news.baidu.com/ns”,  
  8.             new String[] { “word” }, new String[] { “支付宝” },  
  9.             null, -1, Rule.GET);  
  10.     List extracts = ExtractService.extract(rule);  
  11.     printf(extracts);  
  12. }  
         /**
     * 使用百度新闻，只设置url和关键字与返回类型
     */
    @org.junit.Test
    public void getDatasByCssQueryUserBaidu()
    {
        Rule rule = new Rule("http://news.baidu.com/ns",
                new String[] { "word" }, new String[] { "支付宝" },
                null, -1, Rule.GET);
        List extracts = ExtractService.extract(rule);
        printf(extracts);
    }
我们只设置了链接、关键字、和请求类型，不设置具体的筛选条件。

结果：有一定的垃圾数据是肯定的，但是需要的数据肯定也抓取出来了。我们可以设置Rule.SECTION,以及筛选条件进一步的限制。

[html] view plain copy
print ?
  1. 按时间排序  
  2. /ns?word=支付宝&ie=utf-8&bs=支付宝&sr=0&cl=2&rn=20&tn=news&ct=0&clk=sortbytime  
  3. ***********************************  
  4. x  
  5. javascript:void(0)  
  6. ***********************************  
  7. 支付宝将联合多方共建安全基金 首批投入4000万  
  8. http://finance.ifeng.com/a/20140409/12081871_0.shtml  
  9. ***********************************  
  10. 7条相同新闻  
  11. /ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:2465146414%7C697779368%7C3832159921&same=7&cl=1&tn=news&rn=30&fm=sd  
  12. ***********************************  
  13. 百度快照  
  14. http://cache.baidu.com/c?m=9d78d513d9d437ab4f9e91697d1cc0161d4381132ba7d3020cd0870fd33a541b0120a1ac26510d19879e20345dfe1e4bea876d26605f75a09bbfd91782a6c1352f8a2432721a844a0fd019adc1452fc423875d9dad0ee7cdb168d5f18c&p=c96ec64ad48b2def49bd9b780b64&newp=c4769a4790934ea95ea28e281c4092695912c10e3dd796&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=1  
  15. ***********************************  
  16. OpenSSL漏洞涉及众多网站 支付宝称暂无数据泄露  
  17. http://tech.ifeng.com/internet/detail_2014_04/09/35590390_0.shtml  
  18. ***********************************  
  19. 26条相同新闻  
  20. /ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:3869124100&same=26&cl=1&tn=news&rn=30&fm=sd  
  21. ***********************************  
  22. 百度快照  
  23. http://cache.baidu.com/c?m=9f65cb4a8c8507ed4fece7631050803743438014678387492ac3933fc239045c1c3aa5ec677e4742ce932b2152f4174bed843670340537b0efca8e57dfb08f29288f2c367117845615a71bb8cb31649b66cf04fdea44a7ecff25e5aac5a0da4323c044757e97f1fb4d7017dd1cf4&p=8b2a970d95df11a05aa4c32013&newp=9e39c64ad4dd50fa40bd9b7c5253d8304503c52251d5ce042acc&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=2  
  24. ***********************************  
  25. 雅虎日本6月起开始支持支付宝付款  
  26. http://www.techweb.com.cn/ucweb/news/id/2025843  
  27. ***********************************  
[html] view plain copy
print ?
  1. 按时间排序  
  2. /ns?word=支付宝&ie=utf-8&bs=支付宝&sr=0&cl=2&rn=20&tn=news&ct=0&clk=sortbytime  
  3. ***********************************  
  4. x  
  5. javascript:void(0)  
  6. ***********************************  
  7. 支付宝将联合多方共建安全基金 首批投入4000万  
  8. http://finance.ifeng.com/a/20140409/12081871_0.shtml  
  9. ***********************************  
  10. 7条相同新闻  
  11. /ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:2465146414%7C697779368%7C3832159921&same=7&cl=1&tn=news&rn=30&fm=sd  
  12. ***********************************  
  13. 百度快照  
  14. http://cache.baidu.com/c?m=9d78d513d9d437ab4f9e91697d1cc0161d4381132ba7d3020cd0870fd33a541b0120a1ac26510d19879e20345dfe1e4bea876d26605f75a09bbfd91782a6c1352f8a2432721a844a0fd019adc1452fc423875d9dad0ee7cdb168d5f18c&p=c96ec64ad48b2def49bd9b780b64&newp=c4769a4790934ea95ea28e281c4092695912c10e3dd796&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=1  
  15. ***********************************  
  16. OpenSSL漏洞涉及众多网站 支付宝称暂无数据泄露  
  17. http://tech.ifeng.com/internet/detail_2014_04/09/35590390_0.shtml  
  18. ***********************************  
  19. 26条相同新闻  
  20. /ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:3869124100&same=26&cl=1&tn=news&rn=30&fm=sd  
  21. ***********************************  
  22. 百度快照  
  23. http://cache.baidu.com/c?m=9f65cb4a8c8507ed4fece7631050803743438014678387492ac3933fc239045c1c3aa5ec677e4742ce932b2152f4174bed843670340537b0efca8e57dfb08f29288f2c367117845615a71bb8cb31649b66cf04fdea44a7ecff25e5aac5a0da4323c044757e97f1fb4d7017dd1cf4&p=8b2a970d95df11a05aa4c32013&newp=9e39c64ad4dd50fa40bd9b7c5253d8304503c52251d5ce042acc&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=2  
  24. ***********************************  
  25. 雅虎日本6月起开始支持支付宝付款  
  26. http://www.techweb.com.cn/ucweb/news/id/2025843  
  27. ***********************************  
按时间排序
/ns?word=支付宝&ie=utf-8&bs=支付宝&sr=0&cl=2&rn=20&tn=news&ct=0&clk=sortbytime
***********************************
x
javascript:void(0)
***********************************
支付宝将联合多方共建安全基金 首批投入4000万
http://finance.ifeng.com/a/20140409/12081871_0.shtml
***********************************
7条相同新闻
/ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:2465146414%7C697779368%7C3832159921&same=7&cl=1&tn=news&rn=30&fm=sd
***********************************
百度快照
http://cache.baidu.com/c?m=9d78d513d9d437ab4f9e91697d1cc0161d4381132ba7d3020cd0870fd33a541b0120a1ac26510d19879e20345dfe1e4bea876d26605f75a09bbfd91782a6c1352f8a2432721a844a0fd019adc1452fc423875d9dad0ee7cdb168d5f18c&p=c96ec64ad48b2def49bd9b780b64&newp=c4769a4790934ea95ea28e281c4092695912c10e3dd796&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=1
***********************************
OpenSSL漏洞涉及众多网站 支付宝称暂无数据泄露
http://tech.ifeng.com/internet/detail_2014_04/09/35590390_0.shtml
***********************************
26条相同新闻
/ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:3869124100&same=26&cl=1&tn=news&rn=30&fm=sd
***********************************
百度快照
http://cache.baidu.com/c?m=9f65cb4a8c8507ed4fece7631050803743438014678387492ac3933fc239045c1c3aa5ec677e4742ce932b2152f4174bed843670340537b0efca8e57dfb08f29288f2c367117845615a71bb8cb31649b66cf04fdea44a7ecff25e5aac5a0da4323c044757e97f1fb4d7017dd1cf4&p=8b2a970d95df11a05aa4c32013&newp=9e39c64ad4dd50fa40bd9b7c5253d8304503c52251d5ce042acc&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=2
***********************************
雅虎日本6月起开始支持支付宝付款
http://www.techweb.com.cn/ucweb/news/id/2025843
***********************************


如果有什么不足，可以指出；如果觉得对你有用，顶一下~~哈哈

源码下载，点击这里。





转载请注明出处：http://blog.csdn.net/lmj623565791/article/details/23272657

今天公司有个需求，需要做一些指定网站查询后的数据的抓取，于是花了点时间写了个demo供演示使用。

思想很简单：就是通过Java访问的链接，然后拿到html字符串，然后就是解析链接等需要的数据。

技术上使用Jsoup方便页面的解析，当然Jsoup很方便，也很简单，一行代码就能知道怎么用了：

[java] view plain copy
print ?
  1. Document doc = Jsoup.connect(“http://www.oschina.net/”)   
  2.  .data(”query”, “Java”)   // 请求参数  
  3.  .userAgent(”I ’ m jsoup”) // 设置 User-Agent   
  4.  .cookie(”auth”, “token”) // 设置 cookie   
  5.  .timeout(3000)           // 设置连接超时时间  
  6.  .post();                 // 使用 POST 方法访问 URL   
[java] view plain copy
print ?
  1. Document doc = Jsoup.connect(“http://www.oschina.net/”)   
  2.  .data(”query”, “Java”)   // 请求参数  
  3.  .userAgent(”I ’ m jsoup”) // 设置 User-Agent   
  4.  .cookie(”auth”, “token”) // 设置 cookie   
  5.  .timeout(3000)           // 设置连接超时时间  
  6.  .post();                 // 使用 POST 方法访问 URL   
 Document doc = Jsoup.connect("http://www.oschina.net/") 
  .data("query", "Java")   // 请求参数
  .userAgent("I ’ m jsoup") // 设置 User-Agent 
  .cookie("auth", "token") // 设置 cookie 
  .timeout(3000)           // 设置连接超时时间
  .post();                 // 使用 POST 方法访问 URL
下面介绍整个实现过程：

1、分析需要解析的页面：

网址：http://www1.sxcredit.gov.cn/public/infocomquery.do?method=publicIndexQuery

页面：

先在这个页面上做一次查询：观察下请求的url，参数，method等。

这里我们使用chrome内置的开发者工具（快捷键F12），下面是查询的结果：


我们可以看到url，method，以及参数。知道了如何或者查询的URL，下面就开始代码了，为了重用与扩展，我定义了几个类：

1、Rule.java用于指定查询url,method,params等

[java] view plain copy
print ?
  1. package com.zhy.spider.rule;  
  2.   
  3. /** 
  4.  * 规则类 
  5.  *  
  6.  * @author zhy 
  7.  *  
  8.  */  
  9. public class Rule  
  10. {  
  11.     /** 
  12.      * 链接 
  13.      */  
  14.     private String url;  
  15.   
  16.     /** 
  17.      * 参数集合 
  18.      */  
  19.     private String[] params;  
  20.     /** 
  21.      * 参数对应的值 
  22.      */  
  23.     private String[] values;  
  24.   
  25.     /** 
  26.      * 对返回的HTML，第一次过滤所用的标签，请先设置type 
  27.      */  
  28.     private String resultTagName;  
  29.   
  30.     /** 
  31.      * CLASS / ID / SELECTION 
  32.      * 设置resultTagName的类型，默认为ID  
  33.      */  
  34.     private int type = ID ;  
  35.       
  36.     /** 
  37.      *GET / POST 
  38.      * 请求的类型，默认GET 
  39.      */  
  40.     private int requestMoethod = GET ;   
  41.       
  42.     public final static int GET = 0 ;  
  43.     public final static int POST = 1 ;  
  44.       
  45.   
  46.     public final static int CLASS = 0;  
  47.     public final static int ID = 1;  
  48.     public final static int SELECTION = 2;  
  49.   
  50.     public Rule()  
  51.     {  
  52.     }  
  53.   
  54.       
  55.     public Rule(String url, String[] params, String[] values,  
  56.             String resultTagName, int type, int requestMoethod)  
  57.     {  
  58.         super();  
  59.         this.url = url;  
  60.         this.params = params;  
  61.         this.values = values;  
  62.         this.resultTagName = resultTagName;  
  63.         this.type = type;  
  64.         this.requestMoethod = requestMoethod;  
  65.     }  
  66.   
  67.     public String getUrl()  
  68.     {  
  69.         return url;  
  70.     }  
  71.   
  72.     public void setUrl(String url)  
  73.     {  
  74.         this.url = url;  
  75.     }  
  76.   
  77.     public String[] getParams()  
  78.     {  
  79.         return params;  
  80.     }  
  81.   
  82.     public void setParams(String[] params)  
  83.     {  
  84.         this.params = params;  
  85.     }  
  86.   
  87.     public String[] getValues()  
  88.     {  
  89.         return values;  
  90.     }  
  91.   
  92.     public void setValues(String[] values)  
  93.     {  
  94.         this.values = values;  
  95.     }  
  96.   
  97.     public String getResultTagName()  
  98.     {  
  99.         return resultTagName;  
  100.     }  
  101.   
  102.     public void setResultTagName(String resultTagName)  
  103.     {  
  104.         this.resultTagName = resultTagName;  
  105.     }  
  106.   
  107.     public int getType()  
  108.     {  
  109.         return type;  
  110.     }  
  111.   
  112.     public void setType(int type)  
  113.     {  
  114.         this.type = type;  
  115.     }  
  116.   
  117.     public int getRequestMoethod()  
  118.     {  
  119.         return requestMoethod;  
  120.     }  
  121.   
  122.     public void setRequestMoethod(int requestMoethod)  
  123.     {  
  124.         this.requestMoethod = requestMoethod;  
  125.     }  
  126.   
  127. }  
[java] view plain copy
print ?
  1. package com.zhy.spider.rule;  
  2.   
  3. /** 
  4.  * 规则类 
  5.  *  
  6.  * @author zhy 
  7.  *  
  8.  */  
  9. public class Rule  
  10. {  
  11.     /** 
  12.      * 链接 
  13.      */  
  14.     private String url;  
  15.   
  16.     /** 
  17.      * 参数集合 
  18.      */  
  19.     private String[] params;  
  20.     /** 
  21.      * 参数对应的值 
  22.      */  
  23.     private String[] values;  
  24.   
  25.     /** 
  26.      * 对返回的HTML，第一次过滤所用的标签，请先设置type 
  27.      */  
  28.     private String resultTagName;  
  29.   
  30.     /** 
  31.      * CLASS / ID / SELECTION 
  32.      * 设置resultTagName的类型，默认为ID  
  33.      */  
  34.     private int type = ID ;  
  35.       
  36.     /** 
  37.      *GET / POST 
  38.      * 请求的类型，默认GET 
  39.      */  
  40.     private int requestMoethod = GET ;   
  41.       
  42.     public final static int GET = 0 ;  
  43.     public final static int POST = 1 ;  
  44.       
  45.   
  46.     public final static int CLASS = 0;  
  47.     public final static int ID = 1;  
  48.     public final static int SELECTION = 2;  
  49.   
  50.     public Rule()  
  51.     {  
  52.     }  
  53.   
  54.       
  55.     public Rule(String url, String[] params, String[] values,  
  56.             String resultTagName, int type, int requestMoethod)  
  57.     {  
  58.         super();  
  59.         this.url = url;  
  60.         this.params = params;  
  61.         this.values = values;  
  62.         this.resultTagName = resultTagName;  
  63.         this.type = type;  
  64.         this.requestMoethod = requestMoethod;  
  65.     }  
  66.   
  67.     public String getUrl()  
  68.     {  
  69.         return url;  
  70.     }  
  71.   
  72.     public void setUrl(String url)  
  73.     {  
  74.         this.url = url;  
  75.     }  
  76.   
  77.     public String[] getParams()  
  78.     {  
  79.         return params;  
  80.     }  
  81.   
  82.     public void setParams(String[] params)  
  83.     {  
  84.         this.params = params;  
  85.     }  
  86.   
  87.     public String[] getValues()  
  88.     {  
  89.         return values;  
  90.     }  
  91.   
  92.     public void setValues(String[] values)  
  93.     {  
  94.         this.values = values;  
  95.     }  
  96.   
  97.     public String getResultTagName()  
  98.     {  
  99.         return resultTagName;  
  100.     }  
  101.   
  102.     public void setResultTagName(String resultTagName)  
  103.     {  
  104.         this.resultTagName = resultTagName;  
  105.     }  
  106.   
  107.     public int getType()  
  108.     {  
  109.         return type;  
  110.     }  
  111.   
  112.     public void setType(int type)  
  113.     {  
  114.         this.type = type;  
  115.     }  
  116.   
  117.     public int getRequestMoethod()  
  118.     {  
  119.         return requestMoethod;  
  120.     }  
  121.   
  122.     public void setRequestMoethod(int requestMoethod)  
  123.     {  
  124.         this.requestMoethod = requestMoethod;  
  125.     }  
  126.   
  127. }  
package com.zhy.spider.rule;

/**
 * 规则类
 * 
 * @author zhy
 * 
 */
public class Rule
{
    /**
     * 链接
     */
    private String url;

    /**
     * 参数集合
     */
    private String[] params;
    /**
     * 参数对应的值
     */
    private String[] values;

    /**
     * 对返回的HTML，第一次过滤所用的标签，请先设置type
     */
    private String resultTagName;

    /**
     * CLASS / ID / SELECTION
     * 设置resultTagName的类型，默认为ID 
     */
    private int type = ID ;

    /**
     *GET / POST
     * 请求的类型，默认GET
     */
    private int requestMoethod = GET ; 

    public final static int GET = 0 ;
    public final static int POST = 1 ;


    public final static int CLASS = 0;
    public final static int ID = 1;
    public final static int SELECTION = 2;

    public Rule()
    {
    }


    public Rule(String url, String[] params, String[] values,
            String resultTagName, int type, int requestMoethod)
    {
        super();
        this.url = url;
        this.params = params;
        this.values = values;
        this.resultTagName = resultTagName;
        this.type = type;
        this.requestMoethod = requestMoethod;
    }

    public String getUrl()
    {
        return url;
    }

    public void setUrl(String url)
    {
        this.url = url;
    }

    public String[] getParams()
    {
        return params;
    }

    public void setParams(String[] params)
    {
        this.params = params;
    }

    public String[] getValues()
    {
        return values;
    }

    public void setValues(String[] values)
    {
        this.values = values;
    }

    public String getResultTagName()
    {
        return resultTagName;
    }

    public void setResultTagName(String resultTagName)
    {
        this.resultTagName = resultTagName;
    }

    public int getType()
    {
        return type;
    }

    public void setType(int type)
    {
        this.type = type;
    }

    public int getRequestMoethod()
    {
        return requestMoethod;
    }

    public void setRequestMoethod(int requestMoethod)
    {
        this.requestMoethod = requestMoethod;
    }

}

简单说一下：这个规则类定义了我们查询过程中需要的所有信息，方便我们的扩展，以及代码的重用，我们不可能针对每个需要抓取的网站写一套代码。


2、需要的数据对象，目前只需要链接，LinkTypeData.java

[java] view plain copy
print ?
  1. package com.zhy.spider.bean;  
  2.   
  3. public class LinkTypeData  
  4. {  
  5.     private int id;  
  6.     /** 
  7.      * 链接的地址 
  8.      */  
  9.     private String linkHref;  
  10.     /** 
  11.      * 链接的标题 
  12.      */  
  13.     private String linkText;  
  14.     /** 
  15.      * 摘要 
  16.      */  
  17.     private String summary;  
  18.     /** 
  19.      * 内容 
  20.      */  
  21.     private String content;  
  22.     public int getId()  
  23.     {  
  24.         return id;  
  25.     }  
  26.     public void setId(int id)  
  27.     {  
  28.         this.id = id;  
  29.     }  
  30.     public String getLinkHref()  
  31.     {  
  32.         return linkHref;  
  33.     }  
  34.     public void setLinkHref(String linkHref)  
  35.     {  
  36.         this.linkHref = linkHref;  
  37.     }  
  38.     public String getLinkText()  
  39.     {  
  40.         return linkText;  
  41.     }  
  42.     public void setLinkText(String linkText)  
  43.     {  
  44.         this.linkText = linkText;  
  45.     }  
  46.     public String getSummary()  
  47.     {  
  48.         return summary;  
  49.     }  
  50.     public void setSummary(String summary)  
  51.     {  
  52.         this.summary = summary;  
  53.     }  
  54.     public String getContent()  
  55.     {  
  56.         return content;  
  57.     }  
  58.     public void setContent(String content)  
  59.     {  
  60.         this.content = content;  
  61.     }  
  62. }  
[java] view plain copy
print ?
  1. package com.zhy.spider.bean;  
  2.   
  3. public class LinkTypeData  
  4. {  
  5.     private int id;  
  6.     /** 
  7.      * 链接的地址 
  8.      */  
  9.     private String linkHref;  
  10.     /** 
  11.      * 链接的标题 
  12.      */  
  13.     private String linkText;  
  14.     /** 
  15.      * 摘要 
  16.      */  
  17.     private String summary;  
  18.     /** 
  19.      * 内容 
  20.      */  
  21.     private String content;  
  22.     public int getId()  
  23.     {  
  24.         return id;  
  25.     }  
  26.     public void setId(int id)  
  27.     {  
  28.         this.id = id;  
  29.     }  
  30.     public String getLinkHref()  
  31.     {  
  32.         return linkHref;  
  33.     }  
  34.     public void setLinkHref(String linkHref)  
  35.     {  
  36.         this.linkHref = linkHref;  
  37.     }  
  38.     public String getLinkText()  
  39.     {  
  40.         return linkText;  
  41.     }  
  42.     public void setLinkText(String linkText)  
  43.     {  
  44.         this.linkText = linkText;  
  45.     }  
  46.     public String getSummary()  
  47.     {  
  48.         return summary;  
  49.     }  
  50.     public void setSummary(String summary)  
  51.     {  
  52.         this.summary = summary;  
  53.     }  
  54.     public String getContent()  
  55.     {  
  56.         return content;  
  57.     }  
  58.     public void setContent(String content)  
  59.     {  
  60.         this.content = content;  
  61.     }  
  62. }  
package com.zhy.spider.bean;

public class LinkTypeData
{
    private int id;
    /**
     * 链接的地址
     */
    private String linkHref;
    /**
     * 链接的标题
     */
    private String linkText;
    /**
     * 摘要
     */
    private String summary;
    /**
     * 内容
     */
    private String content;
    public int getId()
    {
        return id;
    }
    public void setId(int id)
    {
        this.id = id;
    }
    public String getLinkHref()
    {
        return linkHref;
    }
    public void setLinkHref(String linkHref)
    {
        this.linkHref = linkHref;
    }
    public String getLinkText()
    {
        return linkText;
    }
    public void setLinkText(String linkText)
    {
        this.linkText = linkText;
    }
    public String getSummary()
    {
        return summary;
    }
    public void setSummary(String summary)
    {
        this.summary = summary;
    }
    public String getContent()
    {
        return content;
    }
    public void setContent(String content)
    {
        this.content = content;
    }
}

3、核心的查询类：ExtractService.java

[java] view plain copy
print ?
  1. package com.zhy.spider.core;  
  2.   
  3. import java.io.IOException;  
  4. import java.util.ArrayList;  
  5. import java.util.List;  
  6. import java.util.Map;  
  7.   
  8. import javax.swing.plaf.TextUI;  
  9.   
  10. import org.jsoup.Connection;  
  11. import org.jsoup.Jsoup;  
  12. import org.jsoup.nodes.Document;  
  13. import org.jsoup.nodes.Element;  
  14. import org.jsoup.select.Elements;  
  15.   
  16. import com.zhy.spider.bean.LinkTypeData;  
  17. import com.zhy.spider.rule.Rule;  
  18. import com.zhy.spider.rule.RuleException;  
  19. import com.zhy.spider.util.TextUtil;  
  20.   
  21. /** 
  22.  *  
  23.  * @author zhy 
  24.  *  
  25.  */  
  26. public class ExtractService  
  27. {  
  28.     /** 
  29.      * @param rule 
  30.      * @return 
  31.      */  
  32.     public static List extract(Rule rule)  
  33.     {  
  34.   
  35.         // 进行对rule的必要校验  
  36.         validateRule(rule);  
  37.   
  38.         List datas = new ArrayList();  
  39.         LinkTypeData data = null;  
  40.         try  
  41.         {  
  42.             /** 
  43.              * 解析rule 
  44.              */  
  45.             String url = rule.getUrl();  
  46.             String[] params = rule.getParams();  
  47.             String[] values = rule.getValues();  
  48.             String resultTagName = rule.getResultTagName();  
  49.             int type = rule.getType();  
  50.             int requestType = rule.getRequestMoethod();  
  51.   
  52.             Connection conn = Jsoup.connect(url);  
  53.             // 设置查询参数  
  54.   
  55.             if (params != null)  
  56.             {  
  57.                 for (int i = 0; i < params.length; i++)  
  58.                 {  
  59.                     conn.data(params[i], values[i]);  
  60.                 }  
  61.             }  
  62.   
  63.             // 设置请求类型  
  64.             Document doc = null;  
  65.             switch (requestType)  
  66.             {  
  67.             case Rule.GET:  
  68.                 doc = conn.timeout(100000).get();  
  69.                 break;  
  70.             case Rule.POST:  
  71.                 doc = conn.timeout(100000).post();  
  72.                 break;  
  73.             }  
  74.   
  75.             //处理返回数据  
  76.             Elements results = new Elements();  
  77.             switch (type)  
  78.             {  
  79.             case Rule.CLASS:  
  80.                 results = doc.getElementsByClass(resultTagName);  
  81.                 break;  
  82.             case Rule.ID:  
  83.                 Element result = doc.getElementById(resultTagName);  
  84.                 results.add(result);  
  85.                 break;  
  86.             case Rule.SELECTION:  
  87.                 results = doc.select(resultTagName);  
  88.                 break;  
  89.             default:  
  90.                 //当resultTagName为空时默认去body标签  
  91.                 if (TextUtil.isEmpty(resultTagName))  
  92.                 {  
  93.                     results = doc.getElementsByTag(”body”);  
  94.                 }  
  95.             }  
  96.   
  97.             for (Element result : results)  
  98.             {  
  99.                 Elements links = result.getElementsByTag(”a”);  
  100.   
  101.                 for (Element link : links)  
  102.                 {  
  103.                     //必要的筛选  
  104.                     String linkHref = link.attr(”href”);  
  105.                     String linkText = link.text();  
  106.   
  107.                     data = new LinkTypeData();  
  108.                     data.setLinkHref(linkHref);  
  109.                     data.setLinkText(linkText);  
  110.   
  111.                     datas.add(data);  
  112.                 }  
  113.             }  
  114.   
  115.         } catch (IOException e)  
  116.         {  
  117.             e.printStackTrace();  
  118.         }  
  119.   
  120.         return datas;  
  121.     }  
  122.   
  123.     /** 
  124.      * 对传入的参数进行必要的校验 
  125.      */  
  126.     private static void validateRule(Rule rule)  
  127.     {  
  128.         String url = rule.getUrl();  
  129.         if (TextUtil.isEmpty(url))  
  130.         {  
  131.             throw new RuleException(“url不能为空！”);  
  132.         }  
  133.         if (!url.startsWith(“http://”))  
  134.         {  
  135.             throw new RuleException(“url的格式不正确！”);  
  136.         }  
  137.   
  138.         if (rule.getParams() != null && rule.getValues() != null)  
  139.         {  
  140.             if (rule.getParams().length != rule.getValues().length)  
  141.             {  
  142.                 throw new RuleException(“参数的键值对个数不匹配！”);  
  143.             }  
  144.         }  
  145.   
  146.     }  
  147.   
  148.   
  149. }  
[java] view plain copy
print ?
  1. package com.zhy.spider.core;  
  2.   
  3. import java.io.IOException;  
  4. import java.util.ArrayList;  
  5. import java.util.List;  
  6. import java.util.Map;  
  7.   
  8. import javax.swing.plaf.TextUI;  
  9.   
  10. import org.jsoup.Connection;  
  11. import org.jsoup.Jsoup;  
  12. import org.jsoup.nodes.Document;  
  13. import org.jsoup.nodes.Element;  
  14. import org.jsoup.select.Elements;  
  15.   
  16. import com.zhy.spider.bean.LinkTypeData;  
  17. import com.zhy.spider.rule.Rule;  
  18. import com.zhy.spider.rule.RuleException;  
  19. import com.zhy.spider.util.TextUtil;  
  20.   
  21. /** 
  22.  *  
  23.  * @author zhy 
  24.  *  
  25.  */  
  26. public class ExtractService  
  27. {  
  28.     /** 
  29.      * @param rule 
  30.      * @return 
  31.      */  
  32.     public static List extract(Rule rule)  
  33.     {  
  34.   
  35.         // 进行对rule的必要校验  
  36.         validateRule(rule);  
  37.   
  38.         List datas = new ArrayList();  
  39.         LinkTypeData data = null;  
  40.         try  
  41.         {  
  42.             /** 
  43.              * 解析rule 
  44.              */  
  45.             String url = rule.getUrl();  
  46.             String[] params = rule.getParams();  
  47.             String[] values = rule.getValues();  
  48.             String resultTagName = rule.getResultTagName();  
  49.             int type = rule.getType();  
  50.             int requestType = rule.getRequestMoethod();  
  51.   
  52.             Connection conn = Jsoup.connect(url);  
  53.             // 设置查询参数  
  54.   
  55.             if (params != null)  
  56.             {  
  57.                 for (int i = 0; i < params.length; i++)  
  58.                 {  
  59.                     conn.data(params[i], values[i]);  
  60.                 }  
  61.             }  
  62.   
  63.             // 设置请求类型  
  64.             Document doc = null;  
  65.             switch (requestType)  
  66.             {  
  67.             case Rule.GET:  
  68.                 doc = conn.timeout(100000).get();  
  69.                 break;  
  70.             case Rule.POST:  
  71.                 doc = conn.timeout(100000).post();  
  72.                 break;  
  73.             }  
  74.   
  75.             //处理返回数据  
  76.             Elements results = new Elements();  
  77.             switch (type)  
  78.             {  
  79.             case Rule.CLASS:  
  80.                 results = doc.getElementsByClass(resultTagName);  
  81.                 break;  
  82.             case Rule.ID:  
  83.                 Element result = doc.getElementById(resultTagName);  
  84.                 results.add(result);  
  85.                 break;  
  86.             case Rule.SELECTION:  
  87.                 results = doc.select(resultTagName);  
  88.                 break;  
  89.             default:  
  90.                 //当resultTagName为空时默认去body标签  
  91.                 if (TextUtil.isEmpty(resultTagName))  
  92.                 {  
  93.                     results = doc.getElementsByTag(”body”);  
  94.                 }  
  95.             }  
  96.   
  97.             for (Element result : results)  
  98.             {  
  99.                 Elements links = result.getElementsByTag(”a”);  
  100.   
  101.                 for (Element link : links)  
  102.                 {  
  103.                     //必要的筛选  
  104.                     String linkHref = link.attr(”href”);  
  105.                     String linkText = link.text();  
  106.   
  107.                     data = new LinkTypeData();  
  108.                     data.setLinkHref(linkHref);  
  109.                     data.setLinkText(linkText);  
  110.   
  111.                     datas.add(data);  
  112.                 }  
  113.             }  
  114.   
  115.         } catch (IOException e)  
  116.         {  
  117.             e.printStackTrace();  
  118.         }  
  119.   
  120.         return datas;  
  121.     }  
  122.   
  123.     /** 
  124.      * 对传入的参数进行必要的校验 
  125.      */  
  126.     private static void validateRule(Rule rule)  
  127.     {  
  128.         String url = rule.getUrl();  
  129.         if (TextUtil.isEmpty(url))  
  130.         {  
  131.             throw new RuleException(“url不能为空！”);  
  132.         }  
  133.         if (!url.startsWith(“http://”))  
  134.         {  
  135.             throw new RuleException(“url的格式不正确！”);  
  136.         }  
  137.   
  138.         if (rule.getParams() != null && rule.getValues() != null)  
  139.         {  
  140.             if (rule.getParams().length != rule.getValues().length)  
  141.             {  
  142.                 throw new RuleException(“参数的键值对个数不匹配！”);  
  143.             }  
  144.         }  
  145.   
  146.     }  
  147.   
  148.   
  149. }  
package com.zhy.spider.core;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

import javax.swing.plaf.TextUI;

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import com.zhy.spider.bean.LinkTypeData;
import com.zhy.spider.rule.Rule;
import com.zhy.spider.rule.RuleException;
import com.zhy.spider.util.TextUtil;

/**
 * 
 * @author zhy
 * 
 */
public class ExtractService
{
    /**
     * @param rule
     * @return
     */
    public static List extract(Rule rule)
    {

        // 进行对rule的必要校验
        validateRule(rule);

        List datas = new ArrayList();
        LinkTypeData data = null;
        try
        {
            /**
             * 解析rule
             */
            String url = rule.getUrl();
            String[] params = rule.getParams();
            String[] values = rule.getValues();
            String resultTagName = rule.getResultTagName();
            int type = rule.getType();
            int requestType = rule.getRequestMoethod();

            Connection conn = Jsoup.connect(url);
            // 设置查询参数

            if (params != null)
            {
                for (int i = 0; i < params.length; i++)
                {
                    conn.data(params[i], values[i]);
                }
            }

            // 设置请求类型
            Document doc = null;
            switch (requestType)
            {
            case Rule.GET:
                doc = conn.timeout(100000).get();
                break;
            case Rule.POST:
                doc = conn.timeout(100000).post();
                break;
            }

            //处理返回数据
            Elements results = new Elements();
            switch (type)
            {
            case Rule.CLASS:
                results = doc.getElementsByClass(resultTagName);
                break;
            case Rule.ID:
                Element result = doc.getElementById(resultTagName);
                results.add(result);
                break;
            case Rule.SELECTION:
                results = doc.select(resultTagName);
                break;
            default:
                //当resultTagName为空时默认去body标签
                if (TextUtil.isEmpty(resultTagName))
                {
                    results = doc.getElementsByTag("body");
                }
            }

            for (Element result : results)
            {
                Elements links = result.getElementsByTag("a");

                for (Element link : links)
                {
                    //必要的筛选
                    String linkHref = link.attr("href");
                    String linkText = link.text();

                    data = new LinkTypeData();
                    data.setLinkHref(linkHref);
                    data.setLinkText(linkText);

                    datas.add(data);
                }
            }

        } catch (IOException e)
        {
            e.printStackTrace();
        }

        return datas;
    }

    /**
     * 对传入的参数进行必要的校验
     */
    private static void validateRule(Rule rule)
    {
        String url = rule.getUrl();
        if (TextUtil.isEmpty(url))
        {
            throw new RuleException("url不能为空！");
        }
        if (!url.startsWith("http://"))
        {
            throw new RuleException("url的格式不正确！");
        }

        if (rule.getParams() != null && rule.getValues() != null)
        {
            if (rule.getParams().length != rule.getValues().length)
            {
                throw new RuleException("参数的键值对个数不匹配！");
            }
        }

    }


}

4、里面用了一个异常类：RuleException.java

[java] view plain copy
print ?
  1. package com.zhy.spider.rule;  
  2.   
  3. public class RuleException extends RuntimeException  
  4. {  
  5.   
  6.     public RuleException()  
  7.     {  
  8.         super();  
  9.         // TODO Auto-generated constructor stub  
  10.     }  
  11.   
  12.     public RuleException(String message, Throwable cause)  
  13.     {  
  14.         super(message, cause);  
  15.         // TODO Auto-generated constructor stub  
  16.     }  
  17.   
  18.     public RuleException(String message)  
  19.     {  
  20.         super(message);  
  21.         // TODO Auto-generated constructor stub  
  22.     }  
  23.   
  24.     public RuleException(Throwable cause)  
  25.     {  
  26.         super(cause);  
  27.         // TODO Auto-generated constructor stub  
  28.     }  
  29.   
  30. }  
[java] view plain copy
print ?
  1. package com.zhy.spider.rule;  
  2.   
  3. public class RuleException extends RuntimeException  
  4. {  
  5.   
  6.     public RuleException()  
  7.     {  
  8.         super();  
  9.         // TODO Auto-generated constructor stub  
  10.     }  
  11.   
  12.     public RuleException(String message, Throwable cause)  
  13.     {  
  14.         super(message, cause);  
  15.         // TODO Auto-generated constructor stub  
  16.     }  
  17.   
  18.     public RuleException(String message)  
  19.     {  
  20.         super(message);  
  21.         // TODO Auto-generated constructor stub  
  22.     }  
  23.   
  24.     public RuleException(Throwable cause)  
  25.     {  
  26.         super(cause);  
  27.         // TODO Auto-generated constructor stub  
  28.     }  
  29.   
  30. }  
package com.zhy.spider.rule;

public class RuleException extends RuntimeException
{

    public RuleException()
    {
        super();
        // TODO Auto-generated constructor stub
    }

    public RuleException(String message, Throwable cause)
    {
        super(message, cause);
        // TODO Auto-generated constructor stub
    }

    public RuleException(String message)
    {
        super(message);
        // TODO Auto-generated constructor stub
    }

    public RuleException(Throwable cause)
    {
        super(cause);
        // TODO Auto-generated constructor stub
    }

}

5、最后是测试了：这里使用了两个网站进行测试，采用了不同的规则，具体看代码吧

[java] view plain copy
print ?
  1. package com.zhy.spider.test;  
  2.   
  3. import java.util.List;  
  4.   
  5. import com.zhy.spider.bean.LinkTypeData;  
  6. import com.zhy.spider.core.ExtractService;  
  7. import com.zhy.spider.rule.Rule;  
  8.   
  9. public class Test  
  10. {  
  11.     @org.junit.Test  
  12.     public void getDatasByClass()  
  13.     {  
  14.         Rule rule = new Rule(  
  15.                 ”http://www1.sxcredit.gov.cn/public/infocomquery.do?method=publicIndexQuery”,  
  16.         new String[] { “query.enterprisename”,“query.registationnumber” }, new String[] { “兴网”,“” },  
  17.                 ”cont_right”, Rule.CLASS, Rule.POST);  
  18.         List extracts = ExtractService.extract(rule);  
  19.         printf(extracts);  
  20.     }  
  21.   
  22.     @org.junit.Test  
  23.     public void getDatasByCssQuery()  
  24.     {  
  25.         Rule rule = new Rule(“http://www.11315.com/search”,  
  26.                 new String[] { “name” }, new String[] { “兴网” },  
  27.                 ”div.g-mn div.con-model”, Rule.SELECTION, Rule.GET);  
  28.         List extracts = ExtractService.extract(rule);  
  29.         printf(extracts);  
  30.     }  
  31.   
  32.     public void printf(List datas)  
  33.     {  
  34.         for (LinkTypeData data : datas)  
  35.         {  
  36.             System.out.println(data.getLinkText());  
  37.             System.out.println(data.getLinkHref());  
  38.             System.out.println(”***********************************”);  
  39.         }  
  40.   
  41.     }  
  42. }  
[java] view plain copy
print ?
  1. package com.zhy.spider.test;  
  2.   
  3. import java.util.List;  
  4.   
  5. import com.zhy.spider.bean.LinkTypeData;  
  6. import com.zhy.spider.core.ExtractService;  
  7. import com.zhy.spider.rule.Rule;  
  8.   
  9. public class Test  
  10. {  
  11.     @org.junit.Test  
  12.     public void getDatasByClass()  
  13.     {  
  14.         Rule rule = new Rule(  
  15.                 ”http://www1.sxcredit.gov.cn/public/infocomquery.do?method=publicIndexQuery”,  
  16.         new String[] { “query.enterprisename”,“query.registationnumber” }, new String[] { “兴网”,“” },  
  17.                 ”cont_right”, Rule.CLASS, Rule.POST);  
  18.         List extracts = ExtractService.extract(rule);  
  19.         printf(extracts);  
  20.     }  
  21.   
  22.     @org.junit.Test  
  23.     public void getDatasByCssQuery()  
  24.     {  
  25.         Rule rule = new Rule(“http://www.11315.com/search”,  
  26.                 new String[] { “name” }, new String[] { “兴网” },  
  27.                 ”div.g-mn div.con-model”, Rule.SELECTION, Rule.GET);  
  28.         List extracts = ExtractService.extract(rule);  
  29.         printf(extracts);  
  30.     }  
  31.   
  32.     public void printf(List datas)  
  33.     {  
  34.         for (LinkTypeData data : datas)  
  35.         {  
  36.             System.out.println(data.getLinkText());  
  37.             System.out.println(data.getLinkHref());  
  38.             System.out.println(”***********************************”);  
  39.         }  
  40.   
  41.     }  
  42. }  
package com.zhy.spider.test;

import java.util.List;

import com.zhy.spider.bean.LinkTypeData;
import com.zhy.spider.core.ExtractService;
import com.zhy.spider.rule.Rule;

public class Test
{
    @org.junit.Test
    public void getDatasByClass()
    {
        Rule rule = new Rule(
                "http://www1.sxcredit.gov.cn/public/infocomquery.do?method=publicIndexQuery",
        new String[] { "query.enterprisename","query.registationnumber" }, new String[] { "兴网","" },
                "cont_right", Rule.CLASS, Rule.POST);
        List extracts = ExtractService.extract(rule);
        printf(extracts);
    }

    @org.junit.Test
    public void getDatasByCssQuery()
    {
        Rule rule = new Rule("http://www.11315.com/search",
                new String[] { "name" }, new String[] { "兴网" },
                "div.g-mn div.con-model", Rule.SELECTION, Rule.GET);
        List extracts = ExtractService.extract(rule);
        printf(extracts);
    }

    public void printf(List datas)
    {
        for (LinkTypeData data : datas)
        {
            System.out.println(data.getLinkText());
            System.out.println(data.getLinkHref());
            System.out.println("***********************************");
        }

    }
}

输出结果：

[java] view plain copy
print ?
  1. 深圳市网兴科技有限公司  
  2. http://14603257.11315.com  
  3. ***********************************  
  4. 荆州市兴网公路物资有限公司  
  5. http://05155980.11315.com  
  6. ***********************************  
  7. 西安市全兴网吧  
  8. #  
  9. ***********************************  
  10. 子长县新兴网城  
  11. #  
  12. ***********************************  
  13. 陕西同兴网络信息有限责任公司第三分公司  
  14. #  
  15. ***********************************  
  16. 西安高兴网络科技有限公司  
  17. #  
  18. ***********************************  
  19. 陕西同兴网络信息有限责任公司西安分公司  
  20. #  
  21. ***********************************  
[java] view plain copy
print ?
  1. 深圳市网兴科技有限公司  
  2. http://14603257.11315.com  
  3. ***********************************  
  4. 荆州市兴网公路物资有限公司  
  5. http://05155980.11315.com  
  6. ***********************************  
  7. 西安市全兴网吧  
  8. #  
  9. ***********************************  
  10. 子长县新兴网城  
  11. #  
  12. ***********************************  
  13. 陕西同兴网络信息有限责任公司第三分公司  
  14. #  
  15. ***********************************  
  16. 西安高兴网络科技有限公司  
  17. #  
  18. ***********************************  
  19. 陕西同兴网络信息有限责任公司西安分公司  
  20. #  
  21. ***********************************  
深圳市网兴科技有限公司
http://14603257.11315.com
***********************************
荆州市兴网公路物资有限公司
http://05155980.11315.com
***********************************
西安市全兴网吧
#
***********************************
子长县新兴网城
#
***********************************
陕西同兴网络信息有限责任公司第三分公司
#
***********************************
西安高兴网络科技有限公司
#
***********************************
陕西同兴网络信息有限责任公司西安分公司
#
***********************************

最后使用一个Baidu新闻来测试我们的代码：说明我们的代码是通用的。

[java] view plain copy
print ?
  1.         /** 
  2.  * 使用百度新闻，只设置url和关键字与返回类型 
  3.  */  
  4. @org.junit.Test  
  5. public void getDatasByCssQueryUserBaidu()  
  6. {  
  7.     Rule rule = new Rule(“http://news.baidu.com/ns”,  
  8.             new String[] { “word” }, new String[] { “支付宝” },  
  9.             null, -1, Rule.GET);  
  10.     List extracts = ExtractService.extract(rule);  
  11.     printf(extracts);  
  12. }  
[java] view plain copy
print ?
  1.         /** 
  2.  * 使用百度新闻，只设置url和关键字与返回类型 
  3.  */  
  4. @org.junit.Test  
  5. public void getDatasByCssQueryUserBaidu()  
  6. {  
  7.     Rule rule = new Rule(“http://news.baidu.com/ns”,  
  8.             new String[] { “word” }, new String[] { “支付宝” },  
  9.             null, -1, Rule.GET);  
  10.     List extracts = ExtractService.extract(rule);  
  11.     printf(extracts);  
  12. }  
         /**
     * 使用百度新闻，只设置url和关键字与返回类型
     */
    @org.junit.Test
    public void getDatasByCssQueryUserBaidu()
    {
        Rule rule = new Rule("http://news.baidu.com/ns",
                new String[] { "word" }, new String[] { "支付宝" },
                null, -1, Rule.GET);
        List extracts = ExtractService.extract(rule);
        printf(extracts);
    }
我们只设置了链接、关键字、和请求类型，不设置具体的筛选条件。

结果：有一定的垃圾数据是肯定的，但是需要的数据肯定也抓取出来了。我们可以设置Rule.SECTION,以及筛选条件进一步的限制。

[html] view plain copy
print ?
  1. 按时间排序  
  2. /ns?word=支付宝&ie=utf-8&bs=支付宝&sr=0&cl=2&rn=20&tn=news&ct=0&clk=sortbytime  
  3. ***********************************  
  4. x  
  5. javascript:void(0)  
  6. ***********************************  
  7. 支付宝将联合多方共建安全基金 首批投入4000万  
  8. http://finance.ifeng.com/a/20140409/12081871_0.shtml  
  9. ***********************************  
  10. 7条相同新闻  
  11. /ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:2465146414%7C697779368%7C3832159921&same=7&cl=1&tn=news&rn=30&fm=sd  
  12. ***********************************  
  13. 百度快照  
  14. http://cache.baidu.com/c?m=9d78d513d9d437ab4f9e91697d1cc0161d4381132ba7d3020cd0870fd33a541b0120a1ac26510d19879e20345dfe1e4bea876d26605f75a09bbfd91782a6c1352f8a2432721a844a0fd019adc1452fc423875d9dad0ee7cdb168d5f18c&p=c96ec64ad48b2def49bd9b780b64&newp=c4769a4790934ea95ea28e281c4092695912c10e3dd796&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=1  
  15. ***********************************  
  16. OpenSSL漏洞涉及众多网站 支付宝称暂无数据泄露  
  17. http://tech.ifeng.com/internet/detail_2014_04/09/35590390_0.shtml  
  18. ***********************************  
  19. 26条相同新闻  
  20. /ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:3869124100&same=26&cl=1&tn=news&rn=30&fm=sd  
  21. ***********************************  
  22. 百度快照  
  23. http://cache.baidu.com/c?m=9f65cb4a8c8507ed4fece7631050803743438014678387492ac3933fc239045c1c3aa5ec677e4742ce932b2152f4174bed843670340537b0efca8e57dfb08f29288f2c367117845615a71bb8cb31649b66cf04fdea44a7ecff25e5aac5a0da4323c044757e97f1fb4d7017dd1cf4&p=8b2a970d95df11a05aa4c32013&newp=9e39c64ad4dd50fa40bd9b7c5253d8304503c52251d5ce042acc&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=2  
  24. ***********************************  
  25. 雅虎日本6月起开始支持支付宝付款  
  26. http://www.techweb.com.cn/ucweb/news/id/2025843  
  27. ***********************************  
[html] view plain copy
print ?
  1. 按时间排序  
  2. /ns?word=支付宝&ie=utf-8&bs=支付宝&sr=0&cl=2&rn=20&tn=news&ct=0&clk=sortbytime  
  3. ***********************************  
  4. x  
  5. javascript:void(0)  
  6. ***********************************  
  7. 支付宝将联合多方共建安全基金 首批投入4000万  
  8. http://finance.ifeng.com/a/20140409/12081871_0.shtml  
  9. ***********************************  
  10. 7条相同新闻  
  11. /ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:2465146414%7C697779368%7C3832159921&same=7&cl=1&tn=news&rn=30&fm=sd  
  12. ***********************************  
  13. 百度快照  
  14. http://cache.baidu.com/c?m=9d78d513d9d437ab4f9e91697d1cc0161d4381132ba7d3020cd0870fd33a541b0120a1ac26510d19879e20345dfe1e4bea876d26605f75a09bbfd91782a6c1352f8a2432721a844a0fd019adc1452fc423875d9dad0ee7cdb168d5f18c&p=c96ec64ad48b2def49bd9b780b64&newp=c4769a4790934ea95ea28e281c4092695912c10e3dd796&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=1  
  15. ***********************************  
  16. OpenSSL漏洞涉及众多网站 支付宝称暂无数据泄露  
  17. http://tech.ifeng.com/internet/detail_2014_04/09/35590390_0.shtml  
  18. ***********************************  
  19. 26条相同新闻  
  20. /ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:3869124100&same=26&cl=1&tn=news&rn=30&fm=sd  
  21. ***********************************  
  22. 百度快照  
  23. http://cache.baidu.com/c?m=9f65cb4a8c8507ed4fece7631050803743438014678387492ac3933fc239045c1c3aa5ec677e4742ce932b2152f4174bed843670340537b0efca8e57dfb08f29288f2c367117845615a71bb8cb31649b66cf04fdea44a7ecff25e5aac5a0da4323c044757e97f1fb4d7017dd1cf4&p=8b2a970d95df11a05aa4c32013&newp=9e39c64ad4dd50fa40bd9b7c5253d8304503c52251d5ce042acc&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=2  
  24. ***********************************  
  25. 雅虎日本6月起开始支持支付宝付款  
  26. http://www.techweb.com.cn/ucweb/news/id/2025843  
  27. ***********************************  
按时间排序
/ns?word=支付宝&ie=utf-8&bs=支付宝&sr=0&cl=2&rn=20&tn=news&ct=0&clk=sortbytime
***********************************
x
javascript:void(0)
***********************************
支付宝将联合多方共建安全基金 首批投入4000万
http://finance.ifeng.com/a/20140409/12081871_0.shtml
***********************************
7条相同新闻
/ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:2465146414%7C697779368%7C3832159921&same=7&cl=1&tn=news&rn=30&fm=sd
***********************************
百度快照
http://cache.baidu.com/c?m=9d78d513d9d437ab4f9e91697d1cc0161d4381132ba7d3020cd0870fd33a541b0120a1ac26510d19879e20345dfe1e4bea876d26605f75a09bbfd91782a6c1352f8a2432721a844a0fd019adc1452fc423875d9dad0ee7cdb168d5f18c&p=c96ec64ad48b2def49bd9b780b64&newp=c4769a4790934ea95ea28e281c4092695912c10e3dd796&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=1
***********************************
OpenSSL漏洞涉及众多网站 支付宝称暂无数据泄露
http://tech.ifeng.com/internet/detail_2014_04/09/35590390_0.shtml
***********************************
26条相同新闻
/ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:3869124100&same=26&cl=1&tn=news&rn=30&fm=sd
***********************************
百度快照
http://cache.baidu.com/c?m=9f65cb4a8c8507ed4fece7631050803743438014678387492ac3933fc239045c1c3aa5ec677e4742ce932b2152f4174bed843670340537b0efca8e57dfb08f29288f2c367117845615a71bb8cb31649b66cf04fdea44a7ecff25e5aac5a0da4323c044757e97f1fb4d7017dd1cf4&p=8b2a970d95df11a05aa4c32013&newp=9e39c64ad4dd50fa40bd9b7c5253d8304503c52251d5ce042acc&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=2
***********************************
雅虎日本6月起开始支持支付宝付款
http://www.techweb.com.cn/ucweb/news/id/2025843
***********************************


如果有什么不足，可以指出；如果觉得对你有用，顶一下~~哈哈

源码下载，点击这里。





你可能感兴趣的:(爬虫demo)

  • CX8836：小体积大功率升降压方案推荐（附Demo设计指南） 诚芯微科技 社交电子
    CX8836是一颗同步四开关单向升降压控制器，在4.5V-40V宽输入电压范围内稳定工作，持续负载电流10A，能够在输入高于或低于输出电压时稳定调节输出电压，可适用于USBPD快充、车载充电器、HUB、汽车启停系统、工业PC电源等多种升降压应用场合，为大功率TYPE-CPD车载充电器提供最优解决方案。提供CX8836Demo测试、CX8836样品申请及CX8836方案开发技术支持。CX8836同升
  • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • Java爬虫框架（一）--架构设计 狼图腾-狼之传说 java框架java任务html解析器存储电子商务
    一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
  • Java：爬虫框架 dingcho Javajava爬虫
    一、ApacheNutch2【参考地址】Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎.为了完成这一宏伟的目标,Nutch必须能够做到:每个月取几十亿网页为这些网页维护一个索引对索引文件进行每秒上千次的搜索提供高质量的搜索结果简单来说Nutch支持分
  • WebMagic：强大的Java爬虫框架解析与实战 Aaron_945 Javajava爬虫开发语言
    文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
  • 00. 这里整理了最全的爬虫框架（Java + Python） 有一只柴犬 爬虫系列爬虫javapython
    目录1、前言2、什么是网络爬虫3、常见的爬虫框架3.1、java框架3.1.1、WebMagic3.1.2、Jsoup3.1.3、HttpClient3.1.4、Crawler4j3.1.5、HtmlUnit3.1.6、Selenium3.2、Python框架3.2.1、Scrapy3.2.2、BeautifulSoup+Requests3.2.3、Selenium3.2.4、PyQuery3.2
  • python爬取微信小程序数据,python爬取小程序数据 2301_81900439 前端
    大家好，小编来为大家解答以下问题，python爬取微信小程序数据，python爬取小程序数据，现在让我们一起来看看吧！Python爬虫系列之微信小程序实战基于Scrapy爬虫框架实现对微信小程序数据的爬取首先，你得需要安装抓包工具，这里推荐使用Charles，至于怎么使用后期有时间我会出一个事例最重要的步骤之一就是分析接口，理清楚每一个接口功能，然后连接起来形成接口串思路,再通过Spider的回调
  • 代码的执行效果 高天
    packagecom20210409;publicclassdemo04{publicstaticvoidmain(String[]args){//////&&当前的条件不满足,则最后结果一定不满足,后面的条件不再执行////&不管条件是否满足所有条件均作判断//intx=1,y=1;//if(++y==2&&x++==2){//x=7;//}//System.out.println("x="+x
  • 大模型训练数据库Common Crawl WindyChanChan 数据集语言模型数据库
    CommonCrawl介绍‌‌CommonCrawl是一个非营利组织，致力于通过大规模分布式爬虫系统定期抓取整个Web并将其存储在一个可公开访问的数据库中。CommonCrawl的数据收集和处理过程包括使用Python开源爬虫工具收集全球范围内的网站数据，并将其上传到‌CommonCrawl基金会的数据仓库中。该项目从2008年开始，至今已经积累了大量的原始网页数据、元数据和文本提取数据。这些数据
  • Python精选200Tips：121-125 AnFany Python200+Tipspython开发语言
    Spendyourtimeonself-improvement121Requests-简化的HTTP请求处理发送GET请求发送POST请求发送PUT请求发送DELETE请求会话管理处理超时文件上传122BeautifulSoup-网页解析和抓取解析HTML和XML文档查找单个标签查找多个标签使用CSS选择器查找标签提取文本修改文档内容删除标签处理XML文档123Scrapy-强大的网络爬虫框架示例
  • 爬虫技术抓取网站数据被限制怎么处理 Bearjumpingcandy 爬虫
    爬虫技术用于抓取网站数据时，可能会遇到一些限制，常见的包括反爬机制、速率限制、IP封禁等。以下是应对这些情况的一些策略：尊重robots.txt：每个网站都有robots.txt文件，遵循其中的规定可以避免触犯网站的抓取规则。设置合理频率：控制爬虫请求的速度，通过添加延迟或使用代理服务器，减少对目标网站的压力。使用代理：获取并使用代理IP地址可以更换访问来源，降低被识别的可能性。模拟用户行为：使用
  • 网站推广爬虫 Bearjumpingcandy 爬虫
    网站推广爬虫是一种用于升网站曝光度和推广效果的工具。它通过自动化地访问和收集网站信息，从而实现对目标网站的广告、关键词、排名等数据进行分析和优化。以下是网站推广爬虫的一些介绍：数据收集：网站推广爬虫可以自动访问目标网站，并收集相关的数据，如网站流量、关键词排名、竞争对手信息等。这些数据可以帮助网站推广人员了解网站的现状和竞争环境，从而制定相应的推广策略。关键词优化：通过分析搜索引擎的关键词排名情况
  • 爬虫技术抓取网站数据 Bearjumpingcandy 爬虫
    爬虫技术是一种自动化获取网站数据的技术，它可以模拟人类浏览器的行为，访问网页并提取所需的信息。以下是爬虫技术抓取网站数据的一般步骤：发起HTTP请求：爬虫首先会发送HTTP请求到目标网站，获取网页的内容。解析HTML：获取到网页内容后，爬虫会使用HTML解析器解析HTML代码，提取出需要的数据。数据提取：通过使用XPath、CSS选择器或正则表达式等工具，爬虫可以从HTML中提取出所需的数据，如文
  • 爬虫技术抓取网站数据 Bearjumpingcandy 爬虫
    爬虫技术是指通过程序自动访问网页并提取数据的技术。一般来说，爬虫技术包含以下几个步骤：确定目标网站：确定需要抓取的网站，并了解其页面结构和数据特点。分析页面结构：分析网页的结构和源代码，找到需要抓取的数据在页面中的位置和标识。编写爬虫程序：使用编程语言（如Python）编写爬虫程序，实现对目标网站的自动访问和数据提取。处理抓取数据：对抓取到的数据进行清洗、去重、整合等处理，以便后续的分析和利用。爬
  • 爬虫之隧道代理：如何在爬虫中使用代理IP？ 2401_87251497 python开发语言爬虫网络tcp/ip网络协议
    在进行网络爬虫时，使用代理IP是一种常见的方式来绕过网站的反爬虫机制，提高爬取效率和数据质量。本文将详细介绍如何在爬虫中使用隧道代理，包括其原理、优势以及具体的实现方法。无论您是爬虫新手还是有经验的开发者，这篇文章都将为您提供实用的指导。什么是隧道代理？隧道代理是一种高级的代理技术，它通过创建一个加密的隧道，将数据从客户端传输到代理服务器，再由代理服务器转发到目标服务器。这样不仅可以隐藏客户端的真
  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
  • python抓取网页内容401应该用哪个库_python3使用requests模块爬取页面内容入门 坂田月半
    python的爬虫相关模块有很多，除了requests模块，再如urllib和pycurl以及tornado等。相比而言，requests模块是相对简单易上手的。通过文本，大家可以迅速学会使用python的requests模块爬取页码内容。1.Requests唯一的一个非转基因的PythonHTTP库，人类可以安全享用。官网：http://cn.python-requests.org/zh_CN/
  • 【Python爬虫】百度百科词条内容 PokiFighting 数据处理python爬虫开发语言
    词条内容我这里随便选取了一个链接，用的是FBI的词条importurllib.requestimporturllib.parsefromlxmlimportetreedefquery(url):headers={'user-agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/80.
  • 爬虫和代理IP的关系 xiaoxiongip666 爬虫tcp/ip服务器
    爬虫和代理IP之间的关系是相互依存的。代理IP为爬虫提供了绕过IP限制、隐藏真实IP、提高访问速度等能力，使得爬虫能够更有效地进行数据抓取。然而，在使用时也需要注意合法性、稳定性、成本以及隐私保护等问题。
  • day12 控制流程 if switch while do...while 猜数字游戏 卓越小Y JAVA学习日志游戏java开发语言
    控制流程顺序结构所有的程序都是按顺序执行if语句选择结构单选择语句if(a>0){System.out.println(“hello”);}packagecom.ckw.blog.select;importjava.util.Scanner;publicclassdemo01{publicstaticvoidmain(String[]args){intscore=0;Scannerscanner=
  • Vector和Stack的用法 蟹道人 JavaSejava
    /***作者：*日期：*功能：vector的用法*/packagecom.cg;importjava.util.*;publicclassDemo5{publicstaticvoidmain(String[]args){//Vector的使用Vectorvec=newVector();Empemp=newEmp("2011",25,"zhang");vec.add(emp);for(inti=0;
  • Android jni中数组参数的传递方式 lokeyme Andriodandroid开发JNINDKjavac语言
    1、背景今天调试了一下Androidjni关于Java中调用C代码的程序，发现我的数组参数传递方式不对，导致值传递不正确，我的方法是：C代码，入口函数#include#includejintJava_sony_MedicalRecordDemo_MainActivity_decryptionSuccess(JNIEnv*env,jobjectthiz,jintAttr[]){returnAttr[
  • python语言爬虫爬取歌曲程序代码 EYYLTV python爬虫android
    importrequestssong_urls=[“http://music.163.com/song/media/outer/url?id=25795016.mp3”,“https://m703.music.126.net/20240915140140/670dfe5c0144991d4cb778d6662fd762/jd-musicrep-privatecloud-audio-public/o
  • python语言爬虫爬取歌曲代码X EYYLTV python爬虫java
    importrequestssong_urls=[“https://m804.music.126.net/20240915142147/4e01caa69abda60b165e185607805ee1/jdyyaac/obj/w5rDlsOJwrLDjj7CmsOj/30379084686/b56a/dbd5/39fc/792d87f5d7014bb78547ec3804eeaac5.m4a?au
  • 拼多多商家电话采集工具 爬虫教程分享 小电商达人 爬虫
    以下是使用Python编写的拼多多商家电话采集爬虫教程：一、前期准备安装Python：从Python官方网站下载并安装最新版本的Python，安装过程中注意勾选将Python添加到系统路径选项。安装相关库：在命令提示符中运行以下命令来安装所需的库。pipinstallrequests：用于发送HTTP请求获取网页内容。pipinstallbeautifulsoup4：用于解析HTML页面。二、分析
  • 关于项目中使用shiro进行安全管理的总结 一颗大青柠 JavaShirojavaspring
    关于项目中使用shiro进行安全管理的总结关于SpringBoot下使用shiro进行用户认证与权限管理对于安全框架有一定了解的开发者一定对于shiro这款安全框架有一定的了解，这里我们不再对该框架进行其设计与知识的介绍，仅对于我的个人项目中所使用到的进行一个总结，并放上代码。使用该框架的第一步，进行配置：packagecom.libvirtjava.demo.vm.util.config;imp
  • Python爬虫代理池 极客李华 python授课python爬虫开发语言
    Python爬虫代理池网络爬虫在数据采集和信息抓取方面起到了关键作用。然而，为了应对网站的反爬虫机制和保护爬虫的真实身份，使用代理池变得至关重要。1.代理池的基本概念：代理池是一组包含多个代理IP地址的集合。通过在爬虫中使用代理池，我们能够隐藏爬虫的真实IP地址，实现一定程度的匿名性。这有助于防止被目标网站封锁或限制访问频率。2.为何使用代理池：匿名性：代理池允许爬虫在请求目标网站时使用不同的IP
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能 2401_84572577 程序员大数据hadoop人工智能
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
  • Android JetPack架构——结合记事本Demo一篇打通对Sqlite的增删改查结合常用jetpack架构应用 erhtre 程序员androidjetpack架构sqlite
    为什么要用Jetpack?========================================================================关于为什么要用Jetpack，我参考了许多的博客和官方文档，开阔了我对Android生态圈的理解和认识，在Jetpack推出前出现的许许多多强大的第三方框架与语言，典型代表无疑是强大的RxJava在Jetpack仍然有许多粉丝在一
  • 关于旗正规则引擎中的MD5加密问题 何必如此 jspMD5规则加密
    一般情况下，为了防止个人隐私的泄露，我们都会对用户登录密码进行加密，使数据库相应字段保存的是加密后的字符串，而非原始密码。 在旗正规则引擎中，通过外部调用，可以实现MD5的加密，具体步骤如下： 1.在对象库中选择外部调用，选择“com.flagleader.util.MD5”，在子选项中选择“com.flagleader.util.MD5.getMD5ofStr({arg1})”； 2.在规
  • 【Spark101】Scala Promise/Future在Spark中的应用 bit1129 Promise
    Promise和Future是Scala用于异步调用并实现结果汇集的并发原语，Scala的Future同JUC里面的Future接口含义相同，Promise理解起来就有些绕。等有时间了再仔细的研究下Promise和Future的语义以及应用场景，具体参见Scala在线文档：http://docs.scala-lang.org/sips/completed/futures-promises.html
  • spark sql 访问hive数据的配置详解 daizj spark sqlhivethriftserver
    spark sql 能够通过thriftserver 访问hive数据，默认spark编译的版本是不支持访问hive，因为hive依赖比较多，因此打的包中不包含hive和thriftserver,因此需要自己下载源码进行编译，将hive，thriftserver打包进去才能够访问，详细配置步骤如下：   1、下载源码   2、下载Maven,并配置 此配置简单，就略过
  • HTTP 协议通信 周凡杨 javahttpclienthttp通信
                            一：简介  HTTPCLIENT，通过JAVA基于HTTP协议进行点与点间的通信！     二： 代码举例      测试类： import java
  • java unix时间戳转换 g21121 java
    把java时间戳转换成unix时间戳： Timestamp appointTime=Timestamp.valueOf(new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date())) SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd hh:m
  • web报表工具FineReport常用函数的用法总结（报表函数） 老A不折腾 web报表finereport总结
    说明：本次总结中，凡是以tableName或viewName作为参数因子的。函数在调用的时候均按照先从私有数据源中查找，然后再从公有数据源中查找的顺序。   CLASS CLASS(object):返回object对象的所属的类。   CNMONEY CNMONEY(number,unit)返回人民币大写。 number:需要转换的数值型的数。 unit:单位，
  • java jni调用c++ 代码 报错 墙头上一根草 javaC++jni
    # # A fatal error has been detected by the Java Runtime Environment: # #  EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x00000000777c3290, pid=5632, tid=6656 # # JRE version: Java(TM) SE Ru
  • Spring中事件处理de小技巧 aijuans springSpring 教程Spring 实例Spring 入门Spring3
    Spring 中提供一些Aware相关de接口，BeanFactoryAware、 ApplicationContextAware、ResourceLoaderAware、ServletContextAware等等，其中最常用到de匙ApplicationContextAware.实现ApplicationContextAwaredeBean，在Bean被初始后，将会被注入 Applicati
  • linux shell ls脚本样例 annan211 linuxlinux ls源码linux 源码
    #! /bin/sh - #查找输入文件的路径 #在查找路径下寻找一个或多个原始文件或文件模式 # 查找路径由特定的环境变量所定义 #标准输出所产生的结果 通常是查找路径下找到的每个文件的第一个实体的完整路径 # 或是filename :not found 的标准错误输出。 #如果文件没有找到 则退出码为0 #否则 即为找不到的文件个数 #语法 pathfind [--
  • List,Set,Map遍历方式 (收集的资源,值得看一下) 百合不是茶 listsetMap遍历方式
    List特点：元素有放入顺序，元素可重复 Map特点：元素按键值对存储，无放入顺序 Set特点：元素无放入顺序，元素不可重复（注意：元素虽然无放入顺序，但是元素在set中的位置是有该元素的HashCode决定的，其位置其实是固定的） List接口有三个实现类：LinkedList，ArrayList，Vector LinkedList：底层基于链表实现，链表内存是散乱的，每一个元素存储本身
  • 解决SimpleDateFormat的线程不安全问题的方法 bijian1013 javathread线程安全
    在Java项目中，我们通常会自己写一个DateUtil类，处理日期和字符串的转换，如下所示： public class DateUtil01 { private SimpleDateFormat dateformat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); public void format(Date d
  • http请求测试实例（采用fastjson解析） bijian1013 http测试
            在实际开发中，我们经常会去做http请求的开发，下面则是如何请求的单元测试小实例，仅供参考。 import java.util.HashMap; import java.util.Map; import org.apache.commons.httpclient.HttpClient; import
  • 【RPC框架Hessian三】Hessian 异常处理 bit1129 hessian
    RPC异常处理概述   RPC异常处理指是，当客户端调用远端的服务，如果服务执行过程中发生异常，这个异常能否序列到客户端？   如果服务在执行过程中可能发生异常，那么在服务接口的声明中，就该声明该接口可能抛出的异常。   在Hessian中，服务器端发生异常，可以将异常信息从服务器端序列化到客户端，因为Exception本身是实现了Serializable的
  • 【日志分析】日志分析工具 bit1129 日志分析
    1. 网站日志实时分析工具 GoAccess http://www.vpsee.com/2014/02/a-real-time-web-log-analyzer-goaccess/ 2. 通过日志监控并收集 Java 应用程序性能数据(Perf4J) http://www.ibm.com/developerworks/cn/java/j-lo-logforperf/ 3.log.io 和
  • nginx优化加强战斗力及遇到的坑解决 ronin47 nginx 优化
    　　　先说遇到个坑，第一个是负载问题，这个问题与架构有关，由于我设计架构多了两层，结果导致会话负载只转向一个。解决这样的问题思路有两个：一是改变负载策略，二是更改架构设计。 　　　由于采用动静分离部署，而nginx又设计了静态，结果客户端去读nginx静态，访问量上来，页面加载很慢。解决：二者留其一。最好是保留apache服务器。   　　　来以下优化：   　　　
  • java-50-输入两棵二叉树A和B，判断树B是不是A的子结构 bylijinnan java
    思路来自： http://zhedahht.blog.163.com/blog/static/25411174201011445550396/ import ljn.help.*; public class HasSubtree { /**Q50. * 输入两棵二叉树A和B，判断树B是不是A的子结构。 例如，下图中的两棵树A和B，由于A中有一部分子树的结构和B是一
  • mongoDB 备份与恢复 开窍的石头 mongDB备份与恢复
    Mongodb导出与导入 1: 导入/导出可以操作的是本地的mongodb服务器,也可以是远程的. 所以,都有如下通用选项: -h host   主机 --port port    端口 -u username 用户名 -p passwd   密码 2: mongoexport 导出json格式的文件
  • [网络与通讯]椭圆轨道计算的一些问题 comsci 网络
         如果按照中国古代农历的历法，现在应该是某个季节的开始，但是由于农历历法是3000年前的天文观测数据，如果按照现在的天文学记录来进行修正的话，这个季节已经过去一段时间了。。。。。       也就是说，还要再等3000年。才有机会了，太阳系的行星的椭圆轨道受到外来天体的干扰，轨道次序发生了变
  • 软件专利如何申请 cuiyadll 软件专利申请
    软件技术可以申请软件著作权以保护软件源代码，也可以申请发明专利以保护软件流程中的步骤执行方式。专利保护的是软件解决问题的思想，而软件著作权保护的是软件代码（即软件思想的表达形式）。例如，离线传送文件，那发明专利保护是如何实现离线传送文件。基于相同的软件思想，但实现离线传送的程序代码有千千万万种，每种代码都可以享有各自的软件著作权。申请一个软件发明专利的代理费大概需要5000-8000申请发明专利可
  • Android学习笔记 darrenzhu android
    1.启动一个AVD 2.命令行运行adb shell可连接到AVD,这也就是命令行客户端 3.如何启动一个程序   am start -n package name/.activityName   am start -n com.example.helloworld/.MainActivity 启动Android设置工具的命令如下所示： # am start -
  • apache虚拟机配置，本地多域名访问本地网站 dcj3sjt126com apache
    现在假定你有两个目录，一个存在于 /htdocs/a，另一个存在于 /htdocs/b 。 现在你想要在本地测试的时候访问 www.freeman.com 对应的目录是 /xampp/htdocs/freeman ,访问 www.duchengjiu.com 对应的目录是 /htdocs/duchengjiu。 1、首先修改C盘WINDOWS\system32\drivers\etc目录下的
  • yii2 restful web服务[速率限制] dcj3sjt126com PHPyii2
    速率限制 为防止滥用，你应该考虑增加速率限制到您的API。 例如，您可以限制每个用户的API的使用是在10分钟内最多100次的API调用。 如果一个用户同一个时间段内太多的请求被接收， 将返回响应状态代码 429 (这意味着过多的请求)。 要启用速率限制, [[yii\web\User::identityClass|user identity class]] 应该实现 [[yii\filter
  • Hadoop2.5.2安装——单机模式 eksliang hadoophadoop单机部署
    转载请出自出处：http://eksliang.iteye.com/blog/2185414 一、概述        Hadoop有三种模式 单机模式、伪分布模式和完全分布模式，这里先简单介绍单机模式 ，默认情况下，Hadoop被配置成一个非分布式模式，独立运行JAVA进程，适合开始做调试工作。   二、下载地址 Hadoop 网址http:
  • LoadMoreListView+SwipeRefreshLayout（分页下拉）基本结构 gundumw100 android
    一切为了快速迭代 import java.util.ArrayList; import org.json.JSONObject; import android.animation.ObjectAnimator; import android.os.Bundle; import android.support.v4.widget.SwipeRefreshLayo
  • 三道简单的前端HTML/CSS题目 ini htmlWeb前端css题目
    使用CSS为多个网页进行相同风格的布局和外观设置时，为了方便对这些网页进行修改，最好使用（ ）。http://hovertree.com/shortanswer/bjae/7bd72acca3206862.htm   在HTML中加入<table style=”color:red; font-size:10pt”>，此为（ ）。http://hovertree.com/s
  • overrided方法编译错误 kane_xie override
    问题描述： 在实现类中的某一或某几个Override方法发生编译错误如下： Name clash: The method put(String) of type XXXServiceImpl has the same erasure as put(String) of type XXXService but does not override it   当去掉@Over
  • Java中使用代理IP获取网址内容（防IP被封，做数据爬虫） mcj8089 免费代理IP代理IP数据爬虫JAVA设置代理IP爬虫封IP
    推荐两个代理IP网站：   1. 全网代理IP：http://proxy.goubanjia.com/   2. 敲代码免费IP：http://ip.qiaodm.com/   Java语言有两种方式使用代理IP访问网址并获取内容，   方式一，设置System系统属性   // 设置代理IP System.getProper
  • Nodejs Express 报错之 listen EADDRINUSE qiaolevip 每天进步一点点学习永无止境nodejs纵观千象
    当你启动 nodejs服务报错： >node app Express server listening on port 80 events.js:85 throw er; // Unhandled 'error' event ^ Error: listen EADDRINUSE at exports._errnoException (
  • C++中三种new的用法 _荆棘鸟_ C++new
    转载自：http://news.ccidnet.com/art/32855/20100713/2114025_1.html 作者: mt 其一是new operator，也叫new表达式；其二是operator new，也叫new操作符。这两个英文名称起的也太绝了，很容易搞混，那就记中文名称吧。new表达式比较常见，也最常用，例如： string* ps = new string("
  • Ruby深入研究笔记1 wudixiaotie Ruby
    module是可以定义private方法的 module MTest def aaa puts "aaa" private_method end private def private_method puts "this is private_method" end end
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他