小屁孩大帅-杨一凡

利用java爬取网页数据的方法与思路，以爬取“食品许可公示的数据”为例

项目背景

先说下背景，前几天老哥让帮忙从网上抓点数据，因为他是做食品添加剂的推广工作的，所以需要知道有哪些工厂或者厂家可能需要食品添加剂，然后他给了我一个网址----湖北省食品药品行政许可公示平台。既然是公示平台，数据应该就是公开的，爬起来应该不会被查水表吧，看这个警徽还是怕怕的 .......>_>

如下:

抓取的数据类似图上列表中的数据，但是他说还要厂家地址和食品类型，能有其他数据更好。

然后我研究了下，发现图上页面是没有厂家地址的（但是我这个页面也抓了，服务器返回的是json格式的数据，解析下json数据存入数据库就行，这个公示平台貌似是近几个月才出的），也不够详细，在其他页面有带厂家地址的数据，给服务器发送请求返回的是html的数据，解析html数据，将所需数据存入数据库。

带地址的网页长这样：

（URL:http://******websearch/SearchCardAction.do?operate=searchGyEntCard&operPage=card_spscxkz_list&cardtype=103）：

点击每个生产者名称都会跳出一个弹窗，该弹窗显示的是食品许可证的详细数据（后台服务器实际应该是以该公司在数据库中的uuid为条件，去详细查了下该生产许可证的信息，然后返回给了前端）：

（URL:http://******/websearch/SearchCardAction.do?operate=viewGyEntCard&operPage=card_spscxkz_view&recid=2c9080845707bcc30159a66100300bd3）

ok，现在目标很明确，就是从带厂家地址的网页上把所有公司的uuid拿到，然后以每个uuid作为URL变化的条件（“recid=”后面是变化的，拼接URL的时候将uuid拼在具体的链接上来访问服务器），从弹窗的那个页面拿到详细的数据，存入数据库。

项目环境

ide：intellij IDEA 2017.2.5

编程语言：java

数据库：mysql

管理工具：maven

需要导包：mysql-connector-java，jsoup（解析html）等，如果要解析json可能还要导入gson的包。

我把重要的依赖贴出来（默认大家都是使用过maven的，如果不使用maven，你可以到网上下载jar包添加到项目里）:


   
   
   
   
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       <dependency>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
          
       
       
       
       <groupId>com.google.code.gson
       
       
       
       groupId>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
          
       
       
       
       <artifactId>gson
       
       
       
       artifactId>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
          
       
       
       
       <version>2.8.0
       
       
       
       version>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       dependency>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       <dependency>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
          
       
       
       
       <groupId>mysql
       
       
       
       groupId>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
          
       
       
       
       <artifactId>mysql-connector-java
       
       
       
       artifactId>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
          
       
       
       
       <version>5.1.38
       
       
       
       version>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       dependency>


   
   
   
   
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       <dependency>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
          
       
       
       
       <groupId>org.jsoup
       
       
       
       groupId>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
          
       
       
       
       <artifactId>jsoup
       
       
       
       artifactId>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
          
       
       
       
       <version>1.9.2
       
       
       
       version>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       dependency>

项目详情

思路上面说的差不多了，要补充的是，我们使用HttpURLConnection来连接服务器（httpclient等开源项目或者工具应该也行），对于POST请求和GET请求稍微有些区别，这个网上也比较多，大家可以自行百度或者Google。然后是代码，我把主要部分都贴出来，可能代码会有些不规范的地方，大家也可以指出，项目结构比较简单，代码也不长，直接主函数里面就执行完了所有的内容，新人拿来练手也不错。

项目整体的结构：

1.主类部分


   
   
   
   
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       package main; /**
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
        * @Author tang_zhen
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
        * @Date 2018/3/7
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
        * @Description
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
        */
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import model.DataBase;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import com.google.gson.JsonObject;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import service.dao.DBUtils;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import service.MyParse;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import java.io.*;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import java.net.HttpURLConnection;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import java.net.URL;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import java.sql.Connection;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import java.sql.PreparedStatement;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import java.sql.ResultSet;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import java.sql.SQLException;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import java.util.List;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       public class GetData {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
           /**
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
            * 发起http请求并获取结果
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
            * @param requestUrl 请求地址
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
            */
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
           public static String getRequest(String requestUrl){
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               String res="";
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //        JsonObject object = null;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               StringBuffer buffer = new StringBuffer();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               try{
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   URL url = new URL(requestUrl);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   //打开连接
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   HttpURLConnection urlCon= (HttpURLConnection)url.openConnection();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   if(200==urlCon.getResponseCode()){//连接正常，获取输入流
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       InputStream is = urlCon.getInputStream();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       InputStreamReader isr = new InputStreamReader(is,"GBK");
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       BufferedReader br = new BufferedReader(isr);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       String str = null;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       while((str = br.readLine())!=null){
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                           buffer.append(str);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       //关闭流
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       br.close();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       isr.close();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       is.close();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       res = buffer.toString();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       //如果是json数据可以这样解析然后返回JsonObject类型的对象
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //                JsonParser parse =new JsonParser();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //                JsonObject res2 = (JsonObject)parse.parse(buffer.toString());
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               }catch(IOException e){
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   e.printStackTrace();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               return res;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
           }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
           public static String postDownloadRes(String path,String post){
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               URL url = null;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               try {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   url = new URL(path);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   HttpURLConnection httpURLConnection = (HttpURLConnection) url.openConnection();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   httpURLConnection.setRequestMethod("POST");// Post请求
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   // conn.setConnectTimeout(10000);//连接超时 单位毫秒
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   // conn.setReadTimeout(2000);//读取超时 单位毫秒
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   // POST需设置如下两行
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   httpURLConnection.setDoOutput(true);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   httpURLConnection.setDoInput(true);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   // 获取URLConnection对象对应的输出流
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   PrintWriter printWriter = new PrintWriter(httpURLConnection.getOutputStream());
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   // 发送请求参数(post请求的参数一般可以从浏览器里查请求的时候看到参数是哪些)
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   printWriter.write(post);//post的参数 形式为xx=xx&yy=yy
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                  
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   // flush输出流的缓冲
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   printWriter.flush();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   //开始获取数据
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   BufferedInputStream bis = new BufferedInputStream(httpURLConnection.getInputStream());
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   ByteArrayOutputStream bos = new ByteArrayOutputStream();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   int len;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   byte[] arr = new byte[1024];
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   while((len=bis.read(arr))!= -1){
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       bos.write(arr,0,len);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       bos.flush();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   bos.close();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   //如果是json数据可以这样解析然后返回JsonObject类型的对象
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //          JsonParser parse =new JsonParser();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //          JsonObject res2 = (JsonObject)parse.parse(bos.toString("utf-8"));
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   return bos.toString("utf-8");
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               } catch (Exception e) {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   e.printStackTrace();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               return null;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
           }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
           //测试
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
           public static void main(String args [] ) {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //        JsonObject res = null;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               String responseStr = null;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               JsonObject res2 = null;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //        for (int k=1;k
       
       
       
       <=631;k++) {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //           //获取某一页的数据可以根据“nextPageNo=*”来指定，就是字符串拼接下，把1换成n
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
              String str = "gyEntcardprint.cardid=&gyEntcardprint.name=&pageModel.nextPageNo="+1+"&pageModel.pageSize=12&cardtype=103";
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   responseStr = postDownloadRes("wssb/websearch/SearchCardAction.do?operate=searchGyEntCard&operPage=card_spscxkz_list&cardtype=103&pageModel.afreshQuery=true", str);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   //System.out.println(responseStr);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   try {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                //第一个页面中拿到的是一个列表，是一页的数据
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       List<DataBase> list = MyParse.getData(responseStr);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       for (DataBase dataBase : list) {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                           String str1 = "wssb/websearch/SearchCardAction.do?operate=viewGyEntCard&operPage=card_spscxkz_view&recid="+dataBase.getId();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                           String responseStr1 = getRequest(str1);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                           System.out.println(responseStr1);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                           MyParse.getTotalData(responseStr1,dataBase.getId());
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                           //存id和公司名到第一张表里
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //                    insert(dataBase);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   } catch (Exception e) {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       e.printStackTrace();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   //这部分注释的是json解析的部分，之前访问过的网址返回的是json数据（嵌套了有多层）
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //            JsonArray member = responseStr.getAsJsonArray("zsList");
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //            for (int i = 0; i 
       
       
       
       < member.size(); i++) {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //                JsonElement elements = member.get(i);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //                JsonElement name = elements.getAsJsonObject().get("name");
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //                JsonElement id = elements.getAsJsonObject().get("id");
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //                DataBase db = new DataBase(id.toString(), name.toString());
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //                System.out.println(name);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //                System.out.println(id);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //                insert(db);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //            }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //        }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
           }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       }

主函数部分就是打开连接，模拟浏览器与服务器交互，接收从服务器返回的数据，再调用MyParse类中的getData等从数据中拿到想要的数据：

2.解析部分：


   
   
   
   
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import model.DataBase;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import org.jsoup.Jsoup;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import org.jsoup.nodes.Document;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import org.jsoup.nodes.Element;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import org.jsoup.select.Elements;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import service.dao.DBUtils;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import java.util.ArrayList;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import java.util.List;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       /**
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
        * @Author tang_zhen
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
        * @Date 2018/3/8
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
        * @Description
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
        */
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       public class MyParse {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
           /**
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
            * 获取每个公司的id和姓名
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
            * @param html
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
            * @return
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
            * @throws Exception
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
            */
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
           public static List
       
       
       
       <DataBase> getData(String html) throws Exception {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               //获取的数据，存放在集合中
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               List
       
       
       
       <DataBase> data = new ArrayList
       
       
       
       <DataBase>();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               //System.out.println(html.length()+"HTML长度");
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               //System.out.println(html);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               //采用Jsoup解析
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               Document doc = Jsoup.parse(html);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               //System.out.println(doc.text() + "doc内容");
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               //获取html标签中的内容
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               Elements elements = doc.select("tr[class=Items]");
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               System.out.println(elements.size() + "****条");
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               for (Element element:elements)
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   Element link = element.select("a").first();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   String text = element.select("a").get(1).text();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   String linkHref = link.attr("href");
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   String[] newLinkHrefArray = linkHref.split("\'");
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   String newLinkHref =newLinkHrefArray[1];
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //            System.out.println(newLinkHref+"------"+text);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   DataBase dataBase = new DataBase();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   dataBase.setId(newLinkHref);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   dataBase.setName(text);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   data.add(dataBase);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //            insert(dataBase);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               return data;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
           }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
           /**
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
            * 根据id获取弹窗上详细的数据
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
            * @param html
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
            * @param id
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
            */
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
           public static void getTotalData(String html,String id) {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               List
       
       
       
       <DataBase> data = new ArrayList
       
       
       
       <DataBase>();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               //System.out.println(html.length()+"HTML长度");
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               //采用Jsoup解析
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               Document doc = Jsoup.parse(html);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               //System.out.println(doc.text() + "doc内容");
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               //获取html标签中的内容
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               Elements elements = doc.select("tr");
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //        System.out.println(elements.size() + "****条");
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               DataBase dataBase=new DataBase();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               for (Element element:elements)
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               {   //jsoup的具体解析你们可以百度一下，根据内容不一样，获取的方式也不太一样，我这个内容算是比较简单的了，
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   // 复杂的html内容获取某个数据，一行可能都写不下
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   if(element.select("td").first().text().equals("生产者名称"))
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       String name = element.select("td").get(1).text();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       if (name==null) name="";
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       dataBase.setName(name);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   if(element.select("td").first().text().equals("住所"))
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       String homeAddress = element.select("td").get(1).text();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       if(homeAddress==null) homeAddress="";
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       dataBase.setHomeAddress(homeAddress);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   if(element.select("td").first().text().equals("生产地址"))
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       String address = element.select("td").get(1).text();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       if (address==null) address="";
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       dataBase.setAddress(address);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   if(element.select("td").first().text().equals("食品类别"))
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       String foodType = element.select("td").get(1).text();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       if(foodType==null) foodType="";
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       dataBase.setFoodType(foodType);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   if(element.select("td").first().text().equals("发证日期"))
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       String dateOfIssue = element.select("td").get(1).text();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       if (dateOfIssue==null) dateOfIssue="";
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       dataBase.setDateOfIssue(dateOfIssue);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       //截止日期
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       String cutOffDate = element.select("td").get(3).text();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       if(cutOffDate==null) cutOffDate="";
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       dataBase.setCutOffData(cutOffDate);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   dataBase.setId(id);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               //将bean中的数据存入数据库
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               DBUtils.insert(dataBase);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
           }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       }

3.数据库部分

主要是jdbc的内容，大家应该也都会：


   
   
   
   
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import model.DataBase;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       import java.sql.*;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       /**
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
        * @Author tang_zhen
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
        * @Date 2018/3/7
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
        * @Description
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
        */
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       public class DBUtils {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               // 获取数据库连接
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               public static Connection getConnection() {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   Connection con = null;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   //定义连接相关属性
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   final String DRIVER = "com.mysql.jdbc.Driver";
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   final String URL = "jdbc:mysql://127.0.0.1:3306/tang?useUnicode=true&characterEncoding=utf-8&useSSL=false";
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   final String USER = "root";
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   final String PWD = "111111";
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   try {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       Class.forName(DRIVER);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       con = DriverManager.getConnection(URL, USER, PWD);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   } catch (ClassNotFoundException e) {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       e.printStackTrace();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   } catch (SQLException e) {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       e.printStackTrace();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   return con;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
           //
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
           public static void insert(DataBase od) {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               Connection con = DBUtils.getConnection();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               try {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   PreparedStatement stat = con.prepareStatement("select * from new_get_data where id= ? ");
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   stat.setString(1, od.getId());
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   ResultSet resultSet = stat.executeQuery();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   if (resultSet.next()) {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       con.close();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       return;
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   String sql = "insert into new_get_data (id,name,address,home_address,cut_off_date,date_of_issue,food_type) values(?,?,?,?,?,?,?);";
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       //        Connection con = DBUtils.getConnection();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   // 预编译
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   PreparedStatement ps = con.prepareStatement(sql);
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   ps.setString(1, od.getId());
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   ps.setString(2, od.getName());
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   ps.setString(3, od.getAddress());
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   ps.setString(4, od.getHomeAddress());
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   ps.setString(5, od.getCutOffData());
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   ps.setString(6, od.getDateOfIssue());
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   ps.setString(7, od.getFoodType());
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   // 执行
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   ps.execute();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               } catch (SQLException e) {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   e.printStackTrace();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               } finally {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   //图方便，关闭连接就不单独写个方法调用了
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   try {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       con.close();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   } catch (SQLException e) {
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                       e.printStackTrace();
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
               }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
           }
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
       
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       }

最后是效果：

上图是打印出来的服务器返回的html，下图是存入数据库的数据截图：

另外，我觉得有必要贴一下返回的html的部分内容，这样如果想知道如何利用jsoup解析html的可以对照着html的结构看下我的代码是如何解析的：


   
   
   
   
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
       <table width="99%" border="0" cellpadding="0" cellspacing="1" id="wrap_1" align="center">
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
        
       
       
       
       <tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
          
       
       
       
       <td class="td_content">
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
              
       
       
       
       <table width="100%" border="0" cellpadding="0" cellspacing="1" id="content">
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
              
       
       
       
       <tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="15%"  class="bai_right">证书名称
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td   class="bai_left" colspan="3">
       
       
       
       <input type="hidden" name="cardtype" value="" id="cardnametype">
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
      
       
       
       
                   食品生产许可证
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
              
       
       
       
       tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
              
       
       
       
       <tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="15%"  class="bai_right">证书编号
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td class="bai_left" colspan="3" >QS4203 2401 0460
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
            
       
       
       
       tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
              
       
       
       
       <tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="15%" class="bai_right">生产者名称
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td  class="bai_left" colspan="3">
       房县味味食品有限公司
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
              
       
       
       
       tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
              
       
       
       
       <tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="15%" class="bai_right">社会信用代码
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="35%" class="bai_left" >X1631412-7
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="15%" class="bai_right">法定代表人
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="35%" class="bai_left" >林益华
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
              
       
       
       
       tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                 
       
       
       
       <tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="15%" class="bai_right">住所
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td  class="bai_left" colspan="3">
       湖北省十堰市房县红塔镇西城工业园高碑村四组
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
              
       
       
       
       tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
              
       
       
       
       <tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="15%" class="bai_right">生产地址
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td  class="bai_left" colspan="3">湖北省十堰市房县红塔镇西城工业园高碑村四组
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
              
       
       
       
       tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
            
       
       
       
       <tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="15%" class="bai_right">食品类别
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td class="bai_left" colspan="3">
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
              
       
       
       
       tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
              
       
       
       
       <tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="15%" class="bai_right">日常监督管理机构
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="35%" class="bai_left">
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="15%" class="bai_right">日常监督管理人员
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="35%" class="bai_left">
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
               
       
       
       
       tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
             
       
       
       
       <tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="15%" class="bai_right">签发人
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="35%" class="bai_left">
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="15%" class="bai_right">发证机关
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="35%" class="bai_left">
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
               
       
       
       
       tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
             
       
       
       
       <tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="15%" class="bai_right">发证日期
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="35%" class="bai_left">2012-08-08
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="15%" class="bai_right">截止日期
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
                   
       
       
       
       <td width="35%" class="bai_left">2018-07-30
       
       
       
       td>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
               
       
       
       
       tr>
      
      
      
      
     
     
     
     
    
    
    
    
     
     
     
     
      
      
      
      
     
     
     
     
     
     
     
     
      
      
      
              
       
       
       
       table>

项目总结

其实整个项目就是个小程序，小爬虫，总体来说技术不算难，结构也很简单，大部分用到的技术和知识网上也挺多的，不管咋说，作为一个菜鸟程序猿，毕竟还是用自己所学的技术解决掉了一个比较现实的问题吧。然后就是，我发现代码跑起来是真的慢啊！爬一页数据，大概要两秒多？我猜问题主要是出在了数据库那，因为我是用完一个连接就直接关闭了，早知道慢成这样就用个数据库的连接池了.....

PS：代码里面的URL都不是完整的，如果你们要实验，还是换个网站吧，这个毕竟是政府网站，虽然数据也是公开的数据，但是连接太多对服务器是有压力的，崩了就不好了，万一被查水表呢。还有就是有的网站可能会拒绝连接，有的防止类似的爬虫爬取页面的时候会做一些措施，多次连接IP会被拉黑。有啥问题直接留言，第一次写博客，大家多多包涵，之前都是在有道云笔记里记东西。

2019-12-22-22:30 涓涓1016
今天是冬至，写下我的日更，是因为这两天的学习真的是能量的满满，让我看到了自己，未来另外一种可能性，也让我看到了这两年这几年的过程中我所接受那些痛苦的来源。一切的根源和痛苦都来自于人生，家庭，而你的原生家庭，你的爸爸和妈妈，是因为你这个灵魂在那一刻选择他们作为你的爸爸和妈妈来的，所以你得接受他，你得接纳他，他就是因为他的存在而给你的学习和成长带来这些痛苦，那其实是你必然要经历的这个过程，当你去接纳的
2023-10-22 奥雷里亚诺第n
昨天在B站看到关于猫喜欢挠人的视频，视频教导说猫挠人的话就抓住它的后脖颈然后用手打打挠人的那个爪子。视频本身没什么，但评论区却炸开了锅（真是符合挑食者厌食心理）。令我印象最深刻的一个甚至上升到了关于我是谁这种终极问题。它说，猫就是畜生，它挠人就打它别惯着它，反正我六道轮回成了人就应该保持人的高贵，谁都别想来打破。我顿时汗颜，但看到下面全是类似的言论只不过后面的理由各有不同，本来想骂人的心都凉了一半
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
2019-03-22 430O70Mk
引发支原体的原因支原体感染是临床上比较常见的一种疾病，此疾病会对患者的身体造成很大的伤害，对支原体感染患者的日常生活也会带来极大的影响，那么诱发支原体感染的原因是什么呢?肺炎支原体感染，又称支原体性肺炎，是由肺炎支原体引起的急性间质性肺炎。主要通过呼吸道传播，健康人吸入患者咳嗽，打喷嚏时喷出的口、鼻分泌物而感染。支原体为动物多种疾病的致病体，而其中只有肺炎支原体肯定对人致病。它是由口、鼻分泌物经空
Java爬虫框架（一）--架构设计狼图腾-狼之传说 java 框架 java 任务 html解析器存储电子商务
一、架构图那里搜网络爬虫框架主要针对电子商务网站进行数据爬取，分析，存储，索引。爬虫：爬虫负责爬取，解析，处理电子商务网站的网页的内容数据库：存储商品信息索引：商品的全文搜索索引Task队列：需要爬取的网页列表Visited表：已经爬取过的网页列表爬虫监控平台：web平台可以启动，停止爬虫，管理爬虫，task队列，visited表。二、爬虫1.流程1)Scheduler启动爬虫器，TaskMast
2018-12-22 《金刚经修心课：不焦虑的活法》摘录 Cintia1004
不为外界干扰的神奇力量如果你即将开始阅读金刚经，请试着把你的心空下来，把你各种习惯性的想法放在一边，以一种敞开的心态去阅读它。在敞开的阅读里，你会慢慢领悟到，金刚经没有任何结论，只是一种启迪，一种指引，指引你彻底地自我解放，从一切的成见里解放出来。你会惊奇地发现，金刚经……你都能够获得一种不为外界干扰的平静的力量。当这种力量充满你的日常生活，你会不害怕失败，……没有得到的时候，想要得到；已经得到的
Java：爬虫框架 dingcho Java java 爬虫
一、ApacheNutch2【参考地址】Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎.为了完成这一宏伟的目标,Nutch必须能够做到:每个月取几十亿网页为这些网页维护一个索引对索引文件进行每秒上千次的搜索提供高质量的搜索结果简单来说Nutch支持分
WebMagic：强大的Java爬虫框架解析与实战 Aaron_945 Java java 爬虫开发语言
文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
00. 这里整理了最全的爬虫框架（Java + Python）有一只柴犬爬虫系列爬虫 java python
目录1、前言2、什么是网络爬虫3、常见的爬虫框架3.1、java框架3.1.1、WebMagic3.1.2、Jsoup3.1.3、HttpClient3.1.4、Crawler4j3.1.5、HtmlUnit3.1.6、Selenium3.2、Python框架3.2.1、Scrapy3.2.2、BeautifulSoup+Requests3.2.3、Selenium3.2.4、PyQuery3.2
2022-05-22光印随思60学习要与现实打通无名之米8
20220522光印随思60学习要与现实打通今天在匆忙中完成了新网师课程的第七次预习作业。每次完成预习作业的过程都是一次艰难的学习，先要学习相关的文本和文件，了解作业需要的理论知识，之后需要把理论知识运用于实际工作和生活中。这也是学习的真正价值所在。在很多时候，会有这样的感觉，读了很多书为什么没有啥长进？现在回想应该就是，当只有阅读和感受，没有把阅读心得转化为文字，没有把阅读的知识运用到实际的场景
python爬取微信小程序数据,python爬取小程序数据 2301_81900439 前端
大家好，小编来为大家解答以下问题，python爬取微信小程序数据，python爬取小程序数据，现在让我们一起来看看吧！Python爬虫系列之微信小程序实战基于Scrapy爬虫框架实现对微信小程序数据的爬取首先，你得需要安装抓包工具，这里推荐使用Charles，至于怎么使用后期有时间我会出一个事例最重要的步骤之一就是分析接口，理清楚每一个接口功能，然后连接起来形成接口串思路,再通过Spider的回调
2025第十二届广州国际汽车零部件加工技术及汽车模具展览会 ws201907 人工智能大数据汽车
2025第十二届广州国际汽车零部件加工技术及汽车模具展览会时间：2025年11月20日-22日地点：广州保利世贸博览馆(PWTCExpo)预计20000平方米展出面积；400多家参展商：20000多名观众；汇集了各种汽车零部件成品、汽车模具以及机床加工技术的行业盛会；聚集超过80家汽车主机厂以及3000家一二级零部件制造商参观展览会！展会简介：2025第十二届广州国际汽车零部件加工技术及汽车模具展
2021-04-22 怀洋
感情是双向的，其他人无法体会当事人的真实情感，每个人在当下的感受都是不一样的。今天下雨，中午没有出去散步，在办公室就能听到各种各样的事情，有的同事在聊天也有的在和另一半沟通，还有在生气争吵的。其中一位姐姐和爱人发生了争执，起因是什么并不清楚，可从一些谈话中能知道是因为家庭琐事。我以为这位姐姐会很难过，下午的情绪会不好。谁知没过10分钟姐姐就又开心的哈哈大笑，开始秀恩爱了。当时我就很感慨，婚姻中没有
vue2实现复制,粘贴功能周bro vue.js javascript 前端
一、需求说明在项目中点击按钮复制某行文本是很常见的应用场景，在Vue项目中实现复制功能需要借助vue-clipboard2插件。二、代码实现1、安装vue-clipboard2依赖（出现错误的话，可以试试切换成淘宝镜像源npmconfigsetregistryhttps://registry.npm.taobao.org）npminstall--savevue-clipboard22、在main.
DVBS 卫星波段设置晨春计 TV Android TV android
目录背景DVBS介绍LNB(LowNoiseBlock)LNBC(LowNoiseBlockController)Tuner接收频率范围卫星波段范围卫星波段降频Ku波段降频C波段降频码流机和DVBS菜单设置背景不经常使用DVBS频率设置，容易忘记，整理如下。DVBS介绍在DVBS/S2信号通过同轴线进入电视/机顶盒的同时，LNBC会通过同轴线向外输出0/22K，13V/18V等信号，以控制LNB的
Ubuntu常用命令整理十里染林
ubuntu16.04server开启ssh:使用x-shell连接主机，发现22端口没有打开，开启ssh服务：安装openssh-serversudoapt-getinstallopenssh-server检查安装是否成功sudops-e|grepssh开启ssh服务sudoservicesshstartUbuntu开启/关闭防火墙:开启防火墙sudoufwenable关闭防火墙sudoufwd
《礼记·檀弓上》22 阑珊一暮
有子问于曾子曰：“问丧于夫子乎？”曰：“闻之矣：丧欲速贫，死欲速朽。”有子曰：“是非君子之言也。”曾子曰：“参也闻诸夫子也。”有子又曰：“是非君子之言也。”曾子曰：“参也与子游闻之。”有子曰：“然。然则夫子有为言之也。”有子问曾子：“对待丢掉官职的人，夫子是怎么说的？”曾子说：“我听老师这样说过：官职丢了，最好要快点贫穷；人要是死了，最好要快点腐烂。”有子说：“这不是君子应说的话吧。”曾子说：“这
2021-10-22 c6a82911a6e5
致良知线上正心班学习第11天时间：2021年10月21日姓名：李克聪地区：山东淄博志愿：修己度人，自省利他｜当｜下｜即｜未｜来｜【自省利他致良知】今日功课1、读原文✔：2分2、准时交功课✔：2分3、日行一善✔：2分4、每日自省✔：2分（1）时刻保持恩悲敬（2）不抱怨，不说谎5、读书践行心得✔:2分菩萨为因，凡夫为果，因上努力，成果必达。自然的规律是天道，人和自然的规律是一样的。我们平时经常讲做人做
大模型训练数据库Common Crawl WindyChanChan 数据集语言模型数据库
CommonCrawl介绍‌‌CommonCrawl是一个非营利组织，致力于通过大规模分布式爬虫系统定期抓取整个Web并将其存储在一个可公开访问的数据库中。CommonCrawl的数据收集和处理过程包括使用Python开源爬虫工具收集全球范围内的网站数据，并将其上传到‌CommonCrawl基金会的数据仓库中。该项目从2008年开始，至今已经积累了大量的原始网页数据、元数据和文本提取数据。这些数据
2019-04-22 平凡的人生Dian
六项精进打卡Day252一学习与实践1.付出不亚于任何人的努力2.要谦虚不要骄傲3.要每天反省4.活着，就要感谢5.积善行，思利他6.不要有感性的烦恼分享人总是对陌生人很宽容，对熟悉的人很挑剔。
Python精选200Tips：121-125 AnFany Python200+Tips python 开发语言
Spendyourtimeonself-improvement121Requests-简化的HTTP请求处理发送GET请求发送POST请求发送PUT请求发送DELETE请求会话管理处理超时文件上传122BeautifulSoup-网页解析和抓取解析HTML和XML文档查找单个标签查找多个标签使用CSS选择器查找标签提取文本修改文档内容删除标签处理XML文档123Scrapy-强大的网络爬虫框架示例
2023思想日记-1 心颐
22年底被朱晓平老师种草，被他对每一个人的那份耐心所打动。每天早晨听他的直播，结尾读一首小诗，唱几句。满满的能量补给，又燃起了对生活的热情与希望。很幸运年末直播间抽奖时，中了一本他的签名书《青少年品格必修课》。这也是我第一次在直播间中奖。且在新年的第一天元旦节收到！迫不及待打开，老师在上面写了“舍得”并附上签名。心情或许就像那些追星的粉丝一样，得到偶像的签名莫名欣喜！每当在工作或生活中遇到难题时，
借力创新共同进步徐立华
借力创新共同进步文/徐立华2021年8月22日为期3天的第七届线上教育行走全国教师公益研修夏令营活动落下来了帷幕，但是美仁们的行走热情并没有减弱，从24日到26日每个学习群里都在进行着活动后的继续分享活动，26日晚上海的周连秀老师给我们分享了作为不擅长写作的她做志愿者的计划和行动，在周老师的分享中，我深深被她的教育智慧所折服。周老师不擅长写作，但是她又非常想参加教育行走活动，怎么办呢？思考之后，她
爬虫技术抓取网站数据被限制怎么处理 Bearjumpingcandy 爬虫
爬虫技术用于抓取网站数据时，可能会遇到一些限制，常见的包括反爬机制、速率限制、IP封禁等。以下是应对这些情况的一些策略：尊重robots.txt：每个网站都有robots.txt文件，遵循其中的规定可以避免触犯网站的抓取规则。设置合理频率：控制爬虫请求的速度，通过添加延迟或使用代理服务器，减少对目标网站的压力。使用代理：获取并使用代理IP地址可以更换访问来源，降低被识别的可能性。模拟用户行为：使用
网站推广爬虫 Bearjumpingcandy 爬虫
网站推广爬虫是一种用于升网站曝光度和推广效果的工具。它通过自动化地访问和收集网站信息，从而实现对目标网站的广告、关键词、排名等数据进行分析和优化。以下是网站推广爬虫的一些介绍：数据收集：网站推广爬虫可以自动访问目标网站，并收集相关的数据，如网站流量、关键词排名、竞争对手信息等。这些数据可以帮助网站推广人员了解网站的现状和竞争环境，从而制定相应的推广策略。关键词优化：通过分析搜索引擎的关键词排名情况
爬虫技术抓取网站数据 Bearjumpingcandy 爬虫
爬虫技术是一种自动化获取网站数据的技术，它可以模拟人类浏览器的行为，访问网页并提取所需的信息。以下是爬虫技术抓取网站数据的一般步骤：发起HTTP请求：爬虫首先会发送HTTP请求到目标网站，获取网页的内容。解析HTML：获取到网页内容后，爬虫会使用HTML解析器解析HTML代码，提取出需要的数据。数据提取：通过使用XPath、CSS选择器或正则表达式等工具，爬虫可以从HTML中提取出所需的数据，如文
爬虫技术抓取网站数据 Bearjumpingcandy 爬虫
爬虫技术是指通过程序自动访问网页并提取数据的技术。一般来说，爬虫技术包含以下几个步骤：确定目标网站：确定需要抓取的网站，并了解其页面结构和数据特点。分析页面结构：分析网页的结构和源代码，找到需要抓取的数据在页面中的位置和标识。编写爬虫程序：使用编程语言（如Python）编写爬虫程序，实现对目标网站的自动访问和数据提取。处理抓取数据：对抓取到的数据进行清洗、去重、整合等处理，以便后续的分析和利用。爬
爬虫之隧道代理：如何在爬虫中使用代理IP？ 2401_87251497 python 开发语言爬虫网络 tcp/ip 网络协议
在进行网络爬虫时，使用代理IP是一种常见的方式来绕过网站的反爬虫机制，提高爬取效率和数据质量。本文将详细介绍如何在爬虫中使用隧道代理，包括其原理、优势以及具体的实现方法。无论您是爬虫新手还是有经验的开发者，这篇文章都将为您提供实用的指导。什么是隧道代理？隧道代理是一种高级的代理技术，它通过创建一个加密的隧道，将数据从客户端传输到代理服务器，再由代理服务器转发到目标服务器。这样不仅可以隐藏客户端的真
2. 变量和指令（omron 机器自动化控制器）——2 一半不眠次日si记 OMRON NJ/NX系列PLC 指令基准手册自动化运维
机器自动化控制器——第二章变量和指令22-2指令一览通用指令轴指令轴组指令2-3PDO映射必需对象▶伺服轴▶编码器轴不同指令的设定对象▶伺服轴▶编码器轴2-2指令一览运动控制指令分为以下3种。种类概要通用指令MC功能模块通用指令轴指令MC功能模块执行单轴控制的指令轴组指令MC功能模块执行多轴协调控制的指令通用指令的详情参阅“第5章通用指令”，轴指令的详情参阅“第3章轴指令”，轴组的详情参阅“第4章
Java常用排序算法/程序员必须掌握的8大排序算法 cugfy java
分类： 1）插入排序（直接插入排序、希尔排序） 2）交换排序（冒泡排序、快速排序） 3）选择排序（直接选择排序、堆排序） 4）归并排序 5）分配排序（基数排序）所需辅助空间最多：归并排序所需辅助空间最少：堆排序平均速度最快：快速排序不稳定：快速排序，希尔排序，堆排序。先来看看8种排序之间的关系： 1.直接插入排序（1
【Spark102】Spark存储模块BlockManager剖析 bit1129 manager
Spark围绕着BlockManager构建了存储模块，包括RDD，Shuffle，Broadcast的存储都使用了BlockManager。而BlockManager在实现上是一个针对每个应用的Master/Executor结构，即Driver上BlockManager充当了Master角色，而各个Slave上(具体到应用范围，就是Executor)的BlockManager充当了Slave角色
linux 查看端口被占用情况详解 daizj linux 端口占用 netstat lsof
经常在启动一个程序会碰到端口被占用，这里讲一下怎么查看端口是否被占用，及哪个程序占用，怎么Kill掉已占用端口的程序 1、lsof -i:port port为端口号 [root@slave /data/spark-1.4.0-bin-cdh4]# lsof -i:8080 COMMAND PID USER FD TY
Hosts文件使用周凡杨 hosts locahost
一切都要从localhost说起，经常在tomcat容器起动后，访问页面时输入http://localhost:8088/index.jsp，大家都知道localhost代表本机地址，如果本机IP是10.10.134.21，那就相当于http://10.10.134.21:8088/index.jsp，有时候也会看到http: 127.0.0.1:
java excel工具 g21121 Java excel
直接上代码，一看就懂，利用的是jxl： import java.io.File; import java.io.IOException; import jxl.Cell; import jxl.Sheet; import jxl.Workbook; import jxl.read.biff.BiffException; import jxl.write.Label; import
web报表工具finereport常用函数的用法总结（数组函数）老A不折腾 finereport web报表函数总结
ADD2ARRAY ADDARRAY(array,insertArray, start):在数组第start个位置插入insertArray中的所有元素，再返回该数组。示例： ADDARRAY([3,4, 1, 5, 7], [23, 43, 22], 3)返回[3, 4, 23, 43, 22, 1, 5, 7]. ADDARRAY([3,4, 1, 5, 7], "测试&q
游戏服务器网络带宽负载计算墙头上一根草服务器
家庭所安装的4M，8M宽带。其中M是指，Mbits/S 其中要提前说明的是： 8bits = 1Byte 即8位等于1字节。我们硬盘大小50G。意思是50*1024M字节，约为 50000多字节。但是网宽是以“位”为单位的，所以，8Mbits就是1M字节。是容积体积的单位。 8Mbits/s后面的S是秒。8Mbits/s意思是每秒8M位，即每秒1M字节。我是在计算我们网络流量时想到的
我的spring学习笔记2-IoC（反向控制依赖注入） aijuans Spring 3 系列
IoC（反向控制依赖注入）这是Spring提出来了，这也是Spring一大特色。这里我不用多说，我们看Spring教程就可以了解。当然我们不用Spring也可以用IoC，下面我将介绍不用Spring的IoC。 IoC不是框架，她是java的技术，如今大多数轻量级的容器都会用到IoC技术。这里我就用一个例子来说明：如：程序中有 Mysql.calss 、Oracle.class 、SqlSe
高性能mysql 之选择存储引擎(一) annan211 mysql InnoDB MySQL引擎存储引擎
1 没有特殊情况，应尽可能使用InnoDB存储引擎。原因：InnoDB 和 MYIsAM 是mysql 最常用、使用最普遍的存储引擎。其中InnoDB是最重要、最广泛的存储引擎。她被设计用来处理大量的短期事务。短期事务大部分情况下是正常提交的，很少有回滚的情况。InnoDB的性能和自动崩溃恢复特性使得她在非事务型存储的需求中也非常流行，除非有非常
UDP网络编程百合不是茶 UDP编程局域网组播
UDP是基于无连接的,不可靠的传输与TCP/IP相反 UDP实现私聊,发送方式客户端,接受方式服务器 package netUDP_sc; import java.net.DatagramPacket; import java.net.DatagramSocket; import java.net.Ine
JQuery对象的val()方法执行结果分析 bijian1013 JavaScript js jquery
JavaScript中，如果id对应的标签不存在（同理JAVA中，如果对象不存在），则调用它的方法会报错或抛异常。在实际开发中，发现JQuery在id对应的标签不存在时，调其val()方法不会报错，结果是undefined。
http请求测试实例（采用json-lib解析） bijian1013 json http
由于fastjson只支持JDK1.5版本，因些对于JDK1.4的项目，可以采用json-lib来解析JSON数据。如下是http请求的另外一种写法，仅供参考。 package com; import java.util.HashMap; import java.util.Map; import
【RPC框架Hessian四】Hessian与Spring集成 bit1129 hessian
在【RPC框架Hessian二】Hessian 对象序列化和反序列化一文中介绍了基于Hessian的RPC服务的实现步骤，在那里使用Hessian提供的API完成基于Hessian的RPC服务开发和客户端调用，本文使用Spring对Hessian的集成来实现Hessian的RPC调用。定义模型、接口和服务器端代码 |---Model &nb
【Mahout三】基于Mahout CBayes算法的20newsgroup流程分析 bit1129 Mahout
1.Mahout环境搭建 1.下载Mahout http://mirror.bit.edu.cn/apache/mahout/0.10.0/mahout-distribution-0.10.0.tar.gz 2.解压Mahout 3. 配置环境变量 vim /etc/profile export HADOOP_HOME=/home
nginx负载tomcat遇非80时的转发问题 ronin47
　　nginx负载后端容器是tomcat（其它容器如WAS,JBOSS暂没发现这个问题）非８０端口，遇到跳转异常问题。解决的思路是：$host:port 详细如下：　　该问题是最先发现的，由于之前对nginx不是特别的熟悉所以该问题是个入门级别的： ? 1 2 3 4 5
java-17-在一个字符串中找到第一个只出现一次的字符 bylijinnan java
public class FirstShowOnlyOnceElement { /**Q17.在一个字符串中找到第一个只出现一次的字符。如输入abaccdeff，则输出b * 1.int[] count:count[i]表示i对应字符出现的次数 * 2.将26个英文字母映射：a-z <--> 0-25 * 3.假设全部字母都是小写 */ pu
mongoDB 复制集开窍的石头 mongodb
mongo的复制集就像mysql的主从数据库，当你往其中的主复制集(primary)写数据的时候，副复制集(secondary)会自动同步主复制集(Primary)的数据,当主复制集挂掉以后其中的一个副复制集会自动成为主复制集。提供服务器的可用性。和防止当机问题 mo
[宇宙与天文]宇宙时代的经济学 comsci 经济
宇宙尺度的交通工具一般都体型巨大，造价高昂。。。。。在宇宙中进行航行，近程采用反作用力类型的发动机，需要消耗少量矿石燃料，中远程航行要采用量子或者聚变反应堆发动机，进行超空间跳跃，要消耗大量高纯度水晶体能源以目前地球上国家的经济发展水平来讲，
Git忽略文件 Cwind git
有很多文件不必使用git管理。例如Eclipse或其他IDE生成的项目文件，编译生成的各种目标或临时文件等。使用git status时，会在Untracked files里面看到这些文件列表，在一次需要添加的文件比较多时（使用git add . / git add -u），会把这些所有的未跟踪文件添加进索引。 ==== ==== ==== 一些牢骚
MySQL连接数据库的必须配置 dashuaifu mysql 连接数据库配置
MySQL连接数据库的必须配置 1.driverClass：com.mysql.jdbc.Driver 2.jdbcUrl：jdbc:mysql://localhost:3306/dbname 3.user：username 4.password：password 其中1是驱动名；2是url，这里的‘dbna
一生要养成的60个习惯 dcj3sjt126com 习惯
一生要养成的60个习惯第1篇让你更受大家欢迎的习惯 1 守时，不准时赴约,让别人等,会失去很多机会。如何做到： ①该起床时就起床， ②养成任何事情都提前15分钟的习惯。 ③带本可以随时阅读的书，如果早了就拿出来读读。 ④有条理，生活没条理最容易耽误时间。 ⑤提前计划：将重要和不重要的事情岔开。 ⑥今天就准备好明天要穿的衣服。 ⑦按时睡觉，这会让按时起床更容易。 2 注重
[介绍]Yii 是什么 dcj3sjt126com PHP yii2
Yii 是一个高性能，基于组件的 PHP 框架，用于快速开发现代 Web 应用程序。名字 Yii （读作易）在中文里有“极致简单与不断演变”两重含义，也可看作 Yes It Is! 的缩写。 Yii 最适合做什么？ Yii 是一个通用的 Web 编程框架，即可以用于开发各种用 PHP 构建的 Web 应用。因为基于组件的框架结构和设计精巧的缓存支持，它特别适合开发大型应
Linux SSH常用总结 eksliang linux ssh SSHD
转载请出自出处：http://eksliang.iteye.com/blog/2186931 一、连接到远程主机格式： ssh name@remoteserver 例如： ssh [email protected] 二、连接到远程主机指定的端口格式： ssh name@remoteserver -p 22 例如： ssh i
快速上传头像到服务端工具类FaceUtil gundumw100 android
快速迭代用 import java.io.DataOutputStream; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOExceptio
jQuery入门之怎么使用 ini JavaScript html jquery Web css
jQuery的强大我何问起（个人主页：hovertree.com）就不用多说了，那么怎么使用jQuery呢？首先，下载jquery。下载地址：http://hovertree.com/hvtart/bjae/b8627323101a4994.htm，一个是压缩版本，一个是未压缩版本，如果在开发测试阶段，可以使用未压缩版本，实际应用一般使用压缩版本(min)。然后就在页面上引用。
带filter的hbase查询优化 kane_xie 查询优化 hbase RandomRowFilter
问题描述 hbase scan数据缓慢，server端出现LeaseException。hbase写入缓慢。问题原因直接原因是： hbase client端每次和regionserver交互的时候，都会在服务器端生成一个Lease,Lease的有效期由参数hbase.regionserver.lease.period确定。如果hbase scan需
java设计模式-单例模式 men4661273 java 单例枚举反射 IOC
单例模式1，饿汉模式 //饿汉式单例类.在类初始化时，已经自行实例化 public class Singleton1 { //私有的默认构造函数 private Singleton1() {} //已经自行实例化 private static final Singleton1 singl
mongodb 查询某一天所有信息的3种方法，根据日期查询 qiaolevip 每天进步一点点学习永无止境 mongodb 纵观千象
// mongodb的查询真让人难以琢磨，就查询单天信息，都需要花费一番功夫才行。 // 第一种方式： coll.aggregate([ {$project:{sendDate: {$substr: ['$sendTime', 0, 10]}, sendTime: 1, content:1}}, {$match:{sendDate: '2015-
二维数组转换成JSON tangqi609567707 java 二维数组 json
原文出处：http://blog.csdn.net/springsen/article/details/7833596 public class Demo { public static void main(String[] args) { String[][] blogL
erlang supervisor wudixiaotie erlang
定义supervisor时，如果是监控celuesimple_one_for_one则删除children的时候就用supervisor:terminate_child (SupModuleName, ChildPid)，如果shutdown策略选择的是brutal_kill，那么supervisor会调用exit(ChildPid, kill)，这样的话如果Child的behavior是gen_

利用java爬取网页数据的方法与思路，以爬取“食品许可公示的数据”为例

1.主类部分

2.解析部分：

3.数据库部分

你可能感兴趣的:(22爬虫)