java抓取数据+破解屏蔽ip访问【多线程数据采集之三】

java抓取数据+破解屏蔽ip访问

今天就讲解一下，怎么破解 服务器 屏蔽ip的请求。

现在大多网站采取 ip访问次数达到一定次数就屏蔽ip的功能。

那么要破解服务器的屏蔽。 就只有改变ip， 或者代理ip。

如果用代理，哪里去找那么多ip呢。  用adsl 获取动态ip不是很简单吗。

转载注明出处：http://blog.csdn.net/column/details/threadgrab.html

那么现在就贴上adsl获取动态ip的方案实例源码

1、抓取网页数据的时候  catch异常之后 ， 就采取拨号程序

//门票浏览  url参数 http://www.lvmama.com/dest/lantiancheng
    public static DataBean getWebData1(String url){
        DataBean data = null;
        try {
            Document docdata = Jsoup.connect(url).timeout(20000).get();

        } catch (Exception e) {
            e.printStackTrace();
                        //拨号一下
                        ConnectAdslNet.reconnectAdsl("宽带",Main.adslname,Main.adslpass);
        }
        return data;
    }

2、拨号获取动态ip的 工具类

import java.io.BufferedReader;
import java.io.InputStreamReader;

import org.apache.log4j.Logger;

/**
 *
 * ADSL拨号上网
 * Windwos操作系统需要是GBK编码
 * @author yijianfeng
 *
 */

public class ConnectAdslNet {
    static Logger logger = Logger.getLogger(ConnectAdslNet.class);

     /**
     * 执行CMD命令,并返回String字符串
     */
    public static String executeCmd(String strCmd) throws Exception {
        Process p = Runtime.getRuntime().exec("cmd /c " + strCmd);
        StringBuilder sbCmd = new StringBuilder();

        //注意编码 GBK
        BufferedReader br = new BufferedReader(new InputStreamReader(p
                .getInputStream(),"GBK"));
        String line;
        while ((line = br.readLine()) != null) {
            sbCmd.append(line + "\n");
        }
        return sbCmd.toString();
    }

    /**
     * 连接ADSL
     */
    public static boolean connectAdsl(String adslTitle, String adslName, String adslPass) throws Exception {
        System.out.println("正在建立连接.");
        String adslCmd = "rasdial " + adslTitle + " " + adslName + " "
                + adslPass;
        String tempCmd = executeCmd(adslCmd);

        // 判断是否连接成功
        if (tempCmd.indexOf("已连接") > 0) {
            System.out.println("已成功建立连接.");
            return true;
        } else {
            System.out.println(tempCmd);
            System.out.println("建立连接失败");
            return false;
        }
    }

    /**
     * 断开ADSL
     */
    public static boolean disconnectAdsl(String adslTitle) throws Exception {
        String disconnectAdsl = "rasdial " + adslTitle + " /disconnect";
        String result = executeCmd(disconnectAdsl);

        if (result.indexOf("没有连接")!=-1){
            System.out.println(adslTitle + "连接不存在!");
            return false;
        } else {
            System.out.println("连接已断开");
            return true;
        }
    }

    /**
     * adsl重新拨号，尖锋网和七七八八网推支持失败不断重拨
     * @param args
     * @throws Exception
     */
    public static boolean reconnectAdsl(String adslTitle, String adslName, String adslPass){
        boolean bAdsl = false;
        try {
            disconnectAdsl(adslTitle);
            Thread.sleep(3000);
            bAdsl = connectAdsl(adslTitle,adslName,adslPass);
            Thread.sleep(3000);
            int i = 0;
            while (!bAdsl){
                disconnectAdsl(adslTitle);
                Thread.sleep(3000);
                bAdsl = connectAdsl(adslTitle,adslName,adslPass);
                Thread.sleep(3000);
                if(i>5){
                    break;
                }
            }
        }catch(Exception e){
            logger.error("ADSL拨号异常：", e);
        }

        return bAdsl;
    }

    public static void main(String[] args) throws Exception {
//        reconnectAdsl("宽带","adsl账号","密码");
    }

}

 

采用上述办法，基本上就可以解决拨号的问题了。 

如果程序加入了多线程。 那么就必须考虑多线程，拨号同步，以及数据同步问题。  提高效率和避免重复操作。

到此，破解屏蔽ip访问就搞定了！