java破解ip屏蔽+多线程同步拨号-【多线程数据采集之五】

java破解ip屏蔽+多线程同步-【多线程数据采集之五】。 到今天为止，算是讲完了一部分了。

多线程数据采集系列 整个过程就是： 抓取，分析，破解屏蔽，多线程， 多线程数据同步以及拨号同步。

上面几回，讲到了。 单线程 破解ip屏蔽。 比较容易。 只要拨号就行了。

多线程抓取数据也比较容易， 但是引入多线程之后。 拨号就容易出现问题。

多线程抓取的时候，这个拨号就比较麻烦一点。 因为，多线程拨号，

会出现： 第一个线程拨号的时候，第二个线程也同时进入拨号，第三个 4个 同样会进入。 这样会导致线程一直在拨号。 导致无限循环。

怎么控制这个拨号同步，达到较高的效率呢。

本人是新手， 采用了比较简单的方法。

就是，第一个开始拨号， 就告诉后面的，我已经在拨号了。

你们反正抓取不了数据，那就先等一等，等我第一个拨号完毕，大家所有线程在进行下一轮的循环抓取数据。

七七八八网http://www.qi788.com

转载文章，请注明出处。http://blog.csdn.net/yjflinchong

源码如下：

1、线程类

其中：

AdslThead.isadsl = true; 就是用来设置，告诉后面的线程，已经有人在拨号了。

package com.yjf.util;
import java.util.Date;
import java.util.List;


public class GetWebThread extends Thread{
	
	/**
	 * 线程
	 */
	public void run(){
		try {
			while (true) {
				int day = 0;
				long time1 = new Date().getTime();
				//用来同步抓取线程
				synchronized("searchthead"){
					Main.thisdaycount++;
					if(Main.thisdaycount>Main.daycount){
				    	break;
			    	}
					System.out.println("开始查询第"+(Main.thisdaycount)+"天");
					Thread.sleep(133);
					day = Main.thisdaycount-1;
				}
				//获取抓取的时间
				String datetext = TimeUtil.date.format(TimeUtil.addDaysForDate(day));
				String[] txt =FileUtil.getCityByTxtFile();
				for(int t=0;t<txt.length;t++){

					String[] way = txt[t].split("\\|");
					String start = way[0];
					String end = way[1];
					//抓取到的数据列表
					List<DataBean> datalist = Main.getDataList(datetext, start, end);
					if(datalist!=null){
						Main.isadsl = 0;
						CheckAdsl.adsllasttime = new Date().getTime();
						FileUtil.addDataToFileCsv(datalist);
						Main.log.printLog("===="+datetext+"="+start+"="+end+"="+t+"=数据总数："+datalist.size());
					}else{
							Thread.sleep(11);
							AdslThead.isadsl = true;
							Thread.sleep(11);
							//判断是否正在拨号 并暂停线程
							while (AdslThead.isadsl) {
								Thread.sleep(5000);
							}
						t--;
					}
				}
				long time2 = new Date().getTime();
				Main.log.printLog(datetext+"==查询完毕=========耗时"+(time2-time1));
			}
		} catch (Exception e) {
			Main.log.printLog(e.getMessage());
			e.printStackTrace();
		}
	}
	
}

2、拨号监听线程

package com.yjf.util;

import java.util.Date;
import java.util.TimerTask;

public class AdslThead extends TimerTask{
	
	public static boolean isadsl = false;

	@Override
	public void run() {
		try {
			if(isadsl){
				System.out.println("-------拨号线程线程启动-----");
				ConnectAdslNet.reconnectAdsl("宽带",Main.adslname,Main.adslpass);
				isadsl = false;
			}
		} catch (Exception e) {
			System.out.println(e.getMessage());
		}
	}
}

3、启动拨号监听程序。 每隔一段时间，循环一次。 这样稳定性，准确性更高。

Timer adsl=new Timer();
adsl.schedule(new AdslThead(),1000,1000*5);//启动拨号检测线程

通过这3步， 就可以较好的控制 多线程抓取过程中的 。 拨号问题了。

效率和稳定性就比较好了。 本人，在开启程序7-30天 ， 都能稳定运行。

超过30天，程序运行怎么样。 就只有天知道咯 。 哈哈