抓取google的相关搜索词

        最好配合上一篇的代理ip程序一起运行,否则根据我的经验抓不了几词就被google屏蔽了。废话不说代码如下:

package com.emar.spider;

import java.util.HashMap;
import java.util.HashSet;
import java.util.Map;
import java.util.Set;

import org.dozer.DozerBeanMapper;
import org.dozer.Mapper;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import com.emar.core.httpClient.HttpclientUtil;

public class Spider {
	private static Set<String> keywords = new HashSet<String>();
	private String url = "http://www.google.com.hk/search";
	private int count = 0;

	/**
	 * @param args
	 * @throws InterruptedException
	 */
	public static void main(String[] args) throws InterruptedException {
		Spider s = new Spider();
		keywords.add("美女");
		Set<String> seeds = new HashSet<String>();
		for (String word : keywords) {
			seeds.add(word);
		}
		Set<String> result = s.getKRByseedWord(seeds, new HashSet<String>(),
				1000 * 60 * 1);
		System.out.println("本次抓却完毕---------------------------------");
		for (String word : result) {
			System.out.println(word);
		}
	}

	private Set<String> getKRByseedWord(Set<String> seeds, Set<String> result,
			int time) throws InterruptedException {
		if (keywords.size() >= 1000 || seeds.size() == 0) {
			return keywords;
		} else {
			for (String seed : seeds) {
				Map<String, String> params = new HashMap<String, String>();
				params.put("aq", "f");
				params.put("aqi", "");
				params.put("aql", "");
				params.put("btnG", "Google 搜索");
				params.put("client", "firefox-a");
				params.put("hl", "zh-CN");
				params.put("hs", "QDL");
				params.put("oq", "");
				params.put("q", seed);
				params.put("rls", "org.mozilla:zh-CN:official");
				params.put("safe", "strict");
				System.out.println("");
				System.out.println("++++++++++++++++++++++++++");
				System.out.println("第" + (++count) + "次抓取");
				String html = "";
				boolean flag = true;
				while (flag) {
					try {
						System.out.println("等待时长:" + time / 1000 + "秒");
						Thread.sleep(time);
						html = HttpclientUtil.getByProxy(url, params, "UTF-8");
						flag = false;
					} catch (Exception e) {
						// time = time + 10 * 1000;
						e.printStackTrace();
					}
				}
				System.out.println("");
				Document doc = Jsoup.parse(html);
				Elements links = doc.select(".brs_col a[href]");
				for (Element e : links) {
					keywords.add(e.text());
					result.add(e.text());
				}
				System.out.println("词库数量已经到达:" + keywords.size() + "个!");
				for (String k : keywords) {
					System.out.println(k);
				}
			}
			return getKRByseedWord(result, new HashSet<String>(), time);
		}

	}
}

 以下是部分抓取结果:

		帮巫婆变美女
		世界美女.秀
		泡美女
		真人美女类小游戏
		美女模特谭静
		小美女照片
		我的美女大小姐起点
		美女大学
		双人电眼美女小游戏
		美女模特大赛
		脱衣小游
		古典美女
		nba明星照片
		美女类小游戏大全
		非主流美女壁纸
		非主流美女头像图片
		美女游戏网
		非主流美女闪图图片
		中国真人美女小游戏
		非主流美女闪动照片
		90后非主流美女
		明星照片
		非主流美女闪动大图片
		美女小游戏4399
		秀舞吧
		秀舞
		网络美女小鱼
		真人美女小游戏
		古典美女flash
		泡泡美女176220
		美女猜拳脱衣小游戏
		世界十大美女照片
		模特写真
		非主流空间留言代码
		折磨美女类小游戏
		电眼美女游戏
		政要美女保镖
		世界美女城市
		美女小游戏试玩
		美女导师爱上我找小说
		非主流美女163相册
		非主流美女发型
		电眼美女2小游戏
		非主流美女qq头像闪图
		巫婆变美女
		在线真人美女小游戏
		泡美女小游戏
		非主流美女相册
		电眼美女小游戏大全
		非主流空间闪图
		明星大美女
		搜索巫婆变美女
		美女博客
		网络美女排行
		qq空间非主流美女头像
		脱衣类小游戏
		玩美女类小游戏
		网络美女照
		小说我的同居女神
		电眼美女3小游戏
		极品家丁
		小说老婆爱上我
		非主流美女
		非主流帅哥照片
		非主流闪动图片
		美女明星大图
		十大美女明星
		最新非主流美女图片
		泡泡美女小游戏
		美女脱衣类小游戏
		我的美女大小姐全集
		美女游戏
		中国第一美女
		整美女类小游戏
		流氓老师
		搜索真人美女小游戏
		非主流美女生活照片
		中国女明星照片
		美女导师爱上我下载
		美女
		美女脱衣小游戏
		电眼美女小游戏
		美女小游戏
		韩国可爱美女
		小说我的美女大小姐下载
		非主流美女闪图照片
		打扮美女小游戏
		最新非主流美女闪图
		电眼美女小游戏下载
		我的美女大小姐全下载
		非主流图片大图
		秀舞访
		世界美女排行榜
		qq秀舞
		韩国网络美女
		小说我的美女大小姐
		非主流美女闪动头像
		美女导师爱上我小说
		08美女车展
		魔兽世界美女
		怎么泡美女
		韩国美女明星大图
		最美女明星
		非主流闪图
		古装美女照片
		4399美女类小游戏
		可爱美女qq表情
		非主流美女闪图模块
		我的美女大小姐chm
		美女脱衣麻将2
		美女导师爱上我找
		真人秀舞
		我的美女大小姐全文
		男明星照片
		美女导师爱上我手机
		网络美女排行榜
		老婆爱上我sodu
		我的美女老总
		非主流美女闪图
		古典美女圖
		我的同居女神下载
		美女明星的相册
		无财无貌怎么泡美女
		我的美女大小姐txt
		我的美女大小姐电子书
		无才无貌如何泡美女
		巫婆变美女中文版
		非主流美女大图
		美女秀舞
		美女小游戏网站
		帅哥明星照片
		我的美女大小姐全集txt下载
		古典美女相片
		网上泡美女
		非主流头像
		我的美女大小姐全文txt
		时尚非主流美女图片
		古典美女图
		非主流美女闪头像
		老婆爱上我最新更新
		世界美女排名
		非主流空间模块
		可爱美女头像
		美女小游戏网
		美女游戏下载
		美女导师爱上我
		网络美女照片
		秀舞网
		非主流美女闪动头象
		我的同居女神全本下载
		韩国女明星照片
		重庆美女模特
		我的老婆爱上我
		非主流美女闪动图片
		美女导师爱上你
		我的美女大小姐全集下载
		古代电眼美女小游戏
		美女脱衣游戏
		世界美女是谁
		美女导师爱上我最新
		非主流美女闪动qq头像
		巫婆变美女攻略
		美女导师爱上我最新章节
		美女小游戏试
		非主流美女闪动模块
		美女导师爱上我小说网
		美女照片
		我的美女大小姐全集txt
		老婆爱上我最新
		我的美女大小姐下载
		美女游戏大全
		古装美女小游戏
		北京车展第一美女模特
		电眼小美女小游戏
		美女车展
		我的美女大小姐txt下载
		巫婆变美女小游戏
		真人版美女游戏
		qq非主流美女闪图
		老婆爱上我
		我的美女大小姐作者
		美女明星大曝光
		qq空间非主流图片
		qq非主流美女闪头像
		折磨美女游戏
		美女导师爱上我吧
		搜索非主流美女图片
		人造美女游戏
		巫婆造美女小游戏
		美女照片欣赏
		我的同居女神最新
		秀舞网站
		非主流美女头像
		真人美女小游戏下载
		美女模特
		我的美女大小姐全文下载
		我的美女大小姐最新章节
		非主流美女相册地址
		非主流帅哥图片
		搜索电眼美女小游戏
		真人美女小游戏在线玩
		美女模特网
		所有美女类小游戏
		如何泡美女
		美女交友
		世界美女照片
		更多美女脱衣
		重庆美女模特回归自然
		美女导师爱上我79
		韩国男明星照片
		电眼美女1小游戏
		可爱美女照片
		世界美女榜
		pcpop泡泡美女
		美女模特秀
		美女大图
		非主流空间
		非主流美女闪动
		真人美女游戏
		qq空间非主流美女图片
		网络美女壁纸
		老巫婆变美女
		韩国明星照片
		美女导师爱上
		我的同居女神-txt下载
		电眼少美女小游戏
		老婆爱上我下载
		中国美女照片
		非主流美女闪图代码
		老婆爱上我最新章节
		非主流美女闪图头像
		明星八卦
		人造美女小游戏
		非主流空间日志
		我的同居女神最新章节
		可爱美女
		在线美女游戏
		巫婆变美女游戏
		4399小游戏
		非主流qq头像
		非主流图片集闪图
		我的美女大小姐最新
		邻家有女初长成
		美女时尚
		美女小游戏免费试玩
		非主流空间留言
		网络美女
		我的同居女神txt
		美女照片集
		古典美女头像
		找个美女做老婆最新
		非主流空间皮肤
		ps古典美女
		怎样泡美女
		最新非主流美女照片
		非主流可爱美女照片
		非主流美女图片集闪图
		我的美女大小姐最新下载
		3d真人美女小游戏
		世界美女排行
		非主流美女照片集
		泡泡美女
		我的超级情人
		qq非主流美女图片
		我的美女大小姐最新章
		非主流美女闪动大图
		单机美女脱衣麻将
		非主流空间代码
		非主流美女图片代码
		美女类小游戏
		非主流美女照片制作
		非主流图片闪图
		非主流图片
		非主流美女照片
		qq非主流图片
		世界美女大赛
		搜索美女小游戏
		qq空间非主流美女闪图
		重庆美女照片
		我的同居女神
		在线美女小游戏试玩
		2008网络美女
		我的美女导师爱上我
		qq非主流美女照片
		非主流可爱美女qq头像
		折麽美女小游戏
		秀舞娱乐会所
		古典美女照片
		非主流空间图片
		新疆美女模特
		混血美女
		明星照片集
		非主流图片库
		非主流美女闪动横幅
		非主流美女图片
		老婆爱上我520
		非主流图片制作
		非主流美女qq头像
		在线美女脱衣麻将
		真人美女小游戏网
		古典美女模块
		我的美女大小姐
		非主流空间皮肤代码
 

 

你可能感兴趣的:(游戏,qq,Google,firefox,八卦)