【初学】java爬虫并抓取图片保存

这是我参考了网上一些资料写的第一个java爬虫程序

本来是想获取煎蛋网无聊图的图片，但是网络返回码一直是503，所以换了网站

 

 

/*
 * 网络爬虫取数据
 * 
 * */
public class JianDan {
	public static String GetUrl(String inUrl){
		StringBuilder sb = new StringBuilder();
		try {
			URL url =new URL(inUrl);
			BufferedReader reader =new BufferedReader(new InputStreamReader(url.openStream()));
			
			String temp="";
			while((temp=reader.readLine())!=null){
				//System.out.println(temp);
				sb.append(temp);
			}
		} catch (MalformedURLException e) {
			// TODO 自动生成的 catch 块
			e.printStackTrace();
		} catch (IOException e) {
			// TODO 自动生成的 catch 块
			e.printStackTrace();
		}
		return sb.toString();
	}
	public static List getMatcher(String str,String url){
		List result = new ArrayList();
		Pattern p =Pattern.compile(url);//获取网页地址
		Matcher m =p.matcher(str);
		while(m.find()){
			String bingoStr = m.group(1);
			bingoStr = regexUrl(m.group(1),"(//)*([\\w\\s./:?&-@#$%^]+?)");
			if(null != bingoStr && !"".equals(bingoStr)) {
				result.add(bingoStr);
			}
		}
		return result;
	}
	public static String regexUrl(String url,String regex) {
		Pattern p =Pattern.compile(regex);//获取网页地址
		Matcher m =p.matcher(url);
		if(m.matches()) {
			String rightStr = m.group(2);
			if(!"//".equals(m.group(1)) && (rightStr.contains("jpg") || rightStr.contains("jpeg") || rightStr.contains("png"))) {
				return rightStr;
			}
		}
		return null;
	}
	public static void main(String args[]){
		String str=GetUrl("http://www.163.com");
		System.out.println(str);
		List ouput =getMatcher(str,"src=\"([^<][\\w\\s./:?&-@#$%^]+?[^.js])\"");
		
		if(null == ouput || ouput.size() ==0) {
			System.out.println("无匹配链接");
			return ;
		}
		for(String temp:ouput){
			//System.out.println(ouput.get(0));
			System.out.println(temp);
		}
		String aurl=ouput.get(0);
		 // 构造URL
		URL url;
		try {
			url = new URL(aurl);
			 // 打开URL连接
			URLConnection con = (URLConnection)url.openConnection();
			 // 得到URL的输入流
			InputStream input = con.getInputStream();
			// 设置数据缓冲
			byte[] bs = new byte[1024 * 2];
			// 读取到的数据长度
			int len;
			// 输出的文件流保存图片至本地
			OutputStream os = new FileOutputStream("a.png");
			while ((len = input.read(bs)) != -1) {
			os.write(bs, 0, len);
			}
			os.close();
			input.close();
		} catch (MalformedURLException e) {
			// TODO 自动生成的 catch 块
			e.printStackTrace();
		} catch (IOException e) {
			// TODO 自动生成的 catch 块
			e.printStackTrace();
		}
		
	} 
}