Java抓取网页数据

http://ayang1588.github.io/blog/2013/04/08/catchdata/

最近处于离职状态，正赶清闲，开始着手自己的毕业设计，课题定的是JavaWeb购物平台，打算用SpringMVC+MyBatis实现，打算添加缓存服务器，用什么还没有想好，依赖用Maven管理，数据库用MySql，IDE就用InetllijIDEA。

　　购物平台业务都差不多，平时经常使用，业务大家都比较熟悉，我打算模拟当当网，所以昨天直接把数据库设计好，并建了起来，今天打算准备数据，可是product表和book表的字段稍微有点多，如果上网一个一个的摘录，肯定是不行事儿的，也不是coder做的事儿，要准备多的数据，又是重复的事儿，何不让计算机帮你干。所以打算用Java程序抓取现当当网的数据，提取自己想要的，并直接存入数据库。经过一下午的努力基本实现了功能，由于分类并不打算和当当网的分类一样那么多，所以实现了符合自己的半自动化数据抓取功能。可以实现输入当当网的类别（category_path），和起始结束页，自动填充数据库中对应对象。
　　最开始用的正则匹配抓取内容，后来发现太麻烦了，正则左一斜杠右一斜杠的，又转义又拼接，一会就晕了，所以放弃了，改为像操作Dom树一样进行抓取，用到的开源包Jsoup（文档），也支持像CSS过滤器一样过滤节点，很方便。但是这样并不支持获取js及ajax访问返回数据后的页面，但用htmlunit可以解决这个问题，htmlunit：传说中Java程序员的浏览器，具体使用不太难，就是模拟浏览器，设置好相关属性就可以开始访问了。这里有一篇淘宝关于定向抓取的介绍，大家可以看看（定向抓取漫谈）。
　　以下是我访问当当数据的类（其余的就不贴了，数据库存储用的最原始的JDBC，没什么好说的，这个只是随便写个大概，够自己用了，其实完全可以拓展成通用的工具类，我就不封装了，本来就挺方便的，直接用也就够了），如果哪里有问题请记得及时给我留言：

1publicclassUtils{23//UrlVo类存放了3个url，列表图片url，详细信息中的图片url，和商品详细信息url4//再通过这三个url可以把所有数据读取出来并封装成对象，然后存入数据库。5//同时将所用到的图片下载到本地。67/**8*从一个页面获取该页面商品详细信息的url链接和小图片的链接地址9*@paramurl10*@return11*@throws12*/13publicstaticvoid getBookUrlFromPage(String url, List list) throwsException{14//timeout0:不断请求默认:2000毫秒超时15         Document document = Jsoup.connect(url).timeout(0).get();16         Elements node = document.select(".resultlist");17         Elements elements = node.get(0).child(0).children();18for(Elementitem:elements){19             UrlVO urlVO = newUrlVO();20             urlVO.setProductDetailUrl(item.child(1).child(0).child(0).child(0).attr("href"));21             urlVO.setSmallImageUrl(item.child(0).child(0).child(0).attr("src"));22list.add(urlVO);23}24}2526/**27*根据url和页数获取商品详细url28*@paramurl29*@paramstartPage30*@paramendPage31*@paramlist32*/33publicstaticvoidgetBookUrlByUrlAndPageNum(Stringurl,IntegerstartPage,IntegerendPage,Listlist){34try{35for(int i = startPage; i <= endPage; i++){36                 String urlStr = url +i;37Utils.getBookUrlFromPage(urlStr,list);38}39         } catch(Exceptione){40e.printStackTrace();41}42}4344/**45*根据商品详细页面获取Product对象46*@paramurl47*@return48*/49publicstaticProductgetProductFromUrl(Stringurl){50//这里有些数据利用jsoup获取不到51//我用的是htmlunit，设置setJavaScriptEnabled，setAjaxController等参数52//具体代码就不贴了，大家可以自己试试53//如有需要，求留言54returnnull;55}5657/**58*根据图片url和文件名保存图片59*@paramurlStr60*@paramfilename61*/62publicstaticvoid saveImageByUrlAndName(String urlStr, String filename) throwsException{63//构造URL64         URL url = newURL(urlStr);65//打开连接66         URLConnection con =url.openConnection();67//输入流68         InputStream is =con.getInputStream();69//1K的数据缓冲70byte[] bs = newbyte[1024];71//读取到的数据长度72intlen;73//输出的文件流74         OutputStream os = newFileOutputStream(filename);75//开始读取76while ((len = is.read(bs)) != -1){77             os.write(bs, 0,len);78}79os.flush();80//关闭连接81os.close();82is.close();83}8485//测试及调用86publicstaticvoidmain(String[]args){87         List<UrlVO> list = new ArrayList<UrlVO>();88try{89             getBookUrlByUrlAndPageNum("http://category.dangdang.com/all/?category_path=01.03.38.00.00.00&page_index=", 1, 2,list);90//getBookUrlFromPage("http://category.dangdang.com/all/?category_path=01.03.38.00.00.00&page_index=2",list);91         } catch(Exceptione){92e.printStackTrace();93}94System.out.println(list.size());9596//保存图片97//StringurlStr="http://img32.ddimg.cn/28/35/23207212-1_l.jpg";98//try{99//saveImageByUrlAndName(urlStr,"1.jpg");100//}catch(Exceptione){101//e.printStackTrace();102//}103}104 }