10分钟利用JSoup和CSV爬取58同城二手房信息

     LZ大三狗一枚，暑假在某不知名互联网企业实习。前几天和老大闲聊，聊起我曾经写过爬虫，出于业务需求，就让我去爬一下58同城和赶集网二手房最近3个月的信息。原来是用正则匹配的，配了一下午的正则（泪奔...） 后来死党推荐JSoup，然后整个人都不好了!

    好了，不扯了，说好的10分钟呢？现在进入正题：

---

JSoup简介：

    jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。（某度）

使用：                                                                            

获取到网页源码：

 Document doc = Jsoup.connect(URL).get();                                                                                         有些网站的响应时间比较慢，可以设置默认的Socket的延时：                                                     Document doc = Jsoup.connect(URL).timeout(3000).get();

Selector选择器获取内容：

JSoup主要通过HTML的标签名和标签属性来获取信息，这边介绍几个常用的方法：                Elements links = doc.select("a[href]");// 获取带有链接的a标签                                                            Elements jpgs = doc.select("img[src$=.jpg]");    //获取jpg格式的图片信息                                        Element pri = doc.select("div.pri").first();   //第一个id为pri的div                                                       

Selector获取的到都是带有标签的Elements(Element)元素，我们需要的String字符串的文本信息：

String text = doc.body().text(); // "An example link"                                                                           String linkHref = link.attr("href"); // 获取到链接                                                                          String linkText = link.text();   // 获取到文本信息

CSV部分：

CSV其实就是COMMA SEPARATED VALUE的缩写，在开发中用Java操作csv文件有专门的API叫javacsv.jar。                                                                                                                                                        下载地址：https://sourceforge.net/projects/javacsv/files/

private static StringcsvFilePath = "E:/test.csv";         //文件存储路径                                                 private static CsvWriter  wr = newCsvWriter(csvFilePath,',',Charset.forName("GBK"));                      //输入流，这里编码设置为GBK，解决中文显示乱码的问题     

wr.write(str);                 //write方法向里面写入数据                                                                           wr.endRecord();           //换行

关于58同城：        

本来是打算像以前爬某东时一样写个多线程同步爬取的，后来看了一下58同城的源代码，有一个页码的导航栏：

可以直接在URL后面加页码：

String URL = "http://cq.58.com/ershoufang/pn" + num;

最后

附上结果部分截图：