java爬虫理解

1、下载（页面html），请求头（如user-agent）处理，重定向，超时，代理，重试策略等

    1)使用jdk中的URL实现

    HttpURLConnection con = URL.openConnection()

    2)使用apache项目hc实现http://hc.apache.org/

    HttpResponse response = HttpClient.execute(HttpRequest)

2、解析（待爬链接 + 结构化数据）

    1)正则，Pattern类

    2)jsoup，http://www.oschina.net/p/jsoup，http://jsoup.org/

    3)xpath，http://www.w3school.com.cn/xpath/index.asp

3、存储（原始html + 结构化数据）

    1)文件系统，用于检索（Lucene，Hadoop）

    2)数据库

    3)URL分值？

4、调度

    1)待爬url优先级

    2)去重

    3)并发

    4)分布式