htmlpraser，htmlclient，java线程池

资讯抓取总结
1. HtmlParser简介
HtmlParser是一个纯java写的html解析类库，它不依赖其它的java库文件，主要用于改造或提取html，HtmlParser主要靠Node和Tag来表达Html
（1）、Node是形成树结构表示HTML的基础，所有的数据表示都是接口Node的实现Node定义了与页面树结构所表达的页面Page对象，定义了获取父、子、兄弟节点的方法
如：对付树型结构进行遍历的函数，这些函数最轻易理解：
Node getParent ()：取得父节点
NodeList getChildren ()：取得子节点的列表
Node getFirstChild ()：取得第一个子节点
Node getLastChild ()：取得最后一个子节点
Node getPreviousSibling ()：取得前一个兄弟
Node getNextSibling ()：取得下一个兄弟节点
取得Node内容的函数：
String getText ()：取得文本
String toHtml () ：取得HTML信息（原始HTML）

（2）、Tag是具体分析的主要内容，它包含着各种标签实体类；如：BodyTag，Div，FrameSetTag，OptionTag，linkTag，ImageTag，MetaTag等等。


HtmlParser核心类 org.htmlparser.Parser类，这个类实际完成了对于HTML页面的分析工作。
（1）、构造Parser对象，一般有两种方法：
其一、通过url提取网页的内容
Parser parser = new Parser(); 
parser.setURL("http://www.baidu.com ");
parser.setEncoding("gbk");

其二、提取本地网页文件（通过读文件把网页转换成字符串【httpClient】）
使用静态方法创建Parser对象
Parser parser=Parser.createParser(html,charset);

2. HtmlParser简单例子
public class HtmlParserDemo {

private static Logger logger = Logger.getLogger(HtmlParserDemo.class);

public static void parserTest(){
String content = "";
NodeList list = null;
Parser parser = new Parser();
try {
parser.setURL("http://www.chinachugui.com/news/cgdg/");
parser.setEncoding("gb2312");
/*标签属性过滤*/
NodeList rootList = parser.extractAllNodesThatMatch(new HasAttributeFilter("class","zx_list"));
/*标签类过滤*/
list = rootList.extractAllNodesThatMatch(new NodeClassFilter(Bullet.class), true);

for(int i=0; i<list.size(); i++){
Node[] nodes = ((Bullet)list.elementAt(i)).getChildrenAsNodeArray();
LinkTag link = (LinkTag)nodes[1];
System.out.println(link.getLink());
System.out.println(link.getChild(0).getText());
Span span = (Span)nodes[2];
System.out.println(span.childAt(0).getText());
}

content = list.toHtml().trim();
System.out.println(content);
} catch (ParserException e) {
e.printStackTrace();
logger.debug("", e);
}


另、自定义过滤器
注：所有的过滤器都实现的NodeFilter接口，并重写了accept方法
list = parser.extractAllNodesThatMatch(new NodeFilter() {
public boolean accept(Node node) {
if (node instanceof Div) {
Div div = (Div) node;
String atrr = div.getAttribute("class");
if (atrr != null && atrr.equals("zx_list")){
return true;
}else{
return false;
}
}else{
return false;
}
}
}, true);



采集步骤：
（1）、拿到网站地址及编码创建解析器对象Parser
（2）、选择合适的过滤器过滤
（3）、根据相应的方法得到的内容或修改
3. 了解httpClient基本实现思路
1) HTTP 协议可能是现在 Internet 上使用得最多、最重要的协议了，越来越多的 Java 应用程序需要直接通过 HTTP 协议来访问网络资源。虽然在 JDK 的 java net包中已经提供了访问 HTTP 协议的基本功能，但是对于大部分应用程序来说，JDK 库本身提供的功能还不够丰富和灵活。HttpClient 是 Apache Jakarta Common 下的子项目，用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。HttpClient 已经应用在很多的项目中，比如 Apache Jakarta 上很著名的另外两个开源项目 Cactus 和 HTMLUnit 都使用了 HttpClient。现在HttpClient最新版本为 HttpClient 4.2 (GA)
2) 我的理解它就是个模拟客户端根据url访问服务器得到服务器返回的数据
3) 实现一般步骤：

　　1. 创建 HttpClient 的实例
　　2. 创建某种连接方法的实例，在这里是 GetMethod。在 GetMethod 的构造函数中传入待连接的地址
　　3. 调用第一步中创建好的实例的executeMethod方法来执行第二步中创建好的 method 实例
　　4. 读 response
　　5. 释放连接。无论执行方法是否成功，都必须释放连接
6. 对得到后的内容进行处理

简单例子：

public class HttpClientDemo {
public static void main(String[] args){
String url = "http://www.baidu.com/";
HttpClient client = new HttpClient();
GetMethod method = new GetMethod(url);
/*为什么必须设置Accept-Encoding 才能拿到 content-Encoding的值*/
/*设置了Accept-Encoding为下面值是如果不进行gizp解就会乱码，如果不设置则不会乱码,(是不是所有请求只要不设置都不会乱码)*/
//method.setRequestHeader("Accept-Encoding", "gzip, deflate");
try {
client.executeMethod(method);
System.out.println(client.executeMethod(method));
/*拿到所有响应头部信息*/
Header[] headers = method.getResponseHeaders();
for(int i=0; i<headers.length; i++){
System.out.println(headers[i].getName() +"-----" + headers[i].getValue());
}
/*获得响应的体*/
System.out.println(method.getResponseBodyAsString());
} catch (Exception e) {
e.printStackTrace();
}finally{
/*释放连接*/
method.releaseConnection();
}
}
}

gizp解压：

if (er == 200) {
String html = null;
Header hd = getMethod.getResponseHeader("Content-Encoding");
if(hd != null && hd.getValue().toLowerCase().indexOf("gzip") > -1) {
StringBuffer sb = new StringBuffer();
logger.debug("acceptEncoding:" + hd.getValue());
// 建立gzip解压工作流
InputStream is = getMethod.getResponseBodyAsStream();
GZIPInputStream gzin = new GZIPInputStream(is);
InputStreamReader isr = new InputStreamReader(gzin, charset); // 设置读取流的编码格式，自定义编码
java.io.BufferedReader br = new java.io.BufferedReader(isr);
String tempbf;
while ((tempbf = br.readLine()) != null) {
sb.append(tempbf);
sb.append("\r\n");
}
isr.close();
gzin.close();
html = sb.toString();
} else {
html = getMethod.getResponseBodyAsString();
}
return html;
} else { }
4. 了解线程池概念
（1）、为什么要使用线程池？
其一、减少创建和销毁线程的次数，每个工作线程都可以被重复利用可以执行多个任务。
其二、可以根据系统的承受能力，调整线程池中工作线程的数目，防止因为消耗过多内存而把服务器累趴下
（2）、java从java1.5之后，java提供了自带的线程池ThreadPoolExecutor类
（3）、工作线程和核心线程的区别：
核心线程：我们自己定义的线程，即实现Runnable接口的类，是我们将要放到线程池中执行的类。
工作线程：由线程池中创建的线程，是用来获得核心线程并执行的核心线程的线程。
（4）、java.util.concurrent包提供了现成的线程池实现
 Executor接口表示线程池，它的execute(Runnable task)方法来执行Runable类型的任务
 ExecutorService中声明了管理线程池的一些方法，比如：shutdown（）关闭线程池isTerminated（）关闭后任务是否都以完成
 Executors类中包含了一些静态方法用于创建ExecutorService实例
 ThreadPoolExecutor ExecuteService默认实现

Executor
<interface>
execute（）

Executors
newCachedThreadPool() :
newFixedThreadPool(int nThread)
newSingleThreadExecutor()
newScheduledThreadPool()

ExecutorService
<interface>
shutdown（）
isTerminated()



ThreadPoolExecutor
int corePoolSize
int maximumPoolSize
long keepAliveTime
TimeUnit unit
BlockingQueue<Runnable> workQueue



例子：
public class ThreadPoolDemo {

public void Test(){
/*创建一个可根据需要创建新线程的线程池，但是在以前构造的线程可用时将重用它们。*/
ExecutorService pool = Executors.newCachedThreadPool();

/*创建实现了runnable接口的对象*/
Thread t1 = new Thread(new MyThread());
Thread t2 = new Thread(new MyThread());
Thread t3 = new Thread(new MyThread());
Thread t4 = new Thread(new MyThread());
Thread t5 = new Thread(new MyThread());

/*将线程放入池中进行执行*/
pool.execute(t1);
pool.execute(t2);
pool.execute(t3);
pool.execute(t4);
pool.execute(t5);

/*关闭线程池*/
pool.shutdown();
}

class MyThread implements Runnable{

@Override
public void run() { System.out.println(Thread.currentThread().getName() + "is Running...");
}
}

public static void main(String[] args){
new ThreadPoolDemo().Test();
}
}

执行结果：
pool-1-thread-1is Running...!
pool-1-thread-3is Running...!
pool-1-thread-5is Running...!
pool-1-thread-2is Running...!
pool-1-thread-4is Running...!


小结：
（1）、创建核心线程任务
（2）、根据需要创建合适的线程池实例
（3）、将核心线程任务execute给线程池