LUCENE-使用htmlparser提取网页所有链接

、代码(以这个网页为例http://www.qunar.com/site/zh/Cooperate_4.shtml)

package extract;

import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeIterator;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;

public class extracthtmlfulllink {

/**
* @param args
*/
public static String getText(String f){
StringBuffer sb=new StringBuffer();
try {
Parser parser=new Parser(f);
parser.setEncoding("UTF-8");
NodeFilter filter=new NodeClassFilter(LinkTag.class);
NodeList links=new NodeList();
for (NodeIterator e=parser.elements();e.hasMoreNodes();){
e.nextNode().collectInto(links, filter);
}
for (int i=0;i<links.size();i++){
LinkTag linktag=(LinkTag)links.elementAt(i);
sb.append("\n|"+linktag.getLinkText()+"|=>"+linktag.getLink());
}

} catch (ParserException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
return sb.toString();
}
public static void main(String[] args) {
// TODO Auto-generated method stub
String s=getText("./htmls/Qunar_com.htm");
System.out.print(s);
}

}
2、效果（包括电子邮件地址都已经提取）

|“去哪儿”旅游搜索引擎|=>http://www.qunar.com/
|首页|=>http://www.qunar.com/
|机票|=>http://flight.qunar.com/
|酒店|=>http://hotel.qunar.com/
|知道new|=>http://zhidao.qunar.com/
|签证|=>http://visa.qunar.com/
|博客|=>http://i.qunar.com/
|打折|=>http://deals.qunar.com/
|广告合作|=>http://www.qunar.com/site/zh/Cooperate_4.shtml
|收藏本站|=>http://www.qunar.com/
|首页|=>http://www.qunar.com/
|关于“去哪儿”|=>http://www.qunar.com/site/zh/Qunar.in.China_1.2.shtml
|公司简介|=>http://www.qunar.com/site/zh/Qunar.in.China_1.2.shtml
|公司大事记|=>http://www.qunar.com/site/zh/zhMilestones.shtml
|中国在线旅游发展背景|=>http://www.qunar.com/site/zh/zhBackground.shtml
|管理团队简介|=>http://www.qunar.com/site/zh/Ours.Team_1.4.shtml
|媒体报道|=>http://www.qunar.com/site/zh/News.Room_1.5.shtml
|职位招聘|=>http://www.qunar.com/site/zh/Jobs_2.shtml
|联系我们|=>http://www.qunar.com/site/zh/ContactUs_3.shtml
|去哪儿联盟(API)|=>http://un.qunar.com/
|免责申明|=>http://www.qunar.com/site/zh/Duty_5.shtml
|隐私条款|=>http://www.qunar.com/site/zh/Privacy_6.shtml
|常见问题|=>http://www.qunar.com/site/zh/Question_7.shtml
|关于订票|=>http://www.qunar.com/site/zh/AboutBooking_10.shtml
|友情链接|=>http://www.qunar.com/site/zh/Links_8.shtml
|改进建议|=>http://www.qunar.com/site/zh/Feedback_9.shtml
|About
Us|=>http://www.qunar.com/site/en/Qunar.in.China_1.1.shtml
|[email protected]|=>[email protected]
|[email protected]|=>[email protected]
||=>http://www.hd315.gov.cn/beian/view.asp?bianhao=010202007112700003
|关于Qunar.com|=>http://www.qunar.com/site/zh/Qunar.in.China_1.2.shtml
|联系我们|=>http://www.qunar.com/site/zh/ContactUs_3.shtml
|广告合作|=>http://www.qunar.com/site/zh/Cooperate_4.shtml
|媒体报道|=>http://hot.qunar.com/
|职位招聘|=>http://www.qunar.com/site/zh/Jobs_2.shtml
|免责声明|=>http://www.qunar.com/site/zh/Duty_5.shtml
|旅游导航|=>http://123.qunar.com/
|旅游论坛|=>http://bbs.qunar.com/
|常见问题|=>http://www.qunar.com/site/zh/Question_7.shtml
|使用帮助|=>http://www.qunar.com/site/zh/Tips_new.shtml
|友情链接|=>http://www.qunar.com/site/zh/Links_8.shtml
|改进建议|=>http://www.qunar.com/site/zh/Feedback_9.shtml
|about
us|=>http://www.qunar.com/site/en/Qunar.in.China_1.1.shtml
|京ICP备05021087号|=>http://www.miibeian.gov.cn/
|电信与信息服务业务经营许可证060856号|=>http://downtmp.qunar.com/qunaricp.pdf