lucene-使用htmlparser解析未设定编码页面

一、

1、使用htmlparser解析网页，如果页面没有设定编码，那么htmlparser将会iso-8859-1和编码方式解析网页

2、本例假定网页没有指定编码，将http://hao.360.cn/主页另存在本地，为360a.htm，然后删除下面一行

。程序目的是解析出文本

二、使用org.htmlparser.beans.StringBean

1、代码

package extract;
import java.io.UnsupportedEncodingException;

import org.htmlparser.beans.StringBean;

public class extracthtmlcon {

 /**
  * @param args
  */
 public static String getText(String f){
  StringBean sb=new StringBean();
  sb.setLinks(false);
  sb.setReplaceNonBreakingSpaces(true);
  sb.setCollapse(true);
  sb.setURL(f);
  String s=sb.getStrings();
  try {
   s=new String(s.getBytes("ISO-8859-1"));
  } catch (UnsupportedEncodingException e) {
   // TODO Auto-generated catch block
   e.printStackTrace();
  }
  return s;
  
 }
 public static void main(String[] args) {
  // TODO Auto-generated method stub
  String s=getText("./htmls/360a.htm");
  System.out.print(s);

 }

}

 

2、效果如下：

360网址导航－实用网址大全,安全上网从360开始
起始页搜索页网址导航设置 | 设为主页 | 收藏
选择邮箱@163.com网易@126.com网易@[email protected]邮箱@sina.com 新浪@sina.cn 新浪@[email protected]@[email protected]@sohu.com搜狐@[email protected]@[email protected]@china.com 中华@139.com-其他服务-百度账号51帐号chinaren校友录校内网
关闭页面设置
运程
闹钟
网页|图片|音乐|视频|贴吧|知道
公安部公布赌球案进展 “裸体官员”(不能任正职) 捡钱归还反成被告 信春哥不挂科 专家建议准生二胎(少儿人口大降) 房补饭补缴税 更多>>
百度 谷歌 奇虎 购物
百 度
新浪--微博
搜狐--白社会
网易--邮箱
凤 凰 网
腾讯QQ--空间
校内-人人网
开 心 网
智联招聘
谷 歌
奇虎问答
360安全卫士
淘 宝 网
优酷视频
土 豆 网
迅雷看看
东方财富网
京东网上商城
新 华 网
人 民 网
CCTV
证券之星
彩票大赢家
中国新闻网
51个人空间
猫扑大杂烩
天涯社区
世纪佳缘交友
百合婚恋网
起点中文网
易 车 网
电脑之家
中国移动
工商银行
招商银行
搜 房 网
E家网购物
当当购物
凡客诚品服饰
58 同 城
摩尔庄园
中国供应商
安居客二手房
卓 越 网
东京时尚内衣
佳人女性网
No5化妆品网
百 姓 网
赶 集 网
多玩游戏网
360游戏中心
易购打折网
大众点评网
宝宝树育儿网
A 股
实时行情 大盘 荐股 提示
基金
净值排名 盘中净值 回报排行
消息
股市播报 股吧热贴 论坛精华
新闻
滚动新闻 媒体头条 新闻排行
环球
港股 美股 美股评论 外汇
彩票
每日开奖 统计列表 彩民论坛
福彩
双色球 3D 十一夺金 时时彩
体彩
大乐透 排列三 排列五 七星彩
足彩
胜负彩 进球彩 任九场 六场半
酷讯特价机票
酷讯特惠酒店
玛萨玛索男装
麦网时尚购物
麒迅打折机票
齐购手机商城
乐行精品鞋包
名牌特卖会
vancl男装商城
热门分类
彩票
查询
股票
女性
两性
音乐
视频
游戏
购物
电影
图片
更多
生活服务
天气
基金
银行
NBA
票务
充值
汽车
房产
手机
数码
健康
美食
亲子
旅游
宠物
电视
法律
招聘
娱乐休闲
新闻
小说
军事
体育
足球
娱乐
动漫
交友
社区
闪游
笑话
星座
美女
减肥
地方网站
北京
天津
上海
河南
湖北
湖南
广东
广西
海南
四川
贵州
云南
陕西
甘肃
宁夏
山东
江西
重庆
河北
山西
辽宁
吉林
黑龙江
更多
电脑网络
软件
电脑
博客
黑客
BT
聊天
硬件
搜索
编程
建站
杀毒
设计
动画
资源
文化教育
教育
科技
外语
考试
论文
校园
爱好
人文
公益
留学
其它类别
黄页
政府
地方
行业
国外
WAP
酷站
欧美冬季服装3折限量热卖 游戏-小说-音乐-视频-图片-闪游
更多>>
[游戏]
商业大亨
武林英雄
德州扑克
弹弹堂
三国风云
幸福厨房
更多>>
[小说]
起点中文网
新浪小说
小说阅读网
榕树下
幻剑书盟
看书小说网
更多>>
[音乐]
QQ163音乐
我爱音乐
一听音乐
谷歌音乐
搜刮音乐下载
爱听音乐
更多>>
[视频]
优酷网
土豆网
激动网
酷6网
六间房
56网
更多>>
[图片]
口袋酷图
美空美图
蜂鸟影像
大旗贴图
POCO摄影网
新华图片
更多>>
[闪游]
4399小游戏
17173小游戏
7k7k
JJ斗地主
新浪小游戏
地瓜小游戏
最新万人在线网游 新闻-体育-军事-房产-财经-招聘
更多>>
[新闻]
新浪新闻
搜狐新闻
新华网
联合早报
百度新闻
CCTV新闻
更多>>
[体育]
搜狐体育
网易体育
NBA中文网
ESPN中文网
新传NBA
新浪体育
更多>>
[军事]
中华网军事
新浪军事
环球网军事
西陆军事
新华网军事
铁血军事
更多>>
[房产]
搜房网
焦点房产
新浪房产
房价网
易居房产
安居客二手房
更多>>
[财经]
东方财富网
金融界
和讯财经
凤凰财经
和瑞财经
中金在线
更多>>
[招聘]
中华英才网
前程无忧
智联招聘
中国人才热线
职酷招聘
上海第一招聘
玩网游卡吗？看这里！购物-旅游-生活-亲子-宠物-女性
更多>>
[购物]
淘宝网
当当网
京东商城
E家购物网
名牌折扣网
广购网名品
更多>>
[旅游]
酷讯折扣机票
携程旅行网
艺龙旅行网
去哪儿酒店
芒果网
到到酒店网
更多>>
[生活]
赶集网
58同城
百姓网
大众点评网
爱帮网
701生活搜索
更多>>
[亲子]
妈妈说
红孩子
摇篮网
中国早教网
宝宝树
CCTV少儿点播
更多>>
[宠物]
新浪宠物
宠物中国
中国名犬网
爱狗网
宠物之家
海网宠物
更多>>
[女性]
yoka时尚网
瑞丽女性网
太平洋女性网
新浪女性
闺密女性网
网易女人
邮箱-银行-社区-博客-交友-两性
更多>>
[邮箱]
163邮箱
126邮箱
QQ邮箱
雅虎邮箱
新浪邮箱
Hotmail
更多>>
[银行]
工商银行
招商银行
农业银行
建设银行
中国银行
交通银行
更多>>
[社区]
百度贴吧
天涯社区
搜狐社区
猫扑大杂烩
139社区
开心网
更多>>
[博客]
QQ空间
网易博客
新浪博客
百度空间
搜狐博客
新浪微博
更多>>
[交友]
世纪佳缘
珍爱婚恋网
嫁我网
百合网
赛我网
爱情公寓
更多>>
[两性]
腾讯健康
女娲健康网
新浪两性学堂
搜狐两性
人民网两性
39健康网
玩游戏必备杀软汽车-手机-数码-软件-票务-酷站
更多>>
[汽车]
易车网
太平洋汽车
搜狐汽车
新浪汽车
汽车用品
汽车之家
更多>>
[手机]
新浪手机
手机世界
泡泡手机
太平洋手机
友人网
塞班手机论坛
更多>>
[数码]
泡泡网
电脑之家
太平洋电脑
中关村在线
IT168
天极网
更多>>
[软件]
天空软件
腾讯下载
华军软件
非凡软件
太平洋下载
新浪下载
更多>>
[票务]
票务通
携程机票
去哪儿机票
酷讯火车票
火车票网
中国票务网
更多>>
[酷站]
阿里巴巴
星岛新闻网
MSN中文网
金蝶友商网
汽车点评网
手机中国
Copyright ?360网址导航. All Rights Reserved. | 申请收录网站 | 有奖挑错 | 意见反馈 | 广告销售
京ICP备06060858号
当前时间：2009年09月14日 18时41分15秒
定时闹钟
提醒时间：
23 时 45 分
闹钟铃声：
爱如潮水春江花月夜二泉映月回家卡农梁祝浏阳河茉莉花南泥湾起床号千里之外上海滩水边的阿迪丽娜天仙配甜蜜蜜土耳其进行曲我只在乎你星语心愿致爱丽丝猪八戒背媳妇最浪漫的事试听
提示文字：
重复提醒：
不重复 每天提醒
隐藏
温馨提示：
·如关闭360网址导航首页，闹钟功能将失效。
·需要打开音响或佩戴耳机，以便听到提示铃声。
'+solarDay2()+'';getObj('chineseCalendar').innerHTML = ''+weekday()+'
黄历'; setTimeout('$("#xxadboo").html("");' , 1000); (function(){try{g_securityId = external.twGetSecurityID( window );g_strTwVersion = external.twGetVersion( g_securityId );PATH =external.twGetRunPath; is360SE=PATH.toLowerCase().indexOf('360se')>-1?true:flase; if(g_strTwVersion && is360SE){getObj('m5').style.display='';}}catch(e){}})();

二、使用org.htmlparser.visitors.TextExtractingVisitor

1、代码

package extract;
import java.io.UnsupportedEncodingException;

import org.htmlparser.Parser;
import org.htmlparser.util.ParserException;
import org.htmlparser.visitors.TextExtractingVisitor;

public class extracthtmlparcon {
   public static String getText(String f) {
 String s="";
 try {
  Parser parser=new Parser(f);
  TextExtractingVisitor visitor=new TextExtractingVisitor();
  parser.visitAllNodesWith(visitor);
  s=visitor.getExtractedText();
     s=new String(s.getBytes("iso-8859-1"));
 } catch (ParserException e) {
  // TODO Auto-generated catch block
  e.printStackTrace();
 }
 catch (UnsupportedEncodingException e) {
  // TODO Auto-generated catch block
  e.printStackTrace();
 } 
  
   
    return s;
   
   }
 /**
  * @param args
  */
 public static void main(String[] args) {
  // TODO Auto-generated method stub
  String s=getText("./htmls/360a.htm");
  System.out.print(s);
        
 }

}

2、效果

 

360网址导航－实用网址大全,安全上网从360开始

 

 

function getObj(id){return document.getElementById(id);}
function Menu(index){var num= getObj("conBox").getElementsByTagName("div");for(var i=1;i<=num.length;i++){if(getObj("con"+i)&?tObj("m"+i)){getObj("con"+i).style.display = "none";getObj("m"+i).className = "";}}if(getObj("con"+index)&?tObj("m"+index)){if(index==2&?tObj("ifrm"+index)){getObj("ifrm2").src='http://finance.sina.com.cn/promotion/20081119/001.shtml';}if(index==3&?tObj("ifrm"+index)){getObj("ifrm3").src='http://d.hao.360.cn/city/province_index.html';}if(index==4&?tObj("ifrm"+index)){getObj("ifrm4").src='http://d.hao.360.cn/listMyBookMark.php';}if(index==5&?tObj("ifrm"+index)){getObj("ifrm5").src='http://hao.360.cn/unclosedlist2.html';}getObj("con"+index).style.display ="block";getObj("m"+index).className = "at";}}
function getCookie(name){var arr; var reg=new RegExp("(^| )"+name+"=([^;]*)(;|$)");if(arr=document.cookie.match(reg)){return unescape(arr[2]);}else{return null;}}
function setCookie(name,value){var expire = arguments[2] ? arguments[2] : 365*24*60*60*1000;var exp = new Date();exp.setTime(exp.getTime() + expire);document.cookie = name + "="+ escape (value) + ";path=/;expires=" + exp.toGMTString();}
function setDisplay(i, d){getObj(i).style.display= d ? "block" : "none";}
/** search tab start **/
function getSearchTabCookieName(){return 'schtab';}
function setSearchTab(value){expire = 1000*3600*24*30;setCookie(getSearchTabCookieName(), value, expire);}
function getSearchTabByIndex(){var index = arguments[0] ? arguments[0] : 0;var schtab = getCookie(getSearchTabCookieName());if( ( schtab==null || schtab=='' ) ){if(arguments[1]){return arguments[1];}else{return 0;}}schtabs = schtab.split(',');return schtabs[index];}
/** search tab end **/
var indexUrl = getCookie("360WEBINDEXCK");
if(indexUrl != null){if(indexUrl != window.location  && indexUrl.match(/^http:////hao/.360/.cn///i)){window.location.href = indexUrl;}}
function getPWCookieName() { return "360WEBPW";}
if(getCookie(getPWCookieName()) == 1){getObj("widthS").href="css/ws_y.css";}
function getRight(){if(getCookie(getPWCookieName()) == 1){getObj("setPageMenu").style.marginRight = screen.availWidth > 1020&&screen.availWidth < 1124? "136px" : "";getObj("set").style.right = screen.availWidth > 1020&&screen.availWidth < 1124? "136px" : "";}}

 

 

 

起始页搜索页网址导航设置 | 设为主页 | 收藏
 选择邮箱@163.com网易@126.com网易@[email protected]邮箱@sina.com
  新浪@sina.cn 新浪@[email protected]@[email protected]@sohu.com搜狐@[email protected]@[email protected]@china.com 中华@139.com-其他服务-百度账号51帐号chinaren校友录校内网 
  

 

关闭页面设置
 

 

 
 
   
   
    运程闹钟
   

网页|图片|音乐|视频|贴吧|知道

 

 
     

 
 
    公安部公布赌球案进展   “裸体官员”(不能任正职)   捡钱归还反成被告   信春哥不挂科   专家建议准生二胎(少儿人口大降)   房补饭补缴税   更多>>
百度 谷歌 奇虎 购物

init();
highlightSearchTab();
showSehomeMode();

 

 

 

  百 度
  新浪--微博
 
  搜狐--白社会
 
  网易--邮箱
  凤 凰 网
  腾讯QQ--空间
  校内-人人网
 
  开 心 网
  智联招聘
 
  谷 歌
  奇虎问答
  360安全卫士
  淘 宝 网
  优酷视频
  土 豆 网
  迅雷看看
  东方财富网
  京东网上商城
 

  新 华 网
  人 民 网
  CCTV
  证券之星
  彩票大赢家
  中国新闻网
  51个人空间
  猫扑大杂烩
  天涯社区
  世纪佳缘交友
 
  百合婚恋网
 
  起点中文网
 
  易 车 网
  电脑之家
  中国移动
  工商银行
  招商银行
  搜 房 网
 

  E家网购物
  当当购物
 
  凡客诚品服饰
 
  58 同 城
  摩尔庄园
  中国供应商
  安居客二手房
 
  卓 越
  网
  东京时尚内衣
 
  佳人女性网
  No5化妆品网
  百 姓 网
  赶 集 网

  多玩游戏网
  360游戏中心
  易购打折网
  大众点评网
  宝宝树育儿网

 

 

 

 

 

 
 
   
 
       

 

 
 
    A
      股
    实时行情  大盘  荐股  提示
 
    基金
    净值排名  盘中净值  回报排行
 
    消息
    股市播报  股吧热贴  论坛精华
 
    新闻
    滚动新闻  媒体头条  新闻排行
 
    环球
    港股  美股  美股评论  外汇
 
   
     
   
 
    彩票
    每日开奖  统计列表  彩民论坛
 
    福彩
    双色球  3D  十一夺金  时时彩
 
    体彩
    大乐透  排列三  排列五  七星彩
 
    足彩
    胜负彩  进球彩  任九场  六场半

 

 

 

 

 
  酷讯特价机票
 
  酷讯特惠酒店
 
  玛萨玛索男装
 
  麦网时尚购物
 
  麒迅打折机票
 
  齐购手机商城
 
  乐行精品鞋包
 
  名牌特卖会
 
  vancl男装商城

 

热门分类

  彩票
  查询
  股票
  女性
  两性
  音乐
  视频
  游戏
  购物
  电影
  图片
  更多
 
生活服务

  天气
  基金
  银行
  NBA
  票务
  充值
  汽车
  房产
  手机
  数码
  健康
  美食
  亲子
  旅游
  宠物
  电视
  法律
  招聘
 
娱乐休闲

  新闻
  小说
  军事
  体育
  足球
  娱乐
  动漫
  交友
  社区
  闪游
  笑话
  星座
  美女
  减肥
 
地方网站

  北京
  天津
  上海
  河南
  湖北
  湖南
  广东
  广西
  海南
  四川
  贵州
  云南
  陕西
  甘肃
  宁夏
  山东
  江西
  重庆
  河北
  山西
  辽宁
  吉林
  黑龙江
  更多
 
电脑网络

  软件
  电脑
  博客
  黑客
  BT
  聊天
  硬件
  搜索
  编程
  建站
  杀毒
  设计
  动画
  资源
 
文化教育

  教育
  科技
  外语
  考试
  论文
  校园
  爱好
  人文
  公益
  留学
 
其它类别

  黄页
  政府
  地方
  行业
  国外
  WAP
  酷站
 

 

欧美冬季服装3折限量热卖 游戏-小说-音乐-视频-图片-闪游

更多>>
    [游戏]
  商业大亨
  武林英雄
  德州扑克
  弹弹堂
  三国风云
  幸福厨房
更多>>
    [小说]
  起点中文网
  新浪小说
  小说阅读网
  榕树下
  幻剑书盟
  看书小说网
更多>>
    [音乐]
  QQ163音乐
  我爱音乐
  一听音乐
  谷歌音乐
  搜刮音乐下载
  爱听音乐
更多>>
    [视频]
  优酷网
  土豆网
  激动网
  酷6网
  六间房
  56网
更多>>
    [图片]
  口袋酷图
  美空美图
  蜂鸟影像
  大旗贴图
  POCO摄影网
  新华图片
更多>>
    [闪游]
  4399小游戏
  17173小游戏
  7k7k
  JJ斗地主
  新浪小游戏
  地瓜小游戏

最新万人在线网游 新闻-体育-军事-房产-财经-招聘

更多>>
    [新闻]
  新浪新闻
  搜狐新闻
  新华网
  联合早报
  百度新闻
  CCTV新闻
更多>>
    [体育]
  搜狐体育
  网易体育
  NBA中文网
  ESPN中文网
  新传NBA
  新浪体育
更多>>

    [军事]
  中华网军事
  新浪军事
  环球网军事
  西陆军事
  新华网军事
  铁血军事
更多>>

    [房产]
  搜房网
  焦点房产
  新浪房产
  房价网
  易居房产
  安居客二手房
 
更多>>
    [财经]
  东方财富网
  金融界
  和讯财经
  凤凰财经
  和瑞财经
  中金在线
更多>>

    [招聘]
  中华英才网
  前程无忧
  智联招聘
  中国人才热线
  职酷招聘
  上海第一招聘

玩网游卡吗？看这里！购物-旅游-生活-亲子-宠物-女性

更多>>
    [购物]
  淘宝网
  当当网
  京东商城
  E家购物网
  名牌折扣网
  广购网名品
 
更多>>

    [旅游]
  酷讯折扣机票
  携程旅行网
  艺龙旅行网
  去哪儿酒店
  芒果网
  到到酒店网
更多>>

    [生活]
  赶集网
  58同城
  百姓网
  大众点评网
  爱帮网
  701生活搜索
 
更多>>
    [亲子]
  妈妈说
  红孩子
  摇篮网
  中国早教网
  宝宝树
  CCTV少儿点播
更多>>
    [宠物]
  新浪宠物
  宠物中国
  中国名犬网
  爱狗网
  宠物之家
  海网宠物
更多>>
    [女性]
  yoka时尚网
  瑞丽女性网
  太平洋女性网
  新浪女性
  闺密女性网
  网易女人

邮箱-银行-社区-博客-交友-两性

更多>>

    [邮箱]
  163邮箱
  126邮箱
  QQ邮箱
  雅虎邮箱
  新浪邮箱
  Hotmail
更多>>
    [银行]
 
  工商银行
  招商银行
  农业银行
  建设银行
  中国银行
  交通银行
更多>>
    [社区]
  百度贴吧
  天涯社区
  搜狐社区
  猫扑大杂烩
  139社区
  开心网
更多>>
    [博客]
  QQ空间
  网易博客
  新浪博客
  百度空间
  搜狐博客
  新浪微博
 
更多>>

    [交友]
  世纪佳缘
  珍爱婚恋网
  嫁我网
  百合网
  赛我网
  爱情公寓
更多>>
    [两性]
  腾讯健康
  女娲健康网
  新浪两性学堂
  搜狐两性
  人民网两性
  39健康网

玩游戏必备杀软汽车-手机-数码-软件-票务-酷站

更多>>
    [汽车]
  易车网
  太平洋汽车
  搜狐汽车
  新浪汽车
  汽车用品
  汽车之家
更多>>

    [手机]
  新浪手机
  手机世界
  泡泡手机
  太平洋手机
  友人网
  塞班手机论坛
更多>>
    [数码]
  泡泡网
  电脑之家
  太平洋电脑
  中关村在线
  IT168
  天极网
更多>>
    [软件]
  天空软件
  腾讯下载
  华军软件
  非凡软件
  太平洋下载
  新浪下载
更多>>
    [票务]
  票务通
  携程机票
  去哪儿机票
  酷讯火车票
  火车票网
  中国票务网
更多>>
    [酷站]
  阿里巴巴
  星岛新闻网
  MSN中文网
  金蝶友商网
  汽车点评网
  手机中国

 

Copyright ?360网址导航. All Rights Reserved.
  |  申请收录网站  |  有奖挑错  |  意见反馈  |  广告销售京ICP备06060858号

 

 

当前时间：2009年09月14日
18时41分15秒

  定时闹钟

 
 
    提醒时间：
     23 时 
        45 分
 
    闹钟铃声：
    爱如潮水春江花月夜二泉映月回家卡农梁祝浏阳河茉莉花南泥湾起床号千里之外上海滩水边的阿迪丽娜天仙配甜蜜蜜土耳其进行曲我只在乎你星语心愿致爱丽丝猪八戒背媳妇最浪漫的事试听
 
    提示文字：
    
 
    重复提醒：
     不重复  每天提醒

 
    
      隐藏

温馨提示：
·如关闭360网址导航首页，闹钟功能将失效。
·需要打开音响或佩戴耳机，以便听到提示铃声。

document.getElementById("rightBo").style.height=document.getElementById("left").offsetHeight-2+"px";

 

 

 

getObj('solarYear').innerHTML = 'http://hao.360.cn/tools/wnl.htm">'+YYMMDD()+''+solarDay2()+'';getObj('chineseCalendar').innerHTML = ''+weekday()+'黄历';
setTimeout('$("#xxadboo").html("");' , 1000);
(function(){try{g_securityId = external.twGetSecurityID( window );g_strTwVersion = external.twGetVersion( g_securityId );PATH =external.twGetRunPath; is360SE=PATH.toLowerCase().indexOf('360se')>-1?true:flase; if(g_strTwVersion && is360SE){getObj('m5').style.display='';}}catch(e){}})();

 

var gaJsHost = (("https:" == document.location.protocol) ? "https://ssl." : "http://www.");document.write(unescape("%3Cscript src='" + gaJsHost + "google-analytics.com/ga.js' type='text/javascript'%3E%3C/script%3E"));

try {var pageTracker = _gat._getTracker("UA-6143502-1");pageTracker._trackPageview();} catch(err) {}