如何分析网页-----使用HtmlParser(1)

如何分析网页-----使用HtmlParser(1)

        HTML Parser 简述:这是一个在 SourceForge.net 上比较活跃的项目之一，目前的最新版本是 1.6 发行版, (我现在用在 自己NBA网站上  的也是1.6).他是一个对现有的 HTML 进行分析的快速实时的解析器，事实上在应用过程中你更为惊叹于 HTML Parser 给你带来一些周到的处理。他主要用在这几个方面:
文本信息抽取，
链接提取，用于自动给页面的链接文本加上链接的标签
资源提取，例如对一些图片、声音的资源的处理
链接检查，用于检查HTML中的链接是否有效
页面内容的监控
      呵呵.废话少说:)上代码.

public   class  BaseAction  {

    public static final Logger logger = Logger.getLogger(BaseAction.class);
    
    public String keyWords = "姚明|姚明NBA";
    
    public static NodeList getAllNodeList(String urlOrfile, NodeFilter filter) {
        if (logger.isDebugEnabled())
            logger.debug("BaseAction getAllNodeList(" + urlOrfile + ")");
        Parser parser;
        try {
            parser = new Parser(urlOrfile);
            parser.setEncoding(Constent.Encode);
            NodeList list = parser.parse(filter);
            return list;
        } catch (ParserException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
            return null;
        }

    }

    /** *//**
     * 取link 与textnode 返回的是href连接
     * 
    * @param file
     * @param filter
     * @return
     */
    public List<String> parseLink(String file, NodeFilter filter) {
        if (logger.isDebugEnabled())
            logger.debug("BaseAction parseLink(" + file + ")");
        List<String> hrefList = new ArrayList<String>();
        try {
            NodeList nodelist = getAllNodeList(file, filter);
            if(nodelist==null)
                return null;
            Node[] nodes = nodelist.toNodeArray();
            String line = "";
            for (int i = 0; i < nodes.length; i++) {
                Node node = nodes[i];
                if (node instanceof TextNode) {
                    TextNode textnode = (TextNode) node;
                    line = textnode.getText();
                    logger.debug("textnode=" + line);
                } else if (node instanceof LinkTag) {
                    LinkTag link = (LinkTag) node;
                    line = link.getLink();
                    logger.debug("link=" + line);
                }
                if (HttpParserUtil.isTrimEmpty(line))
                    continue;
                hrefList.add(line);
            }
        } catch (Exception e) {
            // TODO: handle exception
            e.printStackTrace();
        }
        return hrefList;
    }

    /** *//**
     * 取link 与textnode 返回的是href连接
     * 
     * @param file
     * @param filter
     * @return
     */
    public Map<String, String> parseLinkWithText(String file,
            NodeFilter filter, Pattern pHtml, Pattern pPhp) {
        if (logger.isDebugEnabled())
            logger.debug("SinaAction parseLinkWithText(" + file + ")");
        Map<String, String> map = new HashMap<String, String>();
        List<String> list = new ArrayList<String>();
        try {
            NodeList nodelist = getAllNodeList(file, filter);
            if(nodelist==null)
                return null;
            Node[] nodes = nodelist.toNodeArray();
            String line = "";
            for (int i = 0; i < nodes.length; i++) {
                Node node = nodes[i];
                if (node instanceof TextNode) {
                    TextNode textnode = (TextNode) node;
                    line = textnode.getText();
                    if (HttpParserUtil.isTrimEmpty(line))
                        continue;
                    if (logger.isDebugEnabled())
                        logger.debug("textnode=" + line);
                    list.add(line);
                } else if (node instanceof LinkTag) {
                    LinkTag link = (LinkTag) node;
                    line = link.getLink();
                    if (HttpParserUtil.isTrimEmpty(line))
                        continue;
                    if (logger.isDebugEnabled())
                        logger.debug("link=" + line);
                    list.add(line);
                }
            }
            int endPostion = list.size();
            for (int i = 0; i < endPostion; i++) {
                String getCurr = list.get(i);
                Matcher mHtml = pHtml.matcher(getCurr);
                Matcher mPhp = pPhp.matcher(getCurr);
                if ((mHtml.matches() == true || mPhp.matches() == true)
                        && i < (endPostion - 1)) {
                    String getNext = list.get(i + 1);
                    Matcher mHtmlNext = pHtml.matcher(getNext);
                    Matcher mPhpNext = pPhp.matcher(getNext);
                    if ((mHtml.matches() == true && mHtmlNext.matches() == false)
                            || (mPhp.matches() == true && mPhpNext.matches() == false)) {
                        map.put(getCurr, getNext);
                        i = i + 1;
                    } else {

                    }
                }
            }
        } catch (Exception e) {
            // TODO: handle exception
            e.printStackTrace();
        }
        return map;
    }
    
    /** *//**
     * 分析内容
     * 
     * @param list
     * @return
     */
    public String parserContent(NodeList list) {
        return parserContent(list, false);
    }

    public String parserContent(NodeList list, boolean isCreateFile) {
        return parserContent(list,isCreateFile,list.size()+1);
    }
    
    public String parserContent(NodeList list, int listIndex) {
        return parserContent(list,false,listIndex);
    }
    
    public String parserContent(NodeList list, boolean isCreateFile,int listIndex) {
        if (logger.isDebugEnabled())
            logger.debug("BaseAction parserContent()");
        StringBuffer content = new StringBuffer();
        if(list.size() < listIndex){//说明是整个取出进行rex
            for (int i = 0; i < list.size(); i++) {
                Node node = list.elementAt(i);
                NodeList sublist = node.getChildren();
                if (sublist == null)
                    continue;
                Node[] listNode = sublist.toNodeArray();
                for (Node inNode : listNode) {
                    if (HttpParserUtil.isTrimEmpty(inNode.getText()))
                        continue;
                    logger.debug(inNode.toHtml());
                    content.append(inNode.toHtml());
                    if (isCreateFile)
                        content.append("\n");
                }
            }
        }else{
            Node node = list.elementAt(listIndex);
            if (node == null){
                logger.warn("the listIndex may is wrong! please do it");
                return null;
            }
            NodeList sublist = node.getChildren();
            if (sublist == null){
                logger.warn("the listIndex may is wrong! please do it");
                return null;
            }
            Node[] listNode