Asp.net解析HTML并利用XPATH分析提取内容

HTML解析器有很多种，最常用的是HtmlAgilityPack和SgmlReader(http://sourceforge.net/projects/dekiwiki/files/SgmlReader/)。

这里使用的是HtmlAgilityPack：

下载地址：http://htmlagilitypack.codeplex.com

同时官网提供了一个自动生成xpath路径的工具HAP Explorer。

关于XPATH表达式以及相关教程参见：XPath表达式精选[更新中...]

获取HTML的方式有很多种：

1.通过HttpWebRequest类可实现模拟登录并获取页面信息

2.用第三方控件模拟登录，参见：正在做简历搬家功能，分享一下研究过程

使用方法：

首先引用HtmlAgilityPack的DLL文件 using HtmlAgilityPack;

根据XPath提取内容的函数: 

　　 　　/// <summary>

        /// 根据XPATH获取筛选的字符串

         /// </summary>

        /// <param name="content">需要提取HTML的内容</param>

        /// <param name="xpath">XPath表达式</param>

        /// <param name="separ">分隔符</param>

        /// <returns>提取后的内容</returns>

        public static string GetStrByXPath(string content, string xpath, string separ)

        {

            HtmlDocument doc1 = new HtmlDocument();

            doc1.LoadHtml(content);

            HtmlNodeCollection repeatNodes = doc1.DocumentNode.SelectNodes(xpath);

            string text = "";

            //循环节点  

            foreach (HtmlNode node in repeatNodes)

            {

                text += node.InnerText + separ;

            }

            return text;

        }