ASP.NET通用采集程序GatherInfo的实现

正文开始：

        假如我们采集网址：http://info.laser.hc360.com/list/z_news_yw.shtml 上的新闻，要求采集标题、时间、内容、单篇文章如果有翻页则采集完全。

      这种类型的采集就是从指定网页获得新闻列表(即url)，然后通过其url获得新闻详情，这是一种很常见的采集方式，有可能到很多页面上去采集，所以我们可以采用接口来构造基类。

     首先定义  IGatherInfo.cs

Code
 1using System;
 2using System.Collections.Generic;
 3using System.Linq;
 4using System.Text;
 5
 6namespace ClassLibrary
 7{
 8    /**//// 

 9    /// 新闻采集类接口
10    /// 

11    interface IGatherInfo
12    {
13        /**//// 

14        /// 采集时间
15        /// 

16        string gatherTime
17        {
18            get;
19            set;
20        }
21        /**//// 

22        /// NewsListUrl:抽取页地址
23        /// RegexString:正则表达式，抽取逻辑
24        /// 返回新闻页url
25        /// 

       
26        List<string> GatherUrlList(string NewsListUrl, string RegexString);
27        //采集新闻详细内容
28        List<NewsDetail> GatherNewsDetail(List<string> NewsUrlList, string RegeXString);
29    }
30}
31

 

         接口定义了三个成员：gatherTime采集时间，GatherUrlList（）从指定网址抽取新闻Url，GatherNewsDetail()读取新闻详细内容。

      下面我们分析一下该程序中可能要用的公共方法，定义在 GatherInfoBase.cs

            1.时间转换函数string DateToString()

 

Code
            /// 日期转换函数 
            /// 日期->字符串
            public string DateToString()
            {
                DateTime d = DateTime.Now;
                string s = null, y, m, dd, h, mm, ss;
                y = d.Year.ToString();
                m = d.Month.ToString();
                if (m.Length < 2) m = "0" + m;
                dd = d.Day.ToString();
                if (dd.Length < 2) dd = "0" + dd;
                h = d.Hour.ToString();
                if (h.Length < 2) h = "0" + h;
                mm = d.Minute.ToString();
                if (mm.Length < 2) mm = "0" + mm;
                ss = d.Second.ToString();
                if (ss.Length < 2) ss = "0" + ss;
                s += y + m + dd + h + mm + ss;
                return s;
            }

 

            2.获取远程文件源代码 string GetRemoteHtmlCode(string url)

 

Code
 1            /**//// 获取远程文件源代码 
 2            /// param:远程url 
 3            /// 需要添加引用 X:/windows/system32/msxml2.dll
 4            public string GetRemoteHtmlCode(string Url)
 5            {
 6                string s = null;
 7                try
 8                {
 9                    MSXML2.XMLHTTP _xmlhttp = new MSXML2.XMLHTTPClass();
10                    _xmlhttp.open("GET", Url, false, null, null);
11                    _xmlhttp.send("");
12                    if (_xmlhttp.readyState == 4)
13                    {
14                        s = System.Text.Encoding.Default.GetString((byte[])_xmlhttp.responseBody);
15                    }
16                }
17                catch
18                {
19                }
20                return s;
21            }
22

 

            3.从HtmlCode截取字符串 string SniffwebCode(string code, string wordsBegin, string wordsEnd)，用于抽取标题，时间，正文

 

Code
 1 截取字符串,获取网页标题#region  截取字符串,获取网页标题
 2            public string SniffwebCode(string code, string wordsBegin, string wordsEnd)
 3            {
 4                string NewsTitle = "";
 5                Regex regex1 = new Regex("" + wordsBegin + @"(?