新闻站群开发日志（一）—— 新闻抓取

1. 了解需求

公司负责运营的同事找到我，说需要搭建一个新闻站群，用于引入流量。每个站的新闻数据都去别的新闻站抓取，每天晚上10点更新数据，每个站还需要单独配置SEO（首页、频道页、详情页）、友情链接内容。

拆分需求

• 新闻抓取，每个新闻站的抓取数据源都不一致，所以抓取我们需要灵活配置。
• 每天定时，所以我们需要一个Windows 服务，定时完成抓取任务。
• 新闻站群，意味着会有很多站，如果每个站单独一个数据库，那么后期程序维护工作将会很庞大，所以我们需要做到一个库对应n个站

2. 功能实现

拆分需求后，接下来我们要挨个实现每个需求对应的功能。

新闻抓取

看到抓取时，首先想到的是HtmlAgilityPack，Github链接是https://github.com/zzzprojects/html-agility-pack，HtmlAgilityPack可以加载html，并且提供了函数SelectNodes，可以非常方便我们定位到需要抓取的DOM节点。下面看看这个函数的示例(http://html-agility-pack.net/select-nodes)：

var htmlDoc = new HtmlDocument();
htmlDoc.LoadHtml(html);

string name = htmlDoc.DocumentNode
    .SelectNodes("//td/input")
    .First()
    .Attributes["value"].Value;'

这里需要重点关注的是SelectNodes的参数//td/input，这个参数名叫XPath，那么我们怎么取到一个网站某个节点的XPath呢，可以通过Chrome浏览器直接获取。首先打开我们的目标网站：http://www.southcn.com/pc2016/yw/node_346416.htm，我们要抓取的是列表部分，如下图：

需要抓取的数据

确定好目标后，我们可以通过Chrome直接复制出XPath，如下图：

获取XPath.gif

Copy完XPath之后，我们可以贴出来看看XPath：//*[@id="content"]/div[1]/div[1]/div[1]/div/h3/a
然后在Chrome的Console里面输入：

$x('//*[@id="content"]/div[1]/div[1]/div[1]/div/h3/a')

我们看看能得到什么：

抓取单个a标签

只有一个a链接，可是我们要获取的是整个列表，这与我们的需求不符，那么如何理解这句XPath代表的含义呢，我们需要查看下XPath的语法： http://www.w3school.com.cn/xpath/xpath_syntax.asp。
了解语法后，我们了解到XPath路劲（// [@id="content"]/div[1]/div[1]/div[1]/div/h3/a）指定了具体的某个div，我们只要修改下就好：'//[@id="content"]/div[1]/div[1]/div/div/h3/a'，重新在Console里面输入：

$x('//*[@id="content"]/div[1]/div[1]/div/div/h3/a')

这时候得到的就是整个列表的a链接了：

抓取列表a标签

拿到详情页的链接后，接下来我们要抓取正文内容，打开详情页： http://news.southcn.com/china/content/2017-12/26/content_179881431.htm

正文内容

和之前列表一样，获取这几个内容的XPath

• 标题：//*[@id="article_title"]
• 时间：//*[@id="pubtime_baidu"]
• 来源：//*[@id="source_baidu"]
• 正文：//*[@id="content"]
  ok，现在我们可以抓取新闻了。

问题点汇总

抓取思路没有问题，而在实际抓取的过程中总是会遇到一些细节问题，这里汇总下

HtmlAgilityPack

HtmlAgilityPack 提供了一个Load函数，可以直接加载网页：

var url = "http://html-agility-pack.net/";
var web = new HtmlWeb();
var doc = web.Load(url);

但是实际使用中
我们发现很多网页加载下来后，竟然是乱码，而导致乱码的原因是不同的网站，采用的编码不一样，而Load函数并没有设置编码的地方……
所以果断放弃Load，自己写代码加载网页Html：

private string GetHtml(string url,string encoding)
        {
            using (var client = new WebClient())
            {
                client.Encoding = Encoding.GetEncoding(encoding);
                var html = client.DownloadString(url);
                return html;
            }
        }

同一个站点的XPath也会不一样

很多网站的新闻详情页会采用不同的模板来显示，比如说视频+正文、图片幻灯片+正文、正文等不同的组合方式。而这个时候要正确抓取数据，就需要同时记录多个XPath，做好非空判断，挨次抓取。

正文中的脚本处理

有些网站会在正文中嵌入广告脚本，而这个时候抓取这些脚本显然对我们没什么帮助，所以要对正文内容过滤下，去除所有的脚本：

            var articleContent = contentDoc.InnerHtml;
            //移除正文中的script脚本
            Regex rRemScript = new Regex(@"]*>[\s\S]*?");
            articleContent = rRemScript.Replace(articleContent, "");