如何利用 C# 爬取「中国图书网 - 计算机与互联网图书销量榜」！

每周一，我们会爬取「京东」、「当当」、「互动出版网」和「中国图书网」的图书7日销量数据并做一份榜单，已经持续一段时间了，从后台阅读量的统计数据来看，对辅助大家选购计算机类书籍还是有帮助的。如果大家对这份榜单有什么新的玩儿法，可以给我留言，相互交流，选择好的想法，我来写代码实现啊。

今天我就为大家介绍一下如何利用 C#语言 爬取「中国图书网 - 计算机与互联网图书销量榜」的数据。

---

首先，我们来确定爬取网页的地址。

通过观察，我们发现该畅销榜由多个页面构成，第一页的网址如下：

http://www.bookschina.com/24hour/27000000/7_0_1/

第二页的网址如下：

http://www.bookschina.com/24hour/27000000/7_0_2/

可见，页码由最后一位数字决定，这样我们就确定了爬取网页的 Url 地址。

其次，我们看一下网页的 HTML 源码，以便寻找数据的具体位置。

从源码中，我们可以发现图书的信息存放在 boolList 类的 li 标签内，通过遍历每个 li 标签内的数据我们可以得到每本书的书名、作者、出版社数据。

最后，我们选择开源的 Jumony 工具，来获取所爬取网页的 HTML DOM TREE。该工具可在 Git 上下载，对应网址为：

https://github.com/Ivony/Jumony

关于 Jumony 的使用，我在这里就不详细说明了，要是有读者对这套开源代码感兴趣，接下来我再写几篇图文来介绍这个工具。

---

分析部分，到此就介绍完了，下面来看具体的代码实现。

1. 构造存储图书的结构 Book，包括销量排名，书名，作者，出版社等。

public class Book
{
    /// 

    /// 获取或设置 销量排名
    /// 
    public int Num { get; set; }

    /// 

    /// 获取或设置 书名
    /// 
    public string Title { get; set; }

    /// 

    /// 获取或设置 作者
    /// 
    public string Author { get; set; }

    /// 

    /// 获取或设置 出版社
    /// 
    public string Press { get; set; }

    /// 

    /// Book实例的格式化输出
    /// 
    /// Markdown格式文本
    public override string ToString()
    {
        string num = Num.ToString().PadLeft(2, '0');
        string temp = "**Top" + num + "：" + Title.Trim() + "**"
                        + Environment.NewLine
                        + "- 作　者：" + Author + Environment.NewLine
                        + "- 出版社：" + Press;
        return temp;
    }
}

2. 根据网址，获取「中国图书网 - 计算机与互联网图书销量榜」网页的 HTML DOM TREE。

public static IHtmlDocument GetHtmlDocumentZt(int page)
{
    string url = @"http://www.bookschina.com/24hour/27000000"
                    + @"/7_0_"
                    + page
                    + @"/";

    IHtmlDocument document;
    try
    {
        document = new JumonyParser().LoadDocument(url);
    }
    catch
    {
        document = null;
    }
    return document;
}

3. 获取「中国图书网 - 计算机与互联网图书销量榜」的图书集合List。

public static List GetBooksZt(int page)
{
    IHtmlDocument doc = GetHtmlDocumentZt(page);
    if (doc == null)
        return null;

    List result = new List();
    List lists = doc.Find(".bookList li").ToList();

    int count = lists.Count <= 20 ? lists.Count : 20;

    for (int i = 0; i < count; i++)
    {
        Book book = new Book();
        book.Num = i + 1;

        List title = lists[i].Find(".name a").ToList();
        book.Title = title[0].InnerHtml().Trim(); //得到书的名字

        List author = lists[i].Find(".author a").ToList();
        book.Author = author[0].InnerHtml().Trim(); //得到作者的名字

        List press = lists[i].Find(".publisher a").ToList();
        book.Press = press[0].InnerHtml().Trim(); //得到出版者的名字

        result.Add(book);
    }
    return result;
}

4. 获取「中国图书网 - 计算机与互联网图书销量榜」的 Markdown 格式文本。

private string GetReport(string name, List lst)
{
    string result = Environment.NewLine + "---" + Environment.NewLine
                    + "### " + name + Environment.NewLine;

    for (int i = 0; i < lst.Count; i++)
    {
        result += Environment.NewLine + lst[i] + Environment.NewLine;
    }
    return result;
}

5. 对 Markdown 格式文本进行 HTML 渲染。

---

到此为止，构成 每周一 推送图文的所有技术内容就全部介绍完了，我做了一个 WinForm 窗体来集成这些代码。由于是辅助自己写图文来用的，样子有些丑啊。勿嫌弃！！！

今天就到这里吧！See You！

---

推荐阅读

• 如何利用 C# 开发「桌面版百度翻译」软件！
• 如何利用 C# 爬取「京东 - 计算机与互联网图书销量榜」！
• 如何利用 C# 爬取「当当 - 计算机与互联网图书销量榜」！
• 如何利用 C# 爬取「互动出版网 - 计算机图书销量榜」！
• 如何利用 C# 爬取「猫眼电影：热映口碑榜」及对应影片信息！
• 如何利用 C# 爬取「猫眼电影专业版：票房」数据！
• 如何利用 C# 爬取「猫眼电影：最受期待榜」及对应影片信息！