使用 eventproxy 控制并发

目标

• 使用 eventproxy(https://github.com/JacksonTian/eventproxy ) 控制并发

新建文件 app.js，当调用 node app.js 时，输出 CNode(https://cnodejs.org/ ) 社区首页的所有帖子标题和链接以及第一条评论，以 json 的格式返回。
输出示例：

[
    {
        title: '微信应用号在前端开发圈火了，而Docker其实早已火遍后端',
        href: 'https: //cnodejs.org/topic/57e45421015b4f570e0d02df',
        comment1: 'weapp跟Docker。。。这两者有关系吗。。。。'
    },
    {
        title: '开发过微信签名算法的大大看过来。。。',
        href: 'https: //cnodejs.org/topic/57e287a43af3942a3aa3b959',
        comment1: '这个参数是微信加的用于跟踪之类而且前端wx.config注册一次以后就用不到签名了还是看你的业务逻辑吧'
    }
]

在上一篇文章（使用 superagent 与 cheerio 完成简单爬虫）中我们介绍了如何使用 superagent 和 cheerio 来获取主页内容，那只需要发起一次 http get 请求就能办到。但这次，我们需要取出每个帖子的第一条评论，这就要求我们对每个帖子的链接发起请求，并用 cheerio 去取出其中的第一条评论。

CNode 目前每一页有 40 个帖子，于是我们就需要发起 1 + 40 个请求，来达到我们的目标。对于后面的 40 个请求，我们并发地发起，而且不会遇到多线程啊锁什么的，Node.js 的并发模型跟多线程不同，抛却那些观念。

初识 eventproxy

用 js 写过异步的同学应该都知道，如果你要并发异步获取两三个地址的数据，并且要在获取到数据之后，对这些数据一起进行利用的话，常规的写法是自己维护一个计数器。

先定义一个 var count = 0，然后每次抓取成功以后，就 count++。如果你是要抓取三个源的数据，由于你根本不知道这些异步操作到底谁先完成，那么每次当抓取成功的时候，就判断一下 count === 3 。当值为真时，使用另一个函数继续完成操作。

而 eventproxy 就起到了这个计数器的作用，它来帮你管理到底这些异步操作是否完成，完成之后，它会自动调用你提供的处理函数，并将抓取到的数据当参数传过来。
假设我们不使用 eventproxy 也不使用计数器时，抓取三个源的写法是这样的：

// 参考 jquery 的 $.get 方法
$.get("http://data1_source", function(data1) {
    // something
    $.get("http://data2_source", function(data2) {
        // something
        $.get("http://data3_source", function(data3) {
            // something
            var html = fuck(data1, data2, data3);
            render(html);
        });
    });
});

上述的代码大家都写过吧。先获取 data1，获取完成之后获取 data2，然后再获取 data3，然后 fuck 它们，进行输出。

但大家应该也想到了，其实这三个源的数据，是可以并行去获取的，data2 的获取并不依赖 data1 的完成，data3 同理也不依赖 data2。

于是我们用计数器来写，会写成这样：

(function() {
    var count = 0;
    var result = {};

    $.get('http://data1_source', function(data) {
        result.data1 = data;
        count++;
        handle();
    });
    $.get('http://data2_source', function(data) {
        result.data2 = data;
        count++;
        handle();
    });
    $.get('http://data3_source', function(data) {
        result.data3 = data;
        count++;
        handle();
    });

    function handle() {
        if (count === 3) {
            var html = fuck(result.data1, result.data2, result.data3);
            render(html);
        }
    }
})();

如果用 eventproxy，写出来是这样的：

var ep = new eventproxy();
ep.all('data1_event', 'data2_event', 'data3_event', function(data1, data2, data3) {
    var html = fuck(data1, data2, data3);
    render(html);
});

$.get('http://data1_source', function(data) {
    ep.emit('data1_event', data);
});

$.get('http://data2_source', function(data) {
    ep.emit('data2_event', data);
});

$.get('http://data3_source', function(data) {
    ep.emit('data3_event', data);
});

说白了，也就是个高等计数器嘛。
ep.all('data1_event', 'data2_event', 'data3_event', function (data1, data2, data3) {});
这一句，监听了三个事件，分别是 data1_event, data2_event, data3_event，每当一个源的数据抓取完成时，就通过 ep.emit() 来告诉 ep 自己，某某事件已经完成了。当三个事件未同时完成时，ep.emit()调用之后不会做任何事；当三个事件都完成时，就会调用末尾的那个回调函数，来对它们进行统一处理。

最终版代码：

var superagent = require('superagent');
var cheerio = require('cheerio');
// url 模块是 Node.js 标准库里面的，http://nodejs.org/api/url.html
var url = require('url');
var eventproxy = require('eventproxy');


var cnodeUrl = 'https://cnodejs.org/'

superagent.get(cnodeUrl)
    .end(function(err, res) {
        var topicUrls = [];
        var $ = cheerio.load(res.text);
        // 获取首页所有的链接
        $('#topic_list .topic_title').each(function(index, element) {
            var $element = $(element);
            // $element.attr('href') 本来的样子是 /topic/542acd7d5d28233425538b04
            // 我们用 url.resolve 来自动推断出完整 url，变成 https://cnodejs.org/topic/542acd7d5d28233425538b04 的形式
            // 具体请看 http://nodejs.org/api/url.html#url_url_resolve_from_to 的示例
            var href = url.resolve(cnodeUrl, $element.attr('href'));
            topicUrls.push(href);
        });

        // 得到一个 eventproxy 的实例
        var ep = new eventproxy();
        // 命令 ep 重复监听 topicUrls.length 次（在这里也就是 40 次） 再执行后面的回调函数
        ep.after('topic_html', topicUrls.length, function(topics) {
            // 数组的 map 方法返回一个由原数组中的每个元素调用一个指定方法后的返回值组成的新数组
            var data = topics.map(function(topicPair) {
                var topicUrl = topicPair[0];
                var topicHtml = topicPair[1];
                var $ = cheerio.load(topicHtml);
                return {
                    title: $('.topic_full_title').text().trim(),
                    href: topicUrl,
                    comment1: $('.reply_content').eq(0).text().trim()
                };
            });
            console.log(data);
        });
        topicUrls.forEach(function(topicUrl) {
            superagent.get(topicUrl)
                .end(function(err, res) {
                    ep.emit('topic_html', [topicUrl, res.text]);
                });
        });
    });

在上面的代码中我们使用到了 eventproxy的重复异步协作。参照（https://github.com/JacksonTian/eventproxy#重复异步协作 ）。