[置顶] 实时机票/火车票抓取系统整体架构

实时机票/火车票抓取系统是一个带有业余性质的系统，主要是作为技术的训练场。比如说ActiveMq，RMI，WebService，即使最原始的Socket也在这里一展拳脚。

        大概可以分为几个模块：

1. 对外服务模块：WebService(Axis2)，RMI的方式，原始Socket流方式（主要学习用），HTTP JSON方式。
2. 日志监控：提供对抓取的监控，监控抓取网站的规则变化，如果出现抓取错误等提供Email报警。
3. 流量/性能监控：经过改造后的系统粒度非常细，运用了责任链的方式来把整个流程串起来，这样可以实现比较细粒度的流量和性能监控，可以知道每个流程节点（Handler）的流量情况和性能情况，5分钟把数据刷到DB。最后以报表图的方式展现出来。实现限流/监控功能。
4. 抓取工具：顾名思议，作为业务最核心的部分，实现对网站规则的解析。

        各模块讲完，上一张整体的架构图：