Ø 问题背景
UMC监控对计数器数据绘图，描绘曲线的走势。默认3秒钟获取一个样本，当跟踪时间拉长到1周时，计数器数据可能达到千万级别。要在有限的图表上描绘这么多节点，是不可能的，无法看清晰去曲线走势。
问题简化方案：
本质上是一个数学问题，不计较标准偏差，可以对数据二次加工，计算每5分钟的最大值、最小值、平均值，用5分钟一个样本描绘走势。
算法描述：
将原始时间Createtime和最小创建时间做差，精确到秒，DateDiff(minute,@minDate,Createtime)，用差值除以需要的时间间隔取模，如间隔5分钟，这样5分钟内所有的数据被划分为一组，使用计数器分类、名称等相关信息和加工后的时间共同分组，计算Max值，即为5分钟一个样本。
SQL 实现：
Select max(value) from perflog group by [计数器名称], [分类], …. ,DATEADD(minute,DATEDIFF(minute,@minDate,createtime)/@Interval*@Interval,@minDate)
SQL 优化：
相关计数器分组的字段较多（~10个），我们将不变的部分构造成一个Bizkey，使用Bizkey+ DateADD分组，减少分组依据。SQL Server选择并行索引扫描，快速计算结果。优化后，执行时间从原始 2分钟提高到16秒。这里感叹下，简单统计SQL引擎确实很强，并行扫描极大的提高了计算时间，索引扫描又降低了IO读取，~800w数据分组排序，执行16秒基本已经达到了关系数据库的极限。
Ø NoSQL介绍
先了解下流行的NoSQL：
1. 文档数据库，典型代表：MongoDB
优势：
a) 文档数据库将集合按范围横向切片，假设TableA中10条数据，1~10，三个节点A、B、C，数据分布可能为3,3,4。当数据量增大时，数据会自动分布到多个节点，对应用透明。数据分布的均匀程度，决定了性能的高低。
b) 文档数据库更接近关系数据库，可以把相似结构文档放在一起，建立索引，支持类SQL查询。
c) MongoDB 2.2版本以上增加了Aggregate Framework，无需自己实现Map/Reduce，可以通过Json方式进行Max、Min、Group等多种查询。
d) 支持O/R Mapping。
e) 支持分布式集群Sharding。
劣势：
a) 非内存数据库，通过操作系统虚拟内存映射，实现缓存，内存换页效率波动较大。
b) 存储空间较大。
2. 列式存储数据库，典型代表：HBase
优势：
a) 列式存储，更适合稀疏数据，存储空间小。相关列可以定义列簇，同一列簇存储在同一物理块上，不同列簇可分不到不同节点，数据纵向切分。
b) 支持分布式集群HDFS。
c) 扩展性好，稳定，基于Hadoop，轻松实现Map/Reduce。
劣势：
a) 不支持类SQL。
b) 环境部署较复杂。因为HDFS分布式文件系统是其核心，对速度要求非常高，仅支持类Linux。插曲：之前为了部署一个Hadoop环境，用Windows+Cygwin+Hadoop+HBase，折腾了一周多，反编译Jar包、重编译、各种文件路径、权限错误，后来开源项目上发现有的版本声明不再解决由Cygwin引起的异常。遂放弃改用Ubuntu，很快搞定。
3. Key/value数据库，典型代表：Redis
优势：
a) 一个字，快。
b) 支持O/R Mapping。
c) 默认支持Hash、List、Key/Value、SortSet等多种存储方式，基于Json序列化/反序列化，效率较高。
d) 支持集群
劣势：
a) 更多用作缓存，数据统计工作依赖代码实现Map/Reduce。
简单认识了几个流行的NoSQL，我选择了MongoDB实现UMC的统计。原因只有一个：代码简单，合适的工作做适合的事情。
Ø MongoDB版代码实现
MongoDB有不少支持.NET的驱动，我选择了 官方驱动+MongoDB 2.4版本，(至于为什么选这个版本，后面再说) + Aggregate Framework(2.2版以上支持) + Json.NET + C# 实现。这样的实现方式最简化，代码见附件。
Ø 测试结果
很遗憾，测试结果45秒。执行过程中发现多核服务器只跑满了一个核。MongoDB的Aggregate Framework实际上就是Map/Reduce的默认实现，而当前Map/Reduce框架是单线程执行，MongoDB考虑后续版本引入多线程。So Cool! J
Ø MongoDB Sharding
既然做了，就干脆彻底！45秒还没有SQL快，是Mongo不行，还是我弱？呵呵，答案是肯定的，一定是我用法不好。
MongoDB并非内存数据库，它的优势在于横向扩展，这也是传统DB处理大数据时难以逾越的鸿沟。那么，接下来，引入Sharding集群。
部署环境：
Int6 16G内存，8核服务器。单台机器上部署三个节点，使用不同端口，8887,8888,8889。
优化后结果：
56秒！崩溃。。。。。哪出了问题？？
再观察执行过程，开始几秒阶段，3个Mongo进程一同执行，仅仅几秒后，就一直是1个进程执行了。问题应该就在这里！察看三个节点上的数据分布：
Sharding 0000：12w数据
Sharding 0001：700w数据
Sharding 0002: 80w数据
靠，MongoDB号称的Auto-Sharding思想真的是理论上的巨人，实现上的鸡肋？？？
Auto-Sharding是Mongo 2.x版引起广大震撼的一个特性，它负责将数据均匀分布到多个节点，理论上类似细胞分裂，当一个Chunk的数据量达到一定规模，自动分裂成两个，然后Balancer进程负责把数据转移到其他节点。数据是否均匀，决定于ShardingKey的选择，但2.2版本中只有一种范围选择，可以指定某列做key，但是还要开发者对数据分布、Sharding机制充分了解，数据分布才能更均匀，我想，真的只有全职数据维护的人，才能作这个工作。阿里巴巴好像有专人定时手工Move数据。。。。。
Ø MongoDB Hashed Sharding
Mongo 2.4版本，实现了Hash key的Sharding机制。之前的伏笔揭开，这也是我后来选择2.4的原因。
启用hash sharding：
db.runCommand({shardcollection:"umcdb.umcperflog",key:{_id:"hashed"}})
查看数据分布：
Sharding0000~0002三个节点上数据分布非常均匀，Good!
执行结果：
见证奇迹的时刻….14秒！！
整个过程中，3个进程协同工作，非常平稳，随着节点数量增加，海量数据的分析会更快！而我们呢，代码完全不同改动，受益于NoSQL的横向扩展，太cool！
- 查看图片附件