基于TableStore/MaxCompute的数据采集分析系统介绍

在互联网高度发达的今天，ipad、手机等智能终端设备随处可见，运行在其中的APP、网站也非常多，如何采集终端数据进行分析，提升软件的品质非常重要，例如PV/UV统计、用户行为数据统计与分析等。虽然场景简单，但是数据量大，对系统的吞吐量、实时性、分析能力、查询能力都有较高的要求，搭建起来并不容易。今天我们来介绍一下基于阿里云表格存储，以及相关的大数据产品来采集与分析数据的方案。

TableStore

TableStore(表格存储)是阿里云自主研发的专业级分布式NoSQL数据库，是基于共享存储的高性能、低成本、易扩展、全托管的半结构化数据存储平台，支撑互联网和物联网数据的高效计算与分析。

我有几张阿里云幸运券分享给你，用券购买或者升级阿里云相应产品会有特惠惊喜哦！把想要买的产品的幸运券都领走吧！快下手，马上就要抢光了。

目前不管是阿里巴巴集团内部，还是外部公有云用户，都有成千上万的系统在使用。覆盖了重吞吐的离线应用，以及重稳定性，性能敏感的在线应用。表格存储的具体的特性可以看下面这张图片。

基于TableStore的数据采集分析系统

一个典型的数据采集分析统计平台，对数据的处理，主要由如下五个步骤组成： 

对于上图流程的具体实现，网上有许多可以参考的案例，数据在客户端采集完以后，如果量比较小，我们可能直接在后端的API上做一次透传，然后持久化到RDBMS类型的数据库中就好了，通过Sql可以进行数据分析。如果数据量很大，就需要一些中间件来辅助收集和上传，然后分别将数据写入到在线和离线的系统中，比如先上传到Flume，Flume可以做数据的采集与聚合，再将Flume作为消息的生产者，将生产的消息数据通过Kafka Sink发布到Kafka中，Kafka作为消息队列的角色，可以对接后端的在线和离线计算平台。如下图所示： 

原文链接