一文读懂数据分析平台的架构与设计

数据分析平台的搭建从规模上分类，确定企业规模，明确合作点，非常重要。

以服装行业为例，大型企业如波司登，本身的大数据系统架构已经完善，数据分析平台（报表/商业智能软件）在整个系统架构下的角色定位为“工具”更合适，发挥工具易用、高效开发、交互性强，稳定等优点。

中小型企业从成本上考虑，并没有成熟的架构以及大量的投入。对于整合数据，构建数据中心报表系统，我们可以进行合理规划，控制整个项目建设和运维成本，从而能够达成更好的合作。

在时尚业行业中，对于各个分店的有效管理，如何构建合理高效的报表中心变得非常关键。这里从两方面讲述，系统架构和技术实现方式，主要是鞋服行业，其他行业仅供借鉴。

首先是系统架构，从架构上分为分店管理系统（ERP和POS）及数据库、服务器和应用层客户端。系统架构如图：

（１）分店管理系统及数据库。分店使用管理系统管理本店进销存业务及相关管理工作，并定期按需将各个分店数据上传至云端服务器。

（２）服务器。构建服务器集群。数据分散在不同的服务器主机上可以并行存取，提高了数据的存取速度。服务器负责存储分店采集的各种数据，并以这些数据为基础构建数据仓库。再部署帆软数据分析平台，将处理结果给返回客户端，供业务层和决策层使用。

（３）应用层客户端。应用层客户端分为决策和统筹管理两部分。决策层根据所获得的报表、图形和走势图等来支持其决策。设置一个统筹管理的职能部门，统筹各分店统一促销，畅销商品管理和会员行为分析。企业通过云改变了以前处理数据和接入数据的方式，数据更集中，数据一致性更强，数据质量提高，分店之间的联系更紧密更便捷，在这种环境下，企业的决策依据将更准确。

（４）服务器的构建。架构如图，ETL工具通过远程访问。各个分店的服务器完成数据收集的任务，收集的数据是最原始的数据不做处理，先存储在数据中心。数据中心为基础数据库，数据中心集中了所有分店的数据。数据上传完成后继续对数据进行ETL处理，并将处理后的数据存入到数据仓库。数据分析应用程序根据客户端的请求调用数据仓库中的数据进行处理，并将结果返回给请求客户端，同时将常用的分析按计划定期自动分析并将结果保存到预定义分析结果模块中。每个分店和总部的管理层都有接入云的权限，云端数据共享。作为总部，可以监控各个分店的运营情况，作为分店可以及时了解其他分店的运行情况，借鉴经验并制定销售策略。

其次是技术实现方式，包含数据仓库、ETL、数据分析平台。

数据仓库（DataWarehouse，DW）是一个收集、组织、存储和共享历史数据的系统，其中数据ETL工具（选开源工具的话，可以用Kettle）。支持多种类型的数据源，还可以将数据库文件下载到本地进行ETL工作。PDI分为两个步骤，一个叫Transformation，另一个叫job，可以设定这些转换的执行时间和频率，这一点对于数据仓库的自动化更新是很有帮助。

下面聊一聊数据采集与分析。

每个分店有各自的分店管理系统及数据库，根据中央服务器要求将需要的数据进行上传。对于零售业来说，需要上传的数据主要包括销售数据、会员数据、商品数据、库存数据、调研数据等。需要预定义所需采集的数据，包括数据的类型、数据结构。对于数据库的数据，数据库名称、表名称、表字段都采取统一格式和名称。对于文本型数据也要统一格式，或以xml方式存储。服务器收集各个分店管理数据库的数据并对每个分店的数据标记以区分。统一标准数据可很大程度地提高数据采集的质量和后续处理效率。

对于除了分店以外的数据源，如商业共享数据平台等，需要根据实际情况设计相应接口和采集方法，帆软数据分析平台内置采集数据功能，可以非常方便根据业务情况定制数据采集模块。

数据的分析工作在按照数据仓库对数据的要求并选择合适的工具对不同类型的数据进行处理，然后保存到数据仓库中。随着时间的推移，数据中心的数据量会不断增加，运用大数据工具是非常有必要的。大数据工具的主要特点是通过服务器集群中的主机并行处理数据，将一个庞大的任务分解为小任务处理。

应用程序部署到云端以后，客户端通过浏览器调用相应的功能，只需将结果返回给客户端，在客户端进行数据分析结果的展现。针对时尚业的数据分析可以包括多个方面，比如：销量分析、客户购买偏好分析、商品关联分析、精准推送服务等。