青软集团产业项目集：基于Flink+Kylin+Druid的商业智能实时数仓决策平台项目

随着大数据、人工智能、工业互联网等新兴技术的发展，传统产业数字化转型的不断深化，相关企业更加迫切地需要理解产业、具备技术和工程实践等能力的高素质数字化人才。基于真实产业需求，青软面向商业BI、航空、智能交通、社会舆情、能源、医药服务等领域，引入适用于高校人才培养的项目资源，构建于U+新工科智慧云平台上，助力高校培育复合型应用人才。

本期，我们将介绍企业级真实案例——《基于Flink+Kylin+Druid的商业智能实时数仓决策平台项目》。本项目基于大数据思想进行设计，通过学习可掌握数据仓库的开发原理，应用于电商领域的数据处理及可视化呈现。

数据仓库（Data Warehouse），简称DW或DWH，它是数据库的一种概念上的升级，是为满足新需求设计的一种新数据库，需要容纳更多的数据，更加庞大的数据集。数据仓库能为企业所有级别的决策制定过程，提供所有类型数据支撑的战略集合，主要是用于数据挖掘和数据分析，以建立数据沙盘为基础，为消灭消息孤岛和支持决策而创建的。

现阶段，数据仓库常应用于三个方面：一是数据分析、数据挖掘、风险控制、无人驾驶；二是数据化运营、精准运营；三是广告精准、智能投放。

真实项目案例 产业应用场景还原

面向电商领域，青软引入真实的大数据企业级项目案例，研发推出《基于Flink+Kylin+Druid的商业智能实时数仓决策平台项目》。

该项目源自某头部电商公司的真实系统，依托U+新工科智慧云平台，将电商数据分析场景的产业项目转换成支撑教学环节的实训课程，通过30个子任务，实现对电商数据开发的实时大数据数据仓库系统的构建。学生在U+平台上，可以采用项目贯穿、任务驱动的形式，体验企业真实项目的开发流程及团队协作形式。 

主流技术融合 实践能力构建

电商公司需要统计分析电商背后的数据，具体数据包括：每日/月大盘收入报表、高付费用户分析报表、流量域多方位分析、营销域多方位分析、实时排行榜指标分析、用户主题分析、店铺主题时间区间分析等，数据分析涵盖全端（PC、移动、小程序）应用。 

该项目融合了Sqoop、Flume、Kafka、Zookeeper、HDFS、KUDU、HBase、Yarn、MapReduce、Spark、Flink、Hive、Impala、Kylin、Zeppelin、Superset、Spark Streaming Flink、Druid、Echarts等大数据采集、处理、存储、分布式资源管理、分布式计算、离线数据处理、数据应用、数据可视化等技术，并将全部功能划分为离线数仓构建、实时数仓构建、用户行为实时指标分析、订单实时指标分析和数据可视化五个模块。

学生在项目开发过程中，可逐步掌握数据仓库设计思想、企业级实时数据仓库技术、主流大数据技术、分布式数据库技术、主流微服务技术和前端技术等，具备自主开发一套高并发、高可用的实时大数据数据仓库系统的能力。

同时，项目实践过程模拟真实企业的管理流程，学生需采用小组协作模式，按角色分工实施。青软配合以「游泳池式」创新型教学模式，鼓励学生充分利用平台课程与资源，自主完成系列任务，真正做到「宽口径、厚基础、重能力、求创新」，锻炼学生的应用能力！

多特色助力 多维度提升学生能力

五大特色助力高效提升学生实践能力：

① 面向电商领域，项目具有行业代表性与高延展性；

② 数据仓库稳定性高、实用性强，广泛对接企业主流的数据处理需求；

③ 丰富的代码量：25000+行代码，5000+行脚本，10000+行配置；

④ 涵盖最新ETL处理数据技术→深入的Hive调优→OLAP工具整合→BI工具整合→最全的离线处理和实时处理的架构体系等主流实时数仓技术；

⑤ 模拟真实电商数据格式的数据集及行业级解决方案，以行业内典型案例寓教于练，锻炼学生提高工程技术能力。

今年9月，青软集团联合西北工业大学软件工程专业实施的U+新工科训练营刚刚结束。在青软企业工程师的带领下，学生们实践了该项目，体验了智能化商业领域的大数据技术应用与项目开发。通过这次集中学习与实训，学生能够基本掌握项目开发方式与技巧、技术原理、整合运用，对系统的结构和各方面技术进行广泛的了解。

---

从行业中来，到行业中去。将产业的需求、资源、技术转化为支撑高校人才培养的能力，是青软在产教融合领域深耕多年的核心竞争力。

结合目前产业发展中应用的前沿技术与企业用人需求，青软将真实的社会案例和数据集研发转化为可用于教学的项目，并导入教学过程，与高校协同，把人才培养的关注点聚焦于学生毕业时的工程实践能力，持续优化课程体系模式，更新教学理念与模式，适配工程师创新与国际化要求。