青软集团产业项目集:基于Flink+Kylin+Druid的商业智能实时数仓决策平台项目

随着大数据、人工智能、工业互联网等新兴技术的发展,传统产业数字化转型的不断深化,相关企业更加迫切地需要理解产业、具备技术和工程实践等能力的高素质数字化人才。基于真实产业需求,青软面向商业BI、航空、智能交通、社会舆情、能源、医药服务等领域,引入适用于高校人才培养的项目资源,构建于U+新工科智慧云平台上,助力高校培育复合型应用人才。

本期,我们将介绍企业级真实案例——《基于Flink+Kylin+Druid的商业智能实时数仓决策平台项目》。本项目基于大数据思想进行设计,通过学习可掌握数据仓库的开发原理,应用于电商领域的数据处理及可视化呈现。

青软集团产业项目集:基于Flink+Kylin+Druid的商业智能实时数仓决策平台项目_第1张图片

数据仓库(Data Warehouse),简称DW或DWH,它是数据库的一种概念上的升级,是为满足新需求设计的一种新数据库,需要容纳更多的数据,更加庞大的数据集。数据仓库能为企业所有级别的决策制定过程,提供所有类型数据支撑的战略集合,主要是用于数据挖掘和数据分析,以建立数据沙盘为基础,为消灭消息孤岛和支持决策而创建的。

现阶段,数据仓库常应用于三个方面:一是数据分析、数据挖掘、风险控制、无人驾驶;二是数据化运营、精准运营;三是广告精准、智能投放。

真实项目案例 产业应用场景还原

面向电商领域,青软引入真实的大数据企业级项目案例,研发推出《基于Flink+Kylin+Druid的商业智能实时数仓决策平台项目》。

青软集团产业项目集:基于Flink+Kylin+Druid的商业智能实时数仓决策平台项目_第2张图片

该项目源自某头部电商公司的真实系统,依托U+新工科智慧云平台,将电商数据分析场景的产业项目转换成支撑教学环节的实训课程,通过30个子任务,实现对电商数据开发的实时大数据数据仓库系统的构建。学生在U+平台上,可以采用项目贯穿、任务驱动的形式,体验企业真实项目的开发流程及团队协作形式。 

青软集团产业项目集:基于Flink+Kylin+Druid的商业智能实时数仓决策平台项目_第3张图片

主流技术融合 实践能力构建

电商公司需要统计分析电商背后的数据,具体数据包括:每日/月大盘收入报表、高付费用户分析报表、流量域多方位分析、营销域多方位分析、实时排行榜指标分析、用户主题分析、店铺主题时间区间分析等,数据分析涵盖全端(PC、移动、小程序)应用。 

该项目融合了Sqoop、Flume、Kafka、Zookeeper、HDFS、KUDU、HBase、Yarn、MapReduce、Spark、Flink、Hive、Impala、Kylin、Zeppelin、Superset、Spark Streaming Flink、Druid、Echarts等大数据采集、处理、存储、分布式资源管理、分布式计算、离线数据处理、数据应用、数据可视化等技术,并将全部功能划分为离线数仓构建、实时数仓构建、用户行为实时指标分析、订单实时指标分析和数据可视化五个模块。

青软集团产业项目集:基于Flink+Kylin+Druid的商业智能实时数仓决策平台项目_第4张图片

青软集团产业项目集:基于Flink+Kylin+Druid的商业智能实时数仓决策平台项目_第5张图片

学生在项目开发过程中,可逐步掌握数据仓库设计思想、企业级实时数据仓库技术、主流大数据技术、分布式数据库技术、主流微服务技术和前端技术等,具备自主开发一套高并发、高可用的实时大数据数据仓库系统的能力。

同时,项目实践过程模拟真实企业的管理流程,学生需采用小组协作模式,按角色分工实施。青软配合以「游泳池式」创新型教学模式,鼓励学生充分利用平台课程与资源,自主完成系列任务,真正做到「宽口径、厚基础、重能力、求创新」,锻炼学生的应用能力!

多特色助力 多维度提升学生能力

青软集团产业项目集:基于Flink+Kylin+Druid的商业智能实时数仓决策平台项目_第6张图片

五大特色助力高效提升学生实践能力:

① 面向电商领域,项目具有行业代表性与高延展性;

② 数据仓库稳定性高、实用性强,广泛对接企业主流的数据处理需求;

③ 丰富的代码量:25000+行代码,5000+行脚本,10000+行配置;

④ 涵盖最新ETL处理数据技术→深入的Hive调优→OLAP工具整合→BI工具整合→最全的离线处理和实时处理的架构体系等主流实时数仓技术;

⑤ 模拟真实电商数据格式的数据集及行业级解决方案,以行业内典型案例寓教于练,锻炼学生提高工程技术能力。

今年9月,青软集团联合西北工业大学软件工程专业实施的U+新工科训练营刚刚结束。在青软企业工程师的带领下,学生们实践了该项目,体验了智能化商业领域的大数据技术应用与项目开发。通过这次集中学习与实训,学生能够基本掌握项目开发方式与技巧、技术原理、整合运用,对系统的结构和各方面技术进行广泛的了解。

青软集团产业项目集:基于Flink+Kylin+Druid的商业智能实时数仓决策平台项目_第7张图片


从行业中来,到行业中去。将产业的需求、资源、技术转化为支撑高校人才培养的能力,是青软在产教融合领域深耕多年的核心竞争力。

结合目前产业发展中应用的前沿技术与企业用人需求,青软将真实的社会案例和数据集研发转化为可用于教学的项目,并导入教学过程,与高校协同,把人才培养的关注点聚焦于学生毕业时的工程实践能力,持续优化课程体系模式,更新教学理念与模式,适配工程师创新与国际化要求。

你可能感兴趣的:(数据挖掘,数据仓库,大数据)