不懂什么是数据建模?Smartbi告诉你

一、数据建模的定义

数据建模指的是对现实世界各类数据的抽象组织,确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。 将经过系统分析后抽象出来的概念模型转化为物理模型后,在visio或erwin等工具建立数据库实体以及各实体之间关系的过程(实体一般是表)。

二、数据建模的基本流程

1、确定数据及其相关过程,如实地销售人员需要查看在线产品目录并提交新客户订单。

2、定义数据,如数据类型、大小和默认值。

3、确保数据的完整性,使用业务规则和验证检查。

4、定义操作过程,如安全检查和备份。

5、选择数据存储技术,如关系、分层或索引存储技术。

6、一定要知道建模通常会以意想不到的方式涉及公司的管理。例如,当对哪些数据元素应由哪些组织来维护有新的见解时,数据所有权以及数据维护、准确性和及时性的隐含责任通常会遭到质疑。数据设计常常促使公司认识到企业数据系统是如何相互依存的,并且鼓励公司抓住协调后的数据规划所带来的效率提高、成本节约和战略性机遇。

三、数据建模的类型

1、ER模型
OLAP中的ER模型,与OLTP中的有所区别。其本质差异是站在企业角度面向主题的抽象,而不是针对某个具体业务流程的实体对象关系的抽象。

2、星型模型
星型模型,是维度模型在关系型数据库上的一种实现。该模型表示每个业务过程包含事实表,事实表存储事件的数值化度量,围绕事实表的多个维度表,维度表包含事件发生时实际存在的文本环境。这种类似于星状的结构通常称为"星型连接"。其重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。在星型模型基础上,在复杂场景下还可以进一步衍生出雪花模型。

3、多维模型
多维模型,是维度模型的另一种实现。当数据被加载到OLAP多维数据库时,对这些数据的存储的索引,采用了为维度数据涉及的格式和技术。性能聚集或预计算汇总表通常由多维数据库引擎建立并管理。由于采用预计算、索引策略和其他优化方法,多维数据库可实现高性能查询。

四、数据建模案例

1、Smartbi大数据挖掘平台算法丰富,而且可扩展

数据挖掘平台支持多种高效实用的机器学习算法,包含了分类、回归、聚类、预测、关联,5大类机器学习的成熟算法。其中包含了多种可训练的模型:逻辑回归、决策树、随 机森林、朴素贝叶斯、支持向量机、线性回归、K均值、DBSCAN、高斯混合模型。除提供主要算法和建模功能外,数据挖掘平台还提供了必不可少的数据预处理功能,包括字段拆分、行过滤与映射、列选择、随机采样、过滤空值、合并列、合并行、JOIN、行选择、去除重复值、排序、增加序列号、增加计算字段等。

2、Smartbi 大数据挖掘平台功能完备,无缝集成到企业BI应用

1)适合大型企业

分布式云计算,线性扩展,保证性能,与BI平台无缝整合,一键发布挖掘模型,模型库提高知识复用,减少重复投入,支持跨库查询,统一控制数据访问权限,训练自动化、模型自学习。

2)适合普通用户

直观的流式建模,极简风格的节点配置界面,支持可视化探索,轻松理解数据质量和数据并联,流程节点在线帮助,模型超参数自动调整。

3)专业算法能力

内置5大类机器学习成熟算法,支持文本分析处理,支持使用Python扩展挖掘算法, 支持使用SQL扩展数据处理能力。

三、Smartbi大数据挖掘平台易学易用,一站式完成数据处理和建模

你可能感兴趣的:(数据建模数据挖掘)