数据分析是什么?

简言之,数据分析是从大量数据中,用适当的统计分析方法,提取出有用信息的过程。

数据分析在企业里通常称为BI,即商业智能business intelligence,是指将企业业务系统中的数据进行统计分析,形成有规律的信息,来辅助用户做出决策。

实现BI的过程就需要ETL,ETL的流程通常是:

1、获取数据extract 

2、转换、清洗数据transform

3、加载调取数据load

4、图表统计展现BI

数据分析怎么做?

做数据分析的过程也类似下饭馆,可分为五个步骤:

1. 明确需求——点菜

明确需求是核心,要知道用户的目的是什么,需求分析人员要全面了解、理解业务,并得到关键用户对业务逻辑的认可和确认,而不能自己猜测用户的需求逻辑,避免徒劳无益,之后的所有步骤也都要以业务需求为核心来进行。

2. 数据采集、清洗——洗菜

采集:加法,尽可能收集数据,越全面越好,减少数据盲点。

清洗:减法,清洗、修复无效数据(如:错误、重复、残缺记录,缺失值处理等),确保数据分析完整性、准确性。

3. 数据处理——配菜

根据业务需求,对数据进行整理(如按条件筛选提取,聚合、分类、汇总等),建立数据模型、数据集。

4. 数据分析——做菜

(1) 描述性分析:

数据的集中趋势——众数、中位数、平均数数据的离散趋势——最大最小值、极差、四分位差、方差和标准差几个统计名词

(2) 趋势性分析:

对同一指标、比率在不同时期的值,进行比较,观察增加变动情况,获得趋势。

——定比、环比、同比

(3) 相关性分析:分析现象间是否存在依存关系,及依存的相关程度和相关方向。——不相关、线性相关、非线性相关、相关但非线性相关。

相关性分析举例

相关系数图

相关系数:是描述线性相关程度的量。

5. 结果展现——上菜

将数据分析的结果,以报告、报表、图表、监控仪表盘等形式展现给用户,为决策判断提供支持依据。

三、Bi实施过程中各个对象(角色)之间的关系:

甲方用户是客人,乙方厂商是饭馆,信息图表像菜肴,需求分析像服务员,BI工程师像大厨,ETL工程师像后厨小工。

四、etl概念和大数据概念

ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。

大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

你可能感兴趣的:(数据分析是什么?)