Python数据分析之理论知识

文章目录

  • Python数据分析概述
    • 一、数据分析的概念
      • 1.广义数据分析
      • 2.数据挖掘
    • 二、数据分析流程
      • 1. 需求分析:
      • 2. 数据获取
      • 3.数据预处理
      • 4.分析与建模
      • 5.模型评价与优化
      • 6. 分类模型评价指标
      • 7.回归模型
      • 8.部署
    • 三、数据分析应用场景
    • 四、总思维导图

Python数据分析概述

一、数据分析的概念

1.广义数据分析

狭义数据分析

  • 对比分析

  • 分组分析

  • 交叉分析

  • 回归分析等

2.数据挖掘

  • 智能推荐

  • 关联规则

  • 分类模型

  • 聚类模型
    Python数据分析之理论知识_第1张图片

二、数据分析流程

1. 需求分析:

主要指从用户提出的需求出发,挖掘用户内心的真实意图

2. 数据获取

  • 网络数据

存储在互联网中的各类互联网中的各类视频、图片、语音和文字等信息

  • 本地数据

存储在本地数据库中的生产、营销和财务等系统的数据

历史数据:系统在运行过程中遗留下来的数据,其数据量随系统在运行时间的增加而增长

实时数据:指最近一个单位时间周期内产生的数据

在这里插入图片描述

3.数据预处理

  • 数据合并

  • 数据清洗

     去掉重复
     缺失
     异常
     不一致的数据
    
  • 数据标准化

  • 数据变化

Python数据分析之理论知识_第2张图片
Python数据分析之理论知识_第3张图片

4.分析与建模

  • 分析方法

     对比分析
     分组分析
     交叉分析
     回归分析
    
  • 模型与算法

    聚类模型
    分类模型
    关联规则
    智能推荐
    

Python数据分析之理论知识_第4张图片

5.模型评价与优化

聚类模型评价指标
ARI评价法
AMI评价法
V-measure评分
FMI评价法

轮廓系数

6. 分类模型评价指标

准确率
精确率
召回率
F1值
ROC
AUC

7.回归模型

 平均绝对误差
 均方误差
 中值绝对误差
 可解释方差值

8.部署

三、数据分析应用场景

客户分析
营销分析
社交媒体分析
网络安全分析
设备管理
交通物流分析
欺诈行为检测

四、总思维导图

Python数据分析之理论知识_第5张图片

你可能感兴趣的:(数据分析学习,python,数据分析)