2023.9.21-python学习day01 大数据概念了解

目录

一.大数据基本概念

二.数据单位

三.大数据特点（5V）

四.大数据分析步骤

五.计算机组成

六.编程语言

---

一.大数据基本概念

1. 大数据概念: bigdata,无法用常规软件处理的数据集合,这就需要一种新的模式去处理,这就是大数据.
2. 大数据解决的问题:海量数据的存储 , 海量数据的计算 , 海量数据的迁移 ,
3. 大数据应用场景: 为生活赋能/大数据人工智能时代/数字化时代

二.数据单位

常见数据存储单位（由小到大）：

• bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB；
• 1Byte = 8bit 1K = 1024Byte 1MB = 1024K 1G = 1024M 1T = 1024G 1P = 1024T

三.大数据特点（5V）

大: 体积大
多: 数据种类和来源多
值: 低价值密度
快: 增长速度快,处理速度快,获取速度快
信: 结果准确,可以信赖的

四.大数据分析步骤

1. 明确分析的目的和思路: 把分析目的分解成若干个不同的分析要点,确保分析框架的体系化和逻辑性
2. 数据收集:一般数据来源为数据库、第三方数据统计工具、专业的调研机构的统计年鉴或报告、市场调查
3. 数据处理:(E抽取T转换L加载)数据处理主要包括数据清洗、数据转化、数据提取、数据计算等,将原始数据加工成为分析需要的直观数据
4. 数据分析:数据分析是指用适当的分析方法及工具，分析处理过的数据，提取有价值的信息的过程
5. 数据可视化: 一般能用图说明问题的就不用表格，能用表格说明问题的就不要用文字。
6. 撰写报告: 数据分析报告其实是对整个数据分析过程的一个总结与呈现。用于决策者参考做出决策

五.计算机组成

1. 计算机组成: 硬件和软件
2. 硬件:  冯诺依曼体系结构(输入设备,输出设备,运算器,控制器,内外存储器)
3. 软件:  系统软件和应用软件
4. 系统软件作用: 承上启下: 硬件和应用软件的桥梁

六.编程语言

1. 编程语言: 人和计算机交互一种语言
2. 编程语言历史: 低级语言 -> 高级语言 -> 面向对象时代(java和python)
3. 注意: sql是一种特殊的编程语言