大数据技术与应用学习日志

大数据技术与应用

• 学习内容
• 问题
• 解决
• 启发

大数据定义

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
1 Byte =8 bit
1 KB = 1,024 Bytes = 8192 bit
1 MB = 1,024 KB = 1,048,576 Bytes
1 GB = 1,024 MB = 1,048,576 KB
1 TB = 1,024 GB = 1,048,576 MB
1 PB = 1,024 TB = 1,048,576 GB
1 EB = 1,024 PB = 1,048,576 TB
1 ZB = 1,024 EB = 1,048,576 PB
1 YB = 1,024 ZB = 1,048,576 EB
1 BB = 1,024 YB = 1,048,576 ZB
1 NB = 1,024 BB = 1,048,576 YB
1 DB = 1,024 NB = 1,048,576 BB

大数据特点

1. 容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息
2. 种类（Variety）：数据类型的多样性
3. 速度（Velocity）：指获得数据的速度
4. 可变性（Variability）：妨碍了处理和有效地管理数据的过程
5. 真实性（Veracity）：数据的质量
6. 复杂性（Complexity）：数据量巨大，来源多渠道
7. 价值（value）：合理运用大数据，以低成本创造高价值

趋势

1. 数据的资源化
2. 与云计算的深度结合
3. 科学理论的突破
4. 数据科学和数据联盟的成立
5. 数据泄露泛滥
6. 数据管理成为核心竞争力
7. 数据质量是BI(商业智能)成功的关键
8. 数据生态系统复合化程度加强

问题

大数据未来会应用到什么领域

启发

大数据目前对人类社会影响巨大，与日常生活息息相关。要应用好大数据带来的便利与机会