大数据概述

大数据概述


  • 大数据故事
  • 什么是大数据
  • 大数据带来的计算变革
  • 大数据现存的模式
  • 大数据的技术概念
  • 大数据带来的挑战
  • 大数据的典型应用

大数据概述4v特征

  • 数据量(Volume)
  • 多样性|复杂性(Variety)
  • 基于高度分析的新价值(Value)
  • 速度(Velocity)

大数据带来的技术变革

技术驱动:

  • 数据量大(文件存储 ===> 分布式储存)
  • 计算: 单机 ===> 分布式计算
  • 网络: 万兆带宽
  • RDBMS ===> NoSQL(HBase/Redis...)

商业驱动:

大数据现存的模式

  • 手握大数据 没有大数据思维
  • 没有大数据 有大数据思维
  • 既有大数据 又有大数据思维

大数据的技术概念

  • 单机: CPU Memory Disk
  • 分布式并行计算/处理
  • 数据采集: Flume Sqoop
  • 数据储存 Hadoop
  • 数据处理/分析/挖掘: Hadoop Spark Flink...
  • 数据可视化

大数据带来的挑战

  • 对现有数据库管理技术的挑战
  • 经典数据库技术并没有考虑数据的多类别
  • 实时性的技术挑战
  • 网络架构/数据中心/运维的挑战
  • 数据的隐私
  • 数据源复杂多样

大数据的典型应用

  • count/sum/avg
  • groupBy/Join
  • 窗口分析函数
  • 异常/欺诈检测
  • 人工智能
  • 报表
  • 用户细分/便签
  • 指标监控/预警/告警

你可能感兴趣的:(大数据概述)