大数据技术简介

  1. 数据采集技术
  2. 数据存储技术
  3. 离线数据分析技术
  4. 实时数据分析技术
  5. 数据可视化技术

数据采集技术

  • 离线采集数据库数据
    sqoop
    datax
  • 实时采集数据库数据
    canel
    Oracle GoldenGate
  • 日志采集
    Flume
    Logstash
    Scribe

数据存储技术

  • 分布式文件系统
    hdfs
    alluxio
  • 键值型数据库
    hbase
    redis
  • 分布式消息队列
    Kafka
    rocketmq

离线数据分析技术

Mapreduce
Spark
impala

实时数据分析技术

  • 实时数据分析
    storm
    spark streaming
  • storm
    纯实时计算
    实时性高
  • spark streaming
    小批量计算
    复杂逻辑计算
    和hadoop生态圈结合紧密

数据可视化技术

  • 数据可视化特点
    个性化
  • 数据可视化技术
    hue
    zeppelin

你可能感兴趣的:(大数据技术简介)