大数据技术栈

ETL职位现状和未来发展

  1. 技术栈
  • Hadoop相关基本原理和操作:hdfs,yarn,mr
  • OLTP:mysql,oracle,pg, etc…
  • OLAP:Kylin , clickhouse,presto,impala ,TD,Greenplum
  • 离线计算:hive , Hbase ,spark
  • 流计算: storm , spark streaming ,flink , Kafka streaming
  • flume,sqoop等数据采集工具
  • Kafka等MQ产品,ES相关,Redis,Mongo等noSQL DB
  • ETL任务调度相关产品
  • Shell/Python等脚本语言开发能力
  • Java/Scala等编程能力
  • alicloud,AWS等相关产品
  • 数据结构和算法
  • 数仓数据湖等数据平台等
  • 一定的数据建模能力和数据分析能力
  • 基础的数据组件运维能力
  • 待补充…

你可能感兴趣的:(大数据,大数据)