大数据工程师技能图谱

下面是StuQ 发布的大数据工程师技能图谱(https://github.com/TeamStuQ/skill-map/blob/master/data/map-BigDataEngineer.md),仅供参考

大数据通用处理平台

  • Spark

  • Flink

  • Hadoop

分布式存储

  • HDFS

资源调度

  • Yarn

  • Mesos

机器学习工具

  • Mahout

  • Spark Mlib

  • TensorFlow (Google 系)

  • Amazon Machine Learning

  • DMTK (微软分布式机器学习工具)

数据分析/数据仓库(SQL类)

  • Pig

  • Hive

  • kylin

  • Spark SQL,

  • Spark DataFrame

  • Impala

  • Phoenix

  • ELK

    • ElasticSearch

    • Logstash

    • Kibana

消息队列

  • Kafka(纯日志类,大吞吐量)

  • RocketMQ

  • ZeroMQ

  • ActiveMQ

  • RabbitMQ

流式计算

  • Storm/JStorm

  • Spark Streaming

  • Flink

日志收集

  • Scribe

  • Flume

编程语言

  • Java

  • Python

  • R

  • Ruby

  • Scala

数据分析挖掘

  • MATLAB

  • SPSS

  • SAS

数据可视化

  • R

  • D3.js

  • ECharts

  • Excle

  • Python

机器学习

机器学习基础

  • 聚类

  • 时间序列

  • 推荐系统

  • 回归分析

  • 文本挖掘

  • 决策树

  • 支持向量机

  • 贝叶斯分类

  • 神经网络

机器学习工具

  • Mahout

  • Spark Mlib

  • TensorFlow (Google 系)

  • Amazon Machine Learning

  • DMTK (微软分布式机器学习工具)

算法

一致性

  • paxos

  • raft

  • gossip

数据结构

  • 栈,队列,链表

  • 散列表

  • 二叉树,红黑树,B树

常用算法

想成为云计算大数据Spark高手,看这里!戳我阅读

年薪50W的Java程序员转大数据学习路线戳我阅读

大数据人工智能发展趋势与前景  戳我阅读

最全最新的大数据系统交流路径!!戳我阅读

2019最新!大数据工程师就业薪资,让人惊艳!戳我阅读

  • 排序

    • 插入排序

    • 桶排序

    • 堆排序

    • 快速排序

  • 最大子数组

  • 最长公共子序列

  • 最小生成树

  • 最短路径

  • 矩阵的存储和运算

云计算

  • 云服务

    • SaaS

    • PaaS

    • IaaS

  • Openstack

  • Docker

你可能感兴趣的:(大数据)