大数据工程师技能图谱

下面是StuQ 发布的大数据工程师技能图谱（https://github.com/TeamStuQ/skill-map/blob/master/data/map-BigDataEngineer.md），仅供参考

大数据通用处理平台

• Spark

• Flink

• Hadoop

分布式存储

• HDFS

资源调度

• Yarn

• Mesos

机器学习工具

• Mahout

• Spark Mlib

• TensorFlow (Google 系)

• Amazon Machine Learning

• DMTK (微软分布式机器学习工具)

数据分析/数据仓库(SQL类)

• Pig

• Hive

• kylin

• Spark SQL,

• Spark DataFrame

• Impala

• Phoenix

• ELK

  • ElasticSearch

  • Logstash

  • Kibana

消息队列

• Kafka(纯日志类，大吞吐量)

• RocketMQ

• ZeroMQ

• ActiveMQ

• RabbitMQ

流式计算

• Storm/JStorm

• Spark Streaming

• Flink

日志收集

• Scribe

• Flume

编程语言

• Java

• Python

• R

• Ruby

• Scala

数据分析挖掘

• MATLAB

• SPSS

• SAS

数据可视化

• R

• D3.js

• ECharts

• Excle

• Python

机器学习

机器学习基础

• 聚类

• 时间序列

• 推荐系统

• 回归分析

• 文本挖掘

• 决策树

• 支持向量机

• 贝叶斯分类

• 神经网络

机器学习工具

• Mahout

• Spark Mlib

• TensorFlow (Google 系)

• Amazon Machine Learning

• DMTK (微软分布式机器学习工具)

算法

一致性

• paxos

• raft

• gossip

数据结构

• 栈，队列，链表

• 散列表

• 二叉树，红黑树，B树

• 图

常用算法

想成为云计算大数据Spark高手，看这里！戳我阅读

年薪50W的Java程序员转大数据学习路线戳我阅读

大数据人工智能发展趋势与前景  戳我阅读

最全最新的大数据系统交流路径！!戳我阅读

2019最新！大数据工程师就业薪资，让人惊艳！戳我阅读

• 排序

  • 插入排序

  • 桶排序

  • 堆排序

  • 快速排序

• 最大子数组

• 最长公共子序列

• 最小生成树

• 最短路径

• 矩阵的存储和运算

云计算

• 云服务

  • SaaS

  • PaaS

  • IaaS

• Openstack

• Docker