下面是StuQ 发布的大数据工程师技能图谱(仅供参考）
大数据通用处理平台

• Spark
• Flink
• Hadoop
  

分布式存储

HDFS

资源调度

Yarn

Mesos

机器学习工具

Mahout

• Spark Mlib
• TensorFlow (Google 系)
• Amazon Machine Learning
• DMTK (微软分布式机器学习工具)
  

数据分析/数据仓库(SQL类)

• Pig
• Hive
• kylin
• Spark SQL,
• Spark DataFrame
• Impala
• Phoenix
• ELK
  

8.1 ElasticSearch

8.2Logstash

8.3Kibana

消息队列

• Kafka(纯日志类，大吞吐量)
• RocketMQ
• ZeroMQ
• ActiveMQ
• RabbitMQ
  

流式计算

• Storm/JStorm
• Spark Streaming
• Flink
  

日志收集

Scribe

Flume

编程语言

• Java
• Python
• R
• Ruby
• Scala
  

数据分析挖掘

MATLAB

SPSS

SAS

数据可视化

• R
• D3.js
• ECharts
• Excle
• Python
  

机器学习

机器学习基础

• 聚类
• 时间序列
• 推荐系统
• 回归分析
• 文本挖掘
• 决策树
• 支持向量机
• 贝叶斯分类
• 神经网络
  

机器学习工具

• Mahout
• Spark Mlib
• TensorFlow (Google 系)
• Amazon Machine Learning
• DMTK (微软分布式机器学习工具)
  

算法

一致性

• paxos
• raft
• gossip
  

数据结构

• 栈，队列，链表
• 散列表
• 二叉树，红黑树，B树
• 图
  

常用算法

1.排序

插入排序

桶排序

堆排序

2.快速排序

3,最大子数组

4.最长公共子序列

5.最小生成树

最短路径

6.矩阵的存储和运算

云计算

云服务

• SaaS
• PaaS
• IaaS
• Openstack
• Docker
  

End.