大数据必备的技术栈有哪些？

二、数仓工程师：具备看需求文档的能力，对大数据产品技术架构原理有深入了解。熟悉数据仓库开发及建模，熟悉Mysql Redis等常用数据库及缓存；熟悉Hadoop生态圈技术，了解生态圈相关组件；掌握Java、Hive、Sql，熟悉至少一门脚本语言。

三、大数据开发工程师：主要从事大数据平台建设，技术能力要求：Java Hadoop hive hbase flume storm kafka spark flink等，负责ETL流程、数据建模、定时任务分配，有时还要负责Hadoop集群的维护，做的每个模块单独拿出来都可以顶起事来。大数据的应用很大，除上述提到的岗位还有大数据分析工程师、数据挖掘以及算法工程师等，具体岗位人员配置根据公司业务及项目的发展和需求。