学Spark需要什么基础?

学Spark需要什么基础?作为大数据主流框架之一的Spark,也是大数据开发人员必须要掌握的重要技术框架,在企业招聘当中,掌握Spark框架的大数据人才,也更加具备竞争优势。那么Spark需要什么基础?今天就来给大家讲讲Spark需要什么基础?
  首先,学习大数据,不管是Hadoop还是Spark,基本功都少不了Linux和Java。搭建集群环境,Linux基础是必须的,系统操作命令是基础中的基础。而Java,主要以JavaSE的知识为重点,包括面向对象、集合、io、多线程以及JDBC操作等,这部分是大数据开发当中常常需要用到的。
  其次,是要建立起大数据技术背景,对于大数据处理各个环节,以及对应的解决方案,系统框架要有基本的认识:
  1、数据采集:Flume、Kafka、Logstash、Filebeat…
  2、数据存储:Mysql、Redis、Hbase、HDFS…
  3、数据查询:Hive、Elasticsearch…
  4、实时数据计算:Storm、Spark-streaming、Flink…
  5、离线数据计算:Hadoop、Spark…
  6、其他框架:Zookeeper…
  有了这样的背景基础之后,开始Spark学习也能够更快地理解很多东西,特点建议在Spark学习之间要先对Hadoop框架有比较全面的认识,包括核心的HDFS、MapReduce、Yarn等,这部分和Spark联系紧密,对于像Spark为什么计算性能优异,架构设计为什么会这样设计等等这样的问题,也能更快理解和消化。
  对于Spark框架的学习,Spark生态圈各组件需要着重

你可能感兴趣的:(Java学习资源,好程序员,Java培训,大数据,java,编程语言,hadoop,人工智能)