spark技术简介

大数据生态圈

存储
主要包括hdfs、Kafka

计算
主要包括MapReduce、Spark、Flink

查询
主要为Nosql和Olap，Nosql
主要包括Hbase、 Cassandra 等:

• 其中olap包括kyline、impla
• 其中Nosql主要解决随即查询
• Olap技术主要解决关联查询

spark技术简介

Spark最初是由美国加州大学伯克利分校的AMP实验室于2009年开发，是基于内存计算的大数据并行计算架构，可用于构建大型的、低延迟的数据分析应用程序。Spark在诞生之初属于研究型项目，其诸多核心理念均源自学术研究论文，2013年，Spark加入Apache孵化器项目后，开始获得迅猛的发展，如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一（即Hadoop、Spark、Storm）。
Spark具有如下几个只要特点。

• 运行速度快：Spark使用先进的有向无环图（DAG）执行引擎，以支持循环数据流与内存计算，基于内存的执行速度可比Hadoop MapReduce快上百倍，基于磁盘的执行速度也能快十倍。
• 容易使用：Spark支持使用Scala、Java、Python和R语言进行编程，简洁的API设计有助于用户轻松构建并行程序，并且可以通过Spark Shell进行交互式编程。
• 通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件，这些组件可以无缝整合到同一个应用中，足以应对复杂的计算。
• 运行模式多样：Spark可运行于独立的集群模式中，或者运行于Hadoop中，也可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源。