spark初识一

spark 介绍

  spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式，包括交互式查询和流处理。spark的一个主要特点是能够在内存中进行计算，及时依赖磁盘进行复杂的运算，Spark依然比MapReduce更加高效。

spark一个大一统的软件栈

   Spark的各个组件如图所示：

Spark软件栈

1. Spark Core 实现了Spark的基本功能：任务调度、内存管理、错误恢复、存储系统交互模块以及弹性分布式数据集api定义
2. Spark Sql 是Spark来操作结构化数据的程序包，可以让我使用SQL语句的方式来查询数据，Spark支持 多种数据源，包含Hive表，parquest以及JSON等内容。
3. Spark Streaming 是Spark提供的实时数据进行流式计算的组件。
4. Mlib 是Spark中提供的常见的机器学习功能的程序库。
5. GraphX 是一种操作图的程序库。可以进行并行的图计算。
6. 集群管理器 高效的运行在一个计算节点到数千个计算节点伸缩计算。

应用场景

Yahoo将Spark用在Audience Expansion中的应用，进行点击预测和即席查询等
淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等。应用于内容推荐、社区发现等
腾讯大数据精准推荐借助Spark快速迭代的优势，实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法，最终成功应用于广点通pCTR投放系统上。
优酷土豆将Spark应用于视频推荐(图计算)、广告业务，主要实现机器学习、图计算等迭代计算。

核心概念简介

1. 在每个Spark程序运行过程中，我们都是由一个驱动器程序(SparkContext)发起来并发集群上的各种并行操作。 并且驱动程序主要包含在main函数中。定义了集群上的分布式数据集。
2. 我们创建好SparkConext之后就可以创建RDD,在此基础上进行各种操作，如collect,count等等

3. 在我们执行这些操作的时候，驱动程序一般会管理多个执行器节点。这个节点是跟在配置的cpu核心数有关。1:1的对比关系。核心数越多代表我们并行的任务越多

   
   
   

   执行器
4. 代码简单实现

@Component
public class SparkTest implements Serializable {

    
    @Autowired
    private transient JavaSparkContext  scContext;
    
    public void  sparkContextTest() {
        SparkConf  conf = new SparkConf().setMaster("local").setAppName("My App Test");     
    }
}

maven 配置文件

        
        
          2.10.4
          1.6.2
        
    

    
         
            org.scala-lang
            scala-library
            2.10.4
        
        
            
            org.apache.spark
            spark-core_2.10
            ${spark.version}
            
                
                    org.slf4j
                    slf4j-log4j12
                
                
                    log4j
                    log4j
                
            
        
        
            org.apache.spark
            spark-launcher_2.10
            ${spark.version}
        
        
            org.apache.spark
            spark-mllib_2.10
            ${spark.version}
        
    

构建完成我们第一个程序 。