spark1.0.0

Spark 1.0.0 横空出世 Spark on Yarn 部署(Hadoop 2.4)

Spark1.0.0终于发布了：Spark1.0.0released根据官网描述，Spark1.0.0支持SQL编写：SparkSQLProgrammingGuide个人觉得这个功能对Hive的市场的影响很小
tntzbzc·2014-05-31 16:00

使用IntelliJ IDEA开发Spark1.0.0应用程序

本篇是Spark1.0.0开发环境快速搭建中关于客户端IDE部分的内容，将具体描述：如何安装scala开发插件如何创建项目和配置项目属性如何编写源代码如何将生成的程序包至于如何运行程序包，请参见应用程序部署工具
mmicky20110730·2014-05-13 15:17

使用IntelliJ IDEA开发Spark1.0.0应用程序

本篇是Spark1.0.0开发环境快速搭建中关于客户端IDE部分的内容，将具体描述：如何安装scala开发插件如何创建项目和配置项目属性如何编写源代码如何将生成的程序包   至于如何运行程序包，请参见应用程序部署工具
book_mmicky·2014-05-13 15:00

Spark1.0.0 应用程序部署工具spark-submit

Spark1.0.0的出现，这个问题得到了逐步改善。
book_mmicky·2014-05-13 15:00

[置顶] Spark1.0.0 学习路线

    2014-05-30Spark1.0.0Relaease经过11次RC后终于发布，虽然还有不少bug，还是很令人振奋。作为一个骨灰级的老IT，经过很成一段时间的消沉，再次被点燃激情，决定近几年内投入Spark的队伍，去见证Spark的不断强大。在最初的阶段，将作为Spark的布道者，宣传和介绍Spark，最终将选择某一个方向，深入研究和编写代码。   随着国家对软件安全的重视，，看看这几天
book_mmicky·2014-05-13 15:00

Spark1.0.0 的一些小经验

1：关于读取本地文件使用spark-shell连接Spark集群，然后在运行应用程序中读取本地文件时，会经常碰上文件不存在的错误。主要原因是由于：spark-shell作为应用程序，是将提交作业给spark集群，然后spark集群分配到具体的worker来处理，worker在处理作业的时候会读取本地文件。这时候冲突就发生了，运行spark-shell的机器可能和运行worker的机器不是同一台，而
book_mmicky·2014-05-13 15:00

Spark1.0.0 Standalone HA的实现

SparkStandalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。如何解决这个单点故障的问题，Spark提供了两种方案：基于文件系统的单点恢复基于zookeeper的StandbyMasters本文中的测试是在Spark1.0.0Standalone模式部署上进行。1：基于文件系统的单点恢复主要用于开发
book_mmicky·2014-05-13 15:00

Spark1.0.0 多语言编程之Scala实现

笔者的Spark开发环境参见Spark1.0.0开发环境快速搭建，本篇是对Spark1.0.0多语言编程的需求进行scala实现。   至于在IntelliJID
book_mmicky·2014-05-13 15:00

Spark1.0.0 多语言编程之python实现

   Spark公开了pyhton的编程模型-PySpark，开发者通过PySpark可以很容易开发Sparkapplication。   但是PythonAPI和ScalaAPI略有不同：Python是动态语言，RDD可以持有不同类型的对象PySpark目前并没有支持全部的API，但核心部分已经全部支持   在PySpark里，RDD支持scala一样的方法，只不过这些方法是Python函数来实
book_mmicky·2014-05-13 15:00

Spark1.0.0 多语言编程

关于编程的基础知识，可以参看Spark1.0.0编程模型。   spark目前支持scala、python、JAVA编程。    
book_mmicky·2014-05-13 15:00

Spark1.0.0 on Standalone 运行架构实例解析

本篇是对Spark1.0.0运行架构基本概念进行实例解析，加深对Spark的运行结构基本概念的理解。
book_mmicky·2014-05-13 15:00

Spark1.0.0 运行架构基本概念

SparkApplication的运行架构由两部分组成：driverprogram（SparkContext）和executor。SparkApplication一般都是在集群中运行，比如SparkStandalone、YARN、mesos，这些集群给SparkApplicaiton提供了计算资源和这些资源管理，这些资源既可以给executor运行，也可以给driverprogram运行。根据Sp
book_mmicky·2014-05-13 15:00

Spark1.0.0 on Standalone 模式部署

1：Spark1.0.0StandaloneMode安装A：部署包生成首先，官网 http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0.tgz 下载源代码，解压后切换到源码目录，运行部署包生成程序make-distribution.sh$./make-distribution.sh--hadoop2.2.0--with-yarn--tgzspark源码根
book_mmicky·2014-05-13 15:00

Spark1.0.0 on YARN 模式部署

1：概述   说SparkonYARN的部署，还不如说是Spark应用程序在YARN环境中的运行。按照Spark应用程序中的driver（SparkContext）分布方式不同，SparkonYARN有两种模式：一种是yarn-client模式，在这种模式下，Sparkdriver在客户机上运行，然后向YARN申请运行exeutor以运行Task。一种是yarn-cluster模式，这种模式下，S
book_mmicky·2014-05-13 15:00

Redis安装和配置

1：规划本篇为了测试spark+redis应用程序开发而重新编写了，具体的使用环境参见Spark1.0.0开发环境快速搭建。
book_mmicky·2014-05-13 15:00

Spark 开发搭建运行

环境：CentOS6.3,Hadoop1.1.2,JDK1.6,Spark1.0.0,Scala2.10.3,Eclipse(Hadoop可以不安装)首先明白一点，spark就是scala项目。
zlcd1988·2014-03-22 17:00

Spark 安装

环境:CentOS6.3,Hadoop1.1.2,JDK1.6,Spark1.0.0,Scala2.10.3在安装开始前，请大家务必明白，spark版本不一样，有些细节是不一样的。
zlcd1988·2014-03-13 16:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他