spark1.0.0

Spark1.0.0 应用程序部署工具spark-submit

Spark1.0.0的出现，这个问题得到了逐步改善。
mmicky20110730·2020-08-22 21:06

Spark SQL的几个里程碑！

1.spark1.0.0诞生了SparkSQL官方版本是spark1.0.0引入的SparkSQL模块。当时这个模块的核心实际上就是一种新类型的RDD，叫做SchemaRDD。
大数据星球-浪尖·2020-08-22 13:56

大数据Spark企业级实战版【学习笔记】----Spark Shark& Spark SQL

4.SparkSharkShark即HiveonSpark，本质上是通过Hive的HQL解析，Shark在Spark1.0.0由于整合度和性能等原因，已被Spark官方团队停止开发。
WEL测试·2020-07-15 23:00

Spark1.0.0 运行架构基本概念

SparkApplication的运行架构由两部分组成：driverprogram（SparkContext）和executor。SparkApplication一般都是在集群中运行，比如SparkStandalone、YARN、mesos，这些集群给SparkApplicaiton提供了计算资源和这些资源管理，这些资源既可以给executor运行，也可以给driverprogram运行。根据Sp
mmicky20110730·2020-07-15 20:23

Spark 使用Python在pyspark中运行简单wordcount

0.参考文章Spark入门（Python版）Spark1.0.0多语言编程之python实现Spark编程指南（python版）1.pyspark练习进入到spark目录，1.1修改log4j.propertiesSpark
power0405hf·2020-07-05 02:54

实战spark core数据读取&存储

前言sparksql[spark1.0.0]出现之前，数据的读取是通过sparkContext得到的是RDD，数据的存储是通过不同类型RDD的saveXXX方法存储的，Spark的整个生态系统与Hadoop
小白数据猿·2020-06-24 04:04

spark属性配置方式

在Spark1.0.0提供了3种方式的属性配置：SparkConf方式SparkConf方式可以直接将属性值传递到SparkContext；SparkConf可以对某些通用属性直接配置，如master使用
说的对·2018-04-26 18:29

Spark相关文章索引（1）

环境部署Spark快速入门指南–Spark安装与基础使用Spark1.0.0部署指南ApacheSpark探秘：三种分布式部署方式比较基本常识LZO百度百科技术栈百度百科事件驱动百度百科什么是事件驱动编程机制
BlackEnn·2017-04-10 13:00

Spark相关文章索引（1）

环境部署Spark快速入门指南–Spark安装与基础使用Spark1.0.0部署指南ApacheSpark探秘：三种分布式部署方式比较基本常识LZO百度百科技术栈百度百科事件驱动百度百科什么是事件驱动编程机制
BlackEnn·2017-04-10 13:00

转载lr spark细节

原创文章，转载请注明：转载自http://www.cnblogs.com/tovin/p/3816289.html本文以spark1.0.0版本MLlib算法为准进行分析一、代码结构逻辑回归代码主要包含三个部分
codemosi·2016-02-22 17:22

Spark 使用Python在pyspark中运行简单wordcount

0.参考文章Spark入门（Python版）Spark1.0.0多语言编程之python实现Spark编程指南（python版）1.pyspark练习进入到spark目录，1.1修改log4j.propertiesSpark
power0405hf·2015-11-19 21:00

Spark系列（一）Spark1.0.0源码编译及安装

最近想对自己学的东西做些回顾，想到写博客是个不错的方式，方便他人也有利自己，刚开始写不足之处大家多担待。   编译前需要安装JDK1.6以上、scala、Maven、Ant、hadoop2.20 如下图(/etc/profile)：   Spark编译有提供了两种方式： Maven编译：在 /etc/profile文中添加:export MAVEN_OPTS
·2015-11-12 08:18

Spark1.0.0 应用程序部署工具spark-submit

Spark1.0.0的出现，这个问题得到了逐步改善。从Spark1.0.0开始，Spark提供了一个容易上手的应用程序部署工具bin/spark-submit，可以完成S
·2015-11-11 19:02

Spark目录

  Spark1.0.0 应用程序部署工具spark-submit 2.  Spark Streaming的编程模型 3.  使用java api操作HDFS文件 4.
·2015-11-11 13:03

park1.0.0生态圈一览

  转自博客：http://www.tuicool.com/articles/FVBJBjN Spark1.0.0生态圈一览 Spark生态圈，也就是BDAS（伯克利数据分析栈），是伯克利
·2015-11-11 13:28

Spark1.0.0属性配置

1：Spark1.0.0属性配置方式       Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。
·2015-11-11 08:35

Spark1.0.0新特性

        Spark1.0.0 release于2014-05-30日正式公布，标志Spark正式进入1.X的时代。
·2015-10-31 10:42

Spark 属性配置

1：Spark1.0.0属性配置方式   Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。   
m635674608·2015-10-21 00:00

Spark1.0.0 运行架构基本概念

SparkApplication的运行架构由两部分组成：driverprogram（SparkContext）和executor。SparkApplication一般都是在集群中运行，比如SparkStandalone、YARN、mesos，这些集群给SparkApplicaiton提供了计算资源和这些资源管理，这些资源既可以给executor运行，也可以给driverprogram运行。根据Sp
m635674608·2015-10-20 14:00

开源引擎Spark是否言过其实？

去年五月，Apache软件基金会发布了Spark1.0.0版本。大数据供应商格外看好Spark，认为它更快、更有弹性，可以替代MapReduce处理和分析Hadoop数据。
数据分析师·2015-10-03 12:00

spark-compile spark 1.4.1

abstract,sparkcanbecompiledwith:maven,sbt,intelljidealref:Spark1.0.0源码编译和部署包生成  also,ifuwanttoloadspark-projectintoeclipse
leibnitz·2015-09-14 18:00

IDEA开发Spark1应用程序

本篇是Spark1.0.0开发环境快速搭建中关于客户端IDE部分的内容，将具体描述：如何安装scala开发插件如何创建项目和配置项目属性如何编写源代码如何将生成的程序包   至于如何运行程序包，请参见应用程序部署工具
moonpure·2015-07-27 10:00

Spark1.0.0 运行架构基本概念

问题导读：1、SparkApplication的运行架构有哪些组成？2、SparkonYARN的运行过程是什么？前言SparkApplication的运行架构由两部分组成：driverprogram（SparkContext）和executor。SparkApplication一般都是在集群中运行，比如SparkStandalone、YARN、mesos，这些集群给SparkApplicaiton
ichsonx·2015-03-24 10:00

Spark1.0.0 源码编译和部署包生成

本帖最后由xioaxu790于2014-7-1113:42编辑http://blog.csdn.net/book_mmicky/article/details/25714445问题导读：1、如何对Spark1.0.0
javastart·2015-03-23 08:00

Spark1.0.0属性配置

Spark1.0.0属性配置时间 2014-06-0901:34:58mmicky的hadoop、Spark世界相似文章(0)原文 http://blog.csdn.net/book_mmicky/article
javastart·2015-03-17 14:00

Spark 1.0.0企业级开发动手：实战世界上第一个Spark 1.0.0课程，涵盖Spark 1.0.0所有的企业级开发技术

课程介绍  2014年5月30日发布了Spark1.0.0版本，而本课程是世界上第一个Spark1.0.0企业级实践课程，课程包含Spark的架构设计、Spark编程模型、Spark内核框架源码剖析、Spark
wangruoze·2014-12-24 16:00

Spark1.0.0 多语言编程

关于编程的基础知识，可以参看Spark1.0.0编程模型。   spark目前支持scala、python、JAVA编程。    
哭你吃完·2014-11-14 09:00

Redis安装和配置

1：规划本篇为了测试spark+redis应用程序开发而重新编写了，具体的使用环境参见Spark1.0.0开发环境快速搭建。
哭你吃完·2014-11-14 09:00

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群（第三步）（1）

第一步：Spark集群需要的软件； 在1、2讲的从零起步构建好的Hadoop集群的基础上构建Spark集群，我们这里采用2014年5月30日发布的Spark1.0.0版本，也就是Spark的最新版本，要想基于
Spark亚太研究院·2014-09-04 10:00

Spark1.0.0 on YARN 模式部署

1：概述   说SparkonYARN的部署，还不如说是Spark应用程序在YARN环境中的运行。按照Spark应用程序中的driver（SparkContext）分布方式不同，SparkonYARN有两种模式：一种是yarn-client模式，在这种模式下，Sparkdriver在客户机上运行，然后向YARN申请运行exeutor以运行Task。一种是yarn-cluster模式，这种模式下，S
windyrails·2014-08-24 10:00

Spark1.0.0 的监控方式

Spark1.0.0可以通过以下几种方式来对Spark应用程序进行监控： Spark应用程序的WebUI或者Spark Standalone的集群监控 指标，然后通过支持指标收集的集群监控系统
windyrails·2014-08-24 10:00

【互动问答分享】第8期决胜云计算大数据时代Spark亚太研究院公益大讲堂

建议从最低使用的Spark1.0.0版本，Spark在1.0.0开始核心API已经稳定；从功能的角度考虑使用最新版本的Spark1.0.2也是非常好的，Spark1.0.2在Spark1.0.1的基础上做了非常多的改进
Spark亚太研究院·2014-08-21 11:00

Spark源码分析（一）-Standalone启动过程

原创文章，转载请注明：转载自http://www.cnblogs.com/tovin/p/3858065.html为了更深入的了解spark，现开始对spark源码进行分析，本系列文章以spark1.0.0
tovin·2014-07-24 17:00

spark sql on hive初探

当前试用的版本是spark1.0.0,如果要支持hive,必须重新进行编译，编译的命令有所变化 exp
wangxucumt·2014-07-23 10:12

spark sql on hive初探

当前试用的版本是spark1.0.0,如果要支持hive,必须重新进行编译，编译的命令有所变化export MAVEN
wangxucumt·2014-07-23 10:12

Spark1.0.0伪分布安装指南

一、下载须知软件准备：spark-1.0.0-bin-hadoop1.tgz  下载地址：spark1.0.0scala-2.10.4.tgz  下载下载：Scala2.10.4hadoop-1.2.1-bin.tar.gz 下载地址：hadoop-1.2.1-bin.tar.gzjdk-7u60-linux-i586.tar.gz 下载地址：去官网下载就行，这个1.7.x都行二、安装步骤had
江中炼·2014-07-21 18:00

Spark1.0.0伪分布安装指南

一、下载须知软件准备：spark-1.0.0-bin-hadoop1.tgz  下载地址：spark1.0.0scala-2.10.4.tgz  下载下载：Scala2.10.4hadoop-1.2.1-bin.tar.gz 下载地址：hadoop-1.2.1-bin.tar.gzjdk-7u60-linux-i586.tar.gz 下载地址：去官网下载就行，这个1.7.x都行二、安装步骤had
开拓者-2015·2014-07-21 12:00

Spark on Yarn部署

环境：CentOS6.4,8G内存，60G硬盘，Hadoop2.2.0，Spark1.0.0,Scala2.10.31.安装HadoopYarn集群http://blog.csdn.net/zlcd1988
zlcd1988·2014-07-02 18:00

Spark技术内幕：一个图搞定Spark到底有多少行代码

Spark1.0.0发布一个多月了，那么它有多少行代码（LineofCode,LOC）？注：代码统计未包含测试，sample。
anzhsoft2008·2014-06-30 17:00

Shark性能测试

官方网站的说法，Shark在RAM的时候，比Hive快90倍，这个报告看起来很不错，但是在不同的测试环境和不同的优化条件以及不同的用例场景下，结果都是不同的，所以决定测试了一下Shark0.91搭建在Spark1.0.0
u014388509·2014-06-25 15:00

maven 编译 spark1.0.0

spark官方有编译好的代码，但是，本着学习的目的，自己想用maven编译一下首先，下载源码：wgethttp://d3kbcqa49mib13.cloudfront.net/spark-1.0.0.tgz tar-zxfspark-1.0.0.tgz cdspark-1.0.0 编译：由于spark依赖的hadoop版本默认是1.0.4，我们平时用的是hadoop2.2.0的，所以，需要指定一下
baiyangfu·2014-06-20 20:00

Spark1.0.0 编程模型

   SparkApplication可以在集群中并行运行，其关键是抽象出RDD的概念（详见RDD细解），也使得SparkApplication的开发变得简单明了。下图浓缩了Spark的编程模型。    1：Spark应用程序的结构   Spark应用程序可分两部分：driver部分和executor部分初始化SparkContext和主体程序A：driver部分   driver部分主要是对Sp
book_mmicky·2014-06-18 10:00

Spark1.0.0 history server 配置

   在运行Spark应用程序的时候，driver会提供一个webUI给出应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口，也就是说，Spark应用程序运行完后，将无法查看应用程序的历史记录。Sparkhistoryserver就是为了应对这种情况而产生的，通过配置，Spark应用程序在运行完应用程序之后，将应用程序的运行信息写入指定目录，而Sparkhistoryserver可以
book_mmicky·2014-06-17 22:00

Spark1.0.0 的监控方式

   Spark1.0.0可以通过以下几种方式来对Spark应用程序进行监控：Spark应用程序的WebUI或者SparkStandalone的集群监控指标，然后通过支持指标收集的集群监控系统，如ganglia
book_mmicky·2014-06-15 13:00

Spark1.0.0 开发环境快速搭建

   在本系列博客中，为了解析一些概念、解析一些架构、代码测试，搭建了一个实验平台，如下图所示：    本实验平台是在一台物理机上搭建的，物理机的配置是16G内存，4核8线程CPU。平台的环境配置如下： 机器名 配置 角色 软件安装 hadoop1 2G内存，双核 hadoop：NN/DNSpark：Master/worker /app/hadoop/hadoop220/app/hadoop/sp
book_mmicky·2014-06-12 15:00

Spark1.0.0 属性配置

1：Spark1.0.0属性配置方式   Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。   
book_mmicky·2014-06-09 01:00

Spark1.0.0 生态圈一览

   Spark生态圈，也就是BDAS（伯克利数据分析栈），是伯克利APMLab实验室精心打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成，来展现大数据应用的一个平台，其核心引擎就是Spark，其计算基础是弹性分布式数据集，也就是RDD。通过Spark生态圈，AMPLab运用大数据、云计算、通信等各种资源，以及各种灵活的技术方案，对海量不透
book_mmicky·2014-06-08 13:00

spark 1.0 编译支持 hadoop 2.4.0

Spark1.0.0发布。
liema2000·2014-06-08 13:07

spark 1.0 编译支持 hadoop 2.4.0

Spark1.0.0发布。
liema2000·2014-06-08 13:00

Spark1.0.0 新特性

Spark1.0.0带来了各种新的特性，并提供了更好的API支持；Spark1.0.0增加了SparkSQL这一个新的重要组件，用于加载和操作Spark的结构化数据；Spark1.0.0增强了现有的标准库
book_mmicky·2014-06-02 14:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他