spark1.6

spark1.6分布式集群环境搭建

1.概述本文是对spark1.6.0分布式集群的安装的一个详细说明，旨在帮助相关人员按照本说明能够快速搭建并使用spark集群。 2.安装环境本安装说明的示例环境部署如下：IP外网IPhostname备注10.47.110.38120.27.153.137iZ237654q6qZMaster、Slaver10.24.35.51114.55.56.190iZ23pd81xqaZSlaver10.45
youdianjinjin·2016-04-01 13:00

tungsten内存分析

MemoryManager在Spark1.6版本中，memoryManager的选择是由spark.memory.useLegacyMode=falsespark.memory.useLegacyMode
duhm·2016-03-25 16:03

Spark Unified Memory Manager分析

针对上述的问题，spark1.6带来了新的内存管理机制，UnifiedMemoryManager。以前的内存
lsshlsw·2016-03-22 13:00

spark 1.6 下parquet vs orc

背景这都是现在大数据下比较火热的两种存储格式，orc和hive的关系可能要密切一点，但spark对parquet寄予了厚望，最近我们在测一个有join场景下的多个dataset的读取情况，这里简单写一下测试的一个结果，测试环境是spark1.6
cjuexuan·2016-03-20 13:56

spark 1.6 下parquet vs orc

背景这都是现在大数据下比较火热的两种存储格式，orc和hive的关系可能要密切一点，但spark对parquet寄予了厚望，最近我们在测一个有join场景下的多个dataset的读取情况，这里简单写一下测试的一个结果，测试环境是spark1.6
cjuexuan·2016-03-20 13:00

Spark SQL系列------2. Spark SQL Aggregate操作的实现

 在Spark1.6上，TungstenAggregateIterator实现了一个分区的Iterator。
u012684933·2016-03-02 18:00

hadoop 2.7.2 和 spark1.6 多节点安装

一共三个节点，在安装完hadoop之后直接安装spark、下载的spark版本是不带hadoop的，注意节点配置Hadoopmulti-nodesInstallationEnvironment:Hadoop2.7.2Ubuntu14.04LTSssh-keygenJavaversion1.8.0Scala2.11.7Servers:Master:192.168.199.80(hadoopmaste
tony_lp·2016-03-01 23:00

Spark 1.6 RPC内幕解密：运行机制、源码详解、Netty与Akka等(DT大数据梦工厂)

RPCEndpoint等源码解析；以前和现在的RPC都是采用Akka，以前和现在的不同就在于RPCEnv，现在就是基于RPCEnv去做RPC通信的==========Spark1.6RPC解析============1、Spark1.6
feiweihy·2016-02-23 13:37

编译spark1.6.0出现 Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.4.0:exec (sparkr-pkg)

spark1.6编译1、下载spark1.6源码2、安装maven3、解压spark1.6 执行exportMAVEN_OPTS="-Xmx2g-XX:MaxPermSize=512M-XX:ReservedCodeCacheSize
wuzhilon88·2016-02-02 18:00

[置顶] SparkR

在Spark1.6以后，SparkR提供了分布式数据框，它支持selection,filtering,aggregation等操作。也支持使用MLlib分布式机器学习。
u012432611·2016-01-17 16:00

spark集群搭建时的一个问题

求大神解惑：spark1.6版本操作hdfs报错：在spark-shell里：valfile=sc.textFile("hdfs://master138:9000/sparktest/README.md
beat_it_·2016-01-14 16:00

spark集群搭建时的一个问题

阅读更多求大神解惑：spark1.6版本操作hdfs报错：在spark-shell里：valfile=sc.textFile("hdfs://master138:9000/sparktest/README.md
beat_it_·2016-01-14 16:00

编译基于Hadoop2.6的Spark1.6源码

...... [INFO]Includingorg.spark-project.spark:unused:jar:1.0.0intheshadedjar. [WARNING]hadoop-yarn-common-2.6.0.jar,hadoop-yarn-api-2.6.0.jardefine3overlappingclasses: [WARNING]-org.apache.hadoop.y
侯上校·2016-01-12 14:00

Spark1.6 DataSets简介

那么Spark1.6带给我们了些什么牛逼的东西呢？额。。。  Spark1.6提供了关于DateSe
超大的雪童子·2016-01-11 21:00

Spark1.6新特性简介及个人的理解

新的Spark1.6版本发布了，之前使用Spark1.4版本的SparkSQL，这次发布后主要关注了1.6版本的SparkSQL特性参阅了官方的ReleaseNote和jiraissuedetail以及之前在使用
zhao_rock·2016-01-11 10:00

Spark 1.6 内存管理模型( Unified Memory Management)分析

2016年1月4号Spark1.6发布。提出了一个新的内存管理模型：UnifiedMemoryManagement。这篇文章会详细分析新的内存管理模型，方便大家做调优。
allwefantasy·2016-01-09 20:00
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他