spark学习

Spark定制班第1课：通过案例对Spark Streaming透彻理解三板斧之一：解密Spark Streaming另类实验及Spark Streaming本质解析

     从今天起，我们踏上了新的Spark学习旅途。我们的目标是要像Spark官方机构那样有能力去定制Spark。     我们最开始将从SparkStreaming入手。     
andyshar·2016-05-02 07:00

Spark学习四：网站日志分析案例

Spark学习四：网站日志分析案例标签（空格分隔）：SparkSpark学习四网站日志分析案例一创建maven工程二创建模板三日志分析案例一，创建maven工程1，执行maven命令创建工程mvnarchetype
youfashion·2016-05-01 00:00

Spark学习三：Spark Schedule以及idea的安装和导入源码

Spark学习三：SparkSchedule以及idea的安装和导入源码标签（空格分隔）：SparkSpark学习三SparkSchedule以及idea的安装和导入源码一RDD操作过程中的数据位置二SparkSchedule
youfashion·2016-05-01 00:00

『 Spark 』5. 这些年，你不能错过的 spark 学习资源

原文链接：『Spark』5.这些年，你不能错过的spark学习资源写在前面本系列是综合了自己在学习spark过程中的理解记录＋对参考文章中的一些理解＋个人实践spark过程中的一些心得而来。
litaotao·2016-04-27 21:17

Spark中组件Mllib的学习2之MovieLensALS学习（集群run-eaxmples运行）

更多Spark学习examples代码请见：https://github.com/xubo245/SparkLearning1.将spark下的data文件夹上传到hdfs目录2.运行：hadoop@Master
bob601450868·2016-04-27 20:00

『 Spark 』5. 这些年，你不能错过的 spark 学习资源

原文链接：『Spark』5.这些年，你不能错过的spark学习资源写在前面本系列是综合了自己在学习spark过程中的理解记录＋对参考文章中的一些理解＋个人实践spark过程中的一些心得而来。
aaron·2016-04-27 00:00

spark学习笔记

spark定义spark是今年来发展较快的分布式并行数据处理框架，和hadoop联合使用，增强hadoop性能，增加内存缓存，流数据处理，图数据处理等更为高级的数据处理能力，mapreduce是属于hadoop生态体系之一，spark属于bdas生态体系之一，hadoop包含mapreducehdfshbasehivezookeeperpigsgoop等hdas包含sparkshark相当于hiv
小飞侠-2·2016-04-19 11:00

Spark学习二

Spark学习二标签（空格分隔）：SparkSpark学习二一RDD一，RDD[[email protected]]$sbin/start-master.sh
youfashion·2016-04-16 00:00

Spark学习一

Spark学习一标签（空格分隔）：SparkSpark学习一一概述二spark的安装三spark的初步使用四spark的standalone模式的配置一，概述列表项和mapreduce计算的比较whatissparkApacheSpark
youfashion·2016-04-16 00:00

spark学习系列1

spark-sql的运行速度是hive的10到100倍，spark的前身是shark，是来自伯克利实验室。http://www.csdn.net/article/1970-01-01/2824369http://www.csdn.net/article/2015-06-25/2825056
u013676711·2016-04-14 18:00

Spark学习

Spark运行原理自我理解：（1）      首先程序有RDDObjects分解为DAG有向无环图（2）      提交DAGScheduler，根据shuffer将DAG分解为一组taskset，即stages（3）      Taskset提交TaskScheduler，每个taskset在分解为多个task，即一个task就是一个split分区（4）      Task就运行在worker上
purisuit_knowledge·2016-04-14 18:00

Spark简介

HadoopSpark学习小结[2014版]HadoopHadoop社区依然发展迅速，2014年推出了2.3，2.4,2.5的社区版本，比如增强ResourceManagerHA,YARNRestAPI
光于前裕于后·2016-04-03 14:47

Spark简介

HadoopSpark学习小结[2014版]HadoopHadoop社区依然发展迅速，2014年推出了2.3，2.4,2.5的社区版本，比如增强ResourceManagerHA,YARNRestAPI
Dr_Guo·2016-04-03 14:00

在spark中操作mysql数据 ---- spark学习之七

在spark中操作mysql数据----spark学习之七使用spark的DataFrame来操作mysql数据。
javastart·2016-03-31 10:09

spark学习7之IDEA下搭建Spark本地编译环境并上传到集群运行

更多代码请见：https://github.com/xubo245/SparkLearningIDEA下搭建Spark本地编译环境并上传到集群运行环境：本地：window764+idea15.0.4+scala2.10.5集群：ubuntu+spark1.5.21.安装scala2.10.5，需要配置环境变量，还需要安装jdk1.7，同样要环境变量，很多教材，不细讲2.本地安装idea15.0.4
KeepLearningBigData·2016-03-03 17:02

spark学习心得

spark学习，官网阅读完之后，练习官方给出的例子之后，就是阅读源码了， 学习spark，了解spark应用后，就是阅读源码了，阅读源码并不难，编译器打开就能知道，而要知道源码设计思路，为什么这么设计，
you啃up·2016-02-15 16:54

Spark学习笔记8-在eclipse里用Java编写spark程序

程序实现笔记7一样的内容，做一个README.md文件的单词计数，并打印出来，这次只做单机下运行，集群模式可以参考Spark学习笔记7的内容完成。
xummgg·2016-02-13 14:00

Spark学习笔记7-在eclipse里用scala编写spark程序（单机和集群运行）

1.下载eclipse我下载的是带scalaSDK的eclipse，下载地址如下：http://scala-ide.org/download/sdk.html我的要放在ubuntu下写程序，所以下载linux64位的。下载完成后自行解压。2.单机下运行WordCount程序我要测试运行的是单词计数的程序。采用的文件来自/Users/xxm/Documents/soft/spark-1.5.2-bi
xummgg·2016-02-11 21:00

Spark学习笔记6-Spark分布式搭建（5）——ubuntu下Spark分布式搭建

0.前言我要搭建的集群是一台Master和3台Worker。先按照前面博客内容配置好。Spark分布式搭建（1）——ubuntu14.04设置root自动登入http://blog.csdn.net/xummgg/article/details/50630583Spark分布式搭建（2）——ubuntu14.04下修改hostname和hostshttp://blog.csdn.net/xummg
XianMing的博客·2016-02-07 00:58

Spark学习笔记6-Spark分布式搭建（5）——ubuntu下Spark分布式搭建

0.前言我要搭建的集群是一台Master和3台Worker。先按照前面博客内容配置好。Spark分布式搭建（1）——ubuntu14.04设置root自动登入http://blog.csdn.net/xummgg/article/details/50630583Spark分布式搭建（2）——ubuntu14.04下修改hostname和hostshttp://blog.csdn.net/xummg
xummgg·2016-02-07 00:00

Spark学习笔记5-隐式转换，隐式参数，隐式类

1.隐式转换，隐式参数，隐式类scala中隐式转换，隐式参数，隐式类用到的标志符是implicit。1.1隐式转换scala>classPerson(valname:String) definedclassPerson scala>classEngineer(valname:String,valsalary:Double){ |defcode=println("Coding..."+name+"
xummgg·2016-02-02 18:00

大数据Spark学习：Scala基础第一课

计划：阶段1：精通Spark内核阶段2：精通千万级的项目阶段3：机器学习JAVA本身不是伟大的语言，伟大的是JVM，构件分布式平台什么的，依赖的是JVM，不一定要JAVA语言可认为Scala是JAVA的升级语言，JAVA是支持面向对象的语言，而非纯面向对象的语言。Scala是一切皆对象，是纯面向对象语言。面向对象结合函数式编程。不可变变量声明valresult=10+2 不可再次赋值，分布式数据的
feiweihy·2016-01-29 20:58

DT_大数据梦工厂 第17课 RDD实战

今晚上课内容：1map、filter、flatmap操作回顾2reduceByKey、groupByKey3join、cogroupjoin和cogroup是所有Spark学习者必须掌握的内容。
chinsun_1·2016-01-22 23:57

DT_大数据梦工厂 第17课 RDD实战

今晚上课内容：1map、filter、flatmap操作回顾2reduceByKey、groupByKey3join、cogroup join和cogroup是所有Spark学习者必须掌握的内容。
chinsun_1·2016-01-22 23:00

Spark学习脑图

百度脑图链接：http://naotu.baidu.com/file/8422ab7285ff03bb649894072153e133?token=da10b5dd055f1e3a
rathan0·2016-01-15 20:00

SPARK学习之 --- eclipse / sbt / scala 配置

工作以及兴趣所致，开始了spark学习之旅，浏览网上大牛们的博客文章，并且结合官网docs，刚开始云里雾里，现在也能雾里看到点花了。
莫问viva·2016-01-12 20:00

机器学习（三）--- spark学习笔记

  Scala是一门多范式的编程语言，一种类似java的编程语言，设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。  Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Sp
china1000·2016-01-04 00:00

在spark中操作mysql数据 ---- spark学习之七

使用spark的DataFrame来操作mysql数据。DataFrame是比RDD更高一个级别的抽象，可以应用SQL语句进行操作，详细参考：https://spark.apache.org/docs/latest/sql-programming-guide.html 这里暂时使用spark-shell进行操作，1.首先，必须要先下载一个mysql的jdbc的驱动可以从这里下载2.然后呢，就好办了
GZ.Jackey·2015-12-15 14:00

Spark学习之路---Spark核心概念

Spark核心概念简介        一个Spark应用都由驱动器程序发起集群上的各种并发操作，一个驱动器程序一般包含多个执行器节点，驱动器程序通过一个SaprkContext对象访问saprk。RDD(弹性分布式数据集)----分布式的元素集合，RDD支持两种操作：转化操作、行动操作，如map、reduce函数。
AIDevROS·2015-12-05 14:29

http://blog.csdn.net/wankunde/article/details/41675079/Spark 学习入门教程

Spark学习入门教程一、环境准备测试环境使用的cdh提供的quickstartvmhadoop版本：2.5.0-cdh5.2.0spark版本：1.1.0二、HelloSpark将/usr/lib/spark
qq_24729325·2015-12-03 23:00

如何在spark中读写cassandra数据 ---- 分布式计算框架spark学习之六

 由于预处理的数据都存储在cassandra里面,所以想要用spark进行数据分析的话，需要读取cassandra数据，并把分析结果也一并存回到cassandra；因此需要研究一下spark如何读写cassandra。话说这个单词敲起来好累，说是spark，其实就是看你开发语言是否有对应的driver了。因为cassandra是datastax主打的，所以该公司也提供了spark的对应的drive
GZ.Jackey·2015-11-26 12:00

Apache Spark学习：利用Eclipse构建Spark集成开发环境

前一篇文章“ApacheSpark学习：将Spark部署到Hadoop2.2.0上”介绍了如何使用Maven编译生成可直接运行在Hadoop2.2.0上的Sparkjar包，而本文则在此基础上，介绍如何利用
GarfieldEr007·2015-11-25 15:00

Spark学习（三）---Spark Standalone Mode说明及参数配置详解

启动集群–启动standalone模式下masterserver（启动完毕后可以通过http://master:8080来看你对应的spark-url，其中master对应你机器的hostname）./sbin/start-master.sh–启动oneormoreworks并且将他们连接到master./sbin/start-slaves.sh–全部启动./sbin/start-all.sh以上
ASIA_kobe·2015-11-20 15:00

Spark学习（二）---kafka+SparkStreaming的搭建与连接

环境说明：三台机器（Centos6.5）：Master192.168.203.148Slave1192.168.203.149Slave2192.168.203.150第一步：环境spark环境配置：spark安装很简单，可以参考网上教程，说下spark的配置：主要是${SPARK_HOME}/conf/slaves中配置如下：MasterSlave1Slave2${SPARK_HOME}/con
ASIA_kobe·2015-11-19 21:31

Spark学习（二）---kafka+SparkStreaming的搭建与连接

环境说明：三台机器（Centos6.5）：Master192.168.203.148Slave1192.168.203.149Slave2192.168.203.150第一步：环境spark环境配置：spark安装很简单，可以参考网上教程，说下spark的配置：主要是${SPARK_HOME}/conf/slaves中配置如下：Master Slave1 Slave2 ${SPARK_HOME}/
ASIA_kobe·2015-11-19 21:00

Spark学习--spark-shell使用

Spark-shell使用配置好Spark集群，测试Sparkwordcount程序，可以通过基本的Spark-shell来进行交互式的代码提交，比如：valtextFile=sc.textFile("words/test.txt")valresult=textFile.flatMap(line=>line.split("\\s+")).map(word=>(word,1)).reduceByKe
ASIA_kobe·2015-11-18 21:00

Apache Spark学习：利用Eclipse构建Spark集成开发环境

转自：http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/（1）准备工作在正式介绍之前，先要以下软硬件准备：软件准备：EclipseJuno版本（4.2版本），可以直接点击这里下载：Eclipse4.2Scala2.9.3版本，Window安装程序可以直接点击这里下载：Scala2.9.3EclipseScalaIDE插件，可直接点
ASIA_kobe·2015-11-16 20:00

Spark学习

基于Spark On Yarn的淘宝数据挖掘平台：http://www.doc88.com/p-7804379529208.html Spark之MLLib机器学习库：http://blog.csdn.net/johnny_lee/article/details/25656343 Spark之ALS（推荐系统）学习文档：http://spark.apache.org/docs/0.9.0/ap
·2015-11-13 07:40

Spark学习体系

底理解Spark，能够分为以下几个层次。 1 Spark基础篇 1.1 Spark生态和安装部署 在安装过程中，理解其基本操作步骤。 安装部署 Spark安装简单介绍 Spark的源代码编译 Spark Standalone安装 Spark Standalone HA安装 Spark应用程序部署工具spark-submit Spark生态
·2015-11-12 20:18

Spark学习体会

记得在去年图计算工作中，和公司里实习的博士生尝试过Spark后，发现Spark比Hadoop在计算速度上有很大的提高。Spark的计算使用Scala语言编写代码，其中图计算用到了GraphX。对Spark技术的学习已经非常重要。最近半年多时间里，经常看书学习，特别是看Spark亚太研究院王家林老师的Spark技术视频，觉得受益很多。国家已经把大数据放到了战略的高度，从事互联网技术的你是否也该在大数
andyshar·2015-11-12 07:00

【Spark学习】Apache Spark安全机制

Spark版本：1.1.1 本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接： http://www.cnblogs.com/zhangningbo/p/4135808.html   目录 Web UI 事件日志 网络安全（配置端口） 仅适用于Standalone模式的端口 适用于所有集群管理器的通用端口   &nb
·2015-11-11 17:30

【Spark学习】Apache Spark调优

Spark版本：1.1.0 本文系以开源中国社区的译文为基础，结合官方文档翻译修订而来，转载请注明以下链接： http://www.cnblogs.com/zhangningbo/p/4117981.html http://www.oschina.net/translate/spark-tuning     目录 数据序列化 内存优化 确定
·2015-11-11 17:29

【Spark学习】Spark 1.1.0 with CDH5.2 安装部署

【时间】2014年11月18日 【平台】Centos 6.5 【工具】scp 【软件】jdk-7u67-linux-x64.rpm 　　　　spark-worker-1.1.0+cdh5.2.0+56-1.cdh5.2.0.p0.35.el6.noarch.rpm　　　　spark-core-1.1.0+cdh5.2.0+56-1.cdh5.2.0.p0.35.el6.noarch.rpm
·2015-11-11 17:27

【Spark学习】Apache Spark项目简介

引言：本文直接翻译自Spark官方网站首页   Lightning-fast cluster computing 从Spark官方网站给出的标题可以看出：Spark——像闪电一样快的集群计算     Apache Spark™ 是一个应用于大规模数据处理的快速且通用的引擎。     速度 Spark在内存中运行程序的速度比H
·2015-11-11 17:27

【Spark学习】Apache Spark配置

Spark版本：1.1.1 本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接： http://www.cnblogs.com/zhangningbo/p/4137969.html      Spark配置     Spark属性 动态加载Spark属性 查看Spark属性 可用属性 大部分用于控制内部设置的属性都
·2015-11-11 12:26

【Spark学习】Apache Spark集群硬件配置要求

Spark版本：1.1.1 本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接： http://www.cnblogs.com/zhangningbo/p/4135912.html    目录   存储系统 本地磁盘 内存 网络 CPU核数        &nbs
·2015-11-11 12:26

【Spark学习】Apache Spark作业调度机制

Spark版本：1.1.1 本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接： http://www.cnblogs.com/zhangningbo/p/4135905.html     目录 概述 不同应用程序间的资源调度 同一应用程序内的资源调度 Fair调度池 调度池的默认行为 调度池的属性配置  
·2015-11-11 12:25

让spark运行在mesos上 -- 分布式计算系统spark学习(五)

mesos集群部署参见上篇。 运行在mesos上面和sparkstandalone模式的区别是：1）standalone需要自己启动sparkmaster需要自己启动sparkslaver（即工作的worker）2）运行在mesos启动mesosmaster启动mesosslaver启动spark的 ./sbin/start-mesos-dispatcher.sh-mmesos://127.0.0
GZ.Jackey·2015-11-05 16:00

spark学习帖子

http://blog.csdn.net/hguisu/article/details/8454368
江湖594·2015-11-05 00:00

Spark学习笔记之初识

1spark官网http://spark.apache.org/2学习版本为1.5.0Spark架构，官方文档解读Sparkapplicationsrunasindependentsetsofprocessesonacluster,coordinatedbytheSparkContextobjectinyourmainprogram(calledthedriverprogram).跟其他分布式系统
xuxiuning·2015-11-01 15:00
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他