spark学习

Spark学习之第一个程序打包、提交任务到集群

1、免秘钥登录配置：ssh-keygencd.sshtouchauthorized_keyscatid_rsa.pub>authorized_keyschmod600authorized_keys2、环境工具2.1环境系统urbuntujdk1.7.0_79scala2.10.4hadoop2.6.0spark1.6.22.2打包工具IDEA+sbt1.2打包工具3.打包3.1安装插件需要预先安装
wangqiang_cyou·2018-02-21 14:58

spark学习之-----spark编程模型

1、Spark编程模型1.1术语定义l应用程序（Application）：基于Spark的用户程序，包含了一个DriverProgram和集群中多个的Executor；l驱动程序（DriverProgram）：运行Application的main()函数并且创建SparkContext，通常用SparkContext代表DriverProgram；l执行单元（Executor）：是为某Applic
后打开撒打发了·2018-01-30 17:21

Spark学习阶段总结

学习Spark一段时间后，实际上是有些困惑的如果说只针对数据操作的话，大部分算子都用过了，学习的成本并不高，因为之前是做Android开发的，所以感觉api方面好少，没有那么多东西需要掌握。但是实际上自己很清楚自己的水平，但是后续如何提升大概有几点想法。1.相关的配置和使用，spark里面有大量的属性配置，好的配置可以提高运行效率。2.spark里要完成同一件事，可以使用不同的算子组合都可以达到，
狂暴棕熊·2018-01-25 15:23

将应用程序提交到spark环境并将结果输出到hdfs

我们在“hadoop学习1--hadoop2.7.3集群环境搭建”“spark学习1--centOS7.2下基于hadoop2.7.3的spark2.0集群环境搭建”中已经将hadoop、spark的集群环境都搭建起来了
夢_殤·2018-01-15 14:21

Spark学习之driver

driver在spark中并不是一个非常重要的概念，但是在学习过程中对于他的理解感觉比其他组件都要费劲，花了几天的功夫终于把Driver弄明白了，希望这篇博客能对刚学习spark的人有点帮助因为driver这个概念的理解与spark的运行模式有关，所以在讲解spark之前会先讲一下spark的四种分布式运行模式spark的四种分布式运行模式如图所示，上方为spark的架构图，spark的组件可以分
很吵请安青争·2018-01-14 20:10

spark学习-76-目标：如何成为大数据Spark高手

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题，具有完善的生态系统，这直接奠定了其一统云计算大数据领域的霸主地位。伴随Spark技术
九师兄-梁川川·2018-01-11 10:41

spark学习-72-源代码：Endpoint模型介绍(4)-Spark为何使用Netty通信框架替代Akka

问题导读：spark如何在1.6.0之后使用Netty替代了Akka？SparkNetworkCommon怎么实现？BlockTransfer与Shuffle之间的联系？Akka实现原理是什么？解决方案：一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点，但是时代和技术都在演化，从Spark1.3.1版本开始，为了解决大块
九师兄·2018-01-05 17:16

spark核心编程

Spark学习笔记Spark架构及组件imageimageclient：客户端进程，负责提交job到masterDriver：运行Application，主要是做一些job的初始化工作，包括job的解析
毛豆val·2017-12-27 18:54

spark学习-68-源代码：driver端接收executor的心跳

driver端接收executor的心跳一直不知道driver端如何接收executor的心跳，看了源代码终于知道了，首先SparkContext中初始化了HeartbeatReceiver，HeartbeatReceiver是运行在driver中从执行器接收心跳…1。看看是怎么初始化的/***rpcEnv是一个抽象类*env.rpcEnv.setupEndpoint实际调用的是NettyRpcE
九师兄-梁川川·2017-12-27 12:13

spark学习-61-源代码：ShutdownHookManager虚拟机关闭钩子管理器

Java程序经常也会遇到进程挂掉的情况，一些状态没有正确的保存下来，这时候就需要在JVM关掉的时候执行一些清理现场的代码。JAVA中的ShutdownHook提供了比较好的方案。JDK提供了Java.Runtime.addShutdownHook(Threadhook)方法，可以注册一个JVM关闭的钩子，这个钩子可以在一下几种场景中被调用：１.程序正常退出２.使用System.exit()３.终端
九师兄-梁川川·2017-12-17 21:46

SparkSQL的前世今生

SparkSQL的前世今生标签（空格分隔）：spark学习HiveSQL早期都是使用hiveSQL,hiveSQL的执行流程：1.语法解析2.生成逻辑计划3.优化4.生成物理计划通过以上流程将hiveSQL
Addroc_Sue·2017-12-09 20:49

数据基础---预处理---spark学习之数据预处理和特征提取

MovieLens数据集介绍MovieLens100k数据集，下载地址：http://files.grouplens.org/datasets/movielens/ml-100k.zipMovieLens数据集保存了用户对电影的评分。基于这个数据集，我们可以测试一些推荐算法、评分预测算法。MovieLens100k该数据集记录了943个用户对1682部电影的共100,000个评分，每个用户至少对2
diggerTT·2017-12-09 13:39

spark学习-55-源代码：SparkSession的的创建

1。首先我们在自己的程序中创建SparkSessionspark=SparkSession.builder().appName("lcc_java_habase_local").master("local[4]").getOrCreate();2。我们看看这一句做了什么/***Createsa[[SparkSession.Builder]]forconstructinga[[SparkSessio
九师兄-梁川川·2017-12-08 14:41

spark学习-52-Spark的org.apache.spark.SparkException: Task not serializable

报错这个一般是org.apache.spark.SparkException:Tasknotserializable17/12/0614:20:10INFOMemoryStore:Blockbroadcast_0_piece0storedasbytesinmemory(estimatedsize28.4KB,free872.6MB)17/12/0614:20:10INFOBlockManagerI
九师兄-梁川川·2017-12-06 21:51

AI2016-什么是AI？

Spark学习&机器学习一种经常引用的英文定义是：Acomputerprogramissaidtolearnfromexp
taoza·2017-12-05 02:21

spark学习-41-Spark的块传输服务BlockTransferService

1.blockTransferService默认为NettyBlockTransferService,它使用Netty法人一步时间驱动的网络应用框架，提供web服务及客户端，获取远程节点上的Block集合。2.块传输服务BlockTransferService是在SparkEvn初始化的时候创建的//=================================.创建块传输服务BlockTra
九师兄-梁川川·2017-11-27 15:53

spark学习-35-Spark的Map任务输出跟踪器MapOutputTracker

1。在sparkEnv的初始化中有这样一段代码来初始化Map任务输出跟踪器MapOutputTrackermapOutputTracker用于跟踪map阶段任务的输出状态，此状态便于reduce阶段任务获取地址以及中间输出结果。每个map任务或者reduce任务都会有唯一的标识。分别为mapId和reduceId.每个reduce任务的输入可能是多个map任务的输出，reduce会到各个map任务
九师兄-梁川川·2017-11-22 14:41

Spark学习笔记(转)

本文章根据《Spark快速大数据分析/LearningSpark:Lightning-fastDataAnakysis》一书整理。这篇文章的主要目标和特点：简要、重点、完成后可用于开发1、Spark是什么Spark是一个用来实现快速而通用的集群计算的平台。其一个主要的特点就是能够在内存中进行计算，因此速度更快。原先需要多种不同的分布式平台的场景，包括批处理、迭代算法、交互式查询、流处理，Spark
Dove饭特稀·2017-11-16 21:17

Spark学习之（二）Spark 集群环境搭建(standalone)

Spark集群环境搭建(standalone)2017年11月5日,星期日19:11接上文hdfs集群搭建，我分别在四个node（一个master.hadoop三个slavenode）上搭建spark集群，这个集群是standalone模式。spark集群安装也需要配置无密码登录，因为我之前安装hadoop时已经安装过了，所以这次就不用在重新配置了。安装步骤下载spark安装包spark-2.2.
木木水夕·2017-11-05 20:00

Spark学习之（一） HDFS 集群环境搭建

HDFS集群环境搭建2017年11月4日,星期六23:21背景：项目中使用spark进行数据分析，数据保存在HDFS中，因此搭建了HDFS和Spark环境，现在记录环境搭建过程。环境：公司环境中是使用的真实的机器，我在家里面也搭建了一套相似的环境，不过这套环境是用VMWare虚拟机（VMware-workstation-full-12.5.7.20721）搭建的。HDFS集群信息系统HostNam
木木水夕·2017-11-05 20:17

Spark Architecture

OReilly.Learning.Spark学习笔记Spark里所有操作都是对RDD来的。
98Future·2017-11-05 13:13

spark学习03之wordCount统计并排序(java)

wordCount就是对一大堆单词进行个数统计，然后排序。从网上找篇英文文章放到本地文档。pom.xml4.0.0com.feiword-count0.0.1-SNAPSHOTUTF-8junitjunit3.8.1testorg.apache.sparkspark-core_2.101.3.0org.apache.maven.pluginsmaven-compiler-plugin2.0.21.
夢_殤·2017-10-27 15:18

spark学习02之app流量统计并排序(JAVA)

转载自龙果学院的视频http://www.roncoo.com/course/view/1af3e9867cb84263a2a1873880205ae1。有这样一份log日志记录了某时间戳下某个设备访问网站时产生的上行流量、下行流量。时间戳/设备号/上行流量/下行流量现在想统计出每个设备号的最早访问时间及总的上行流量、下行流量，最后打印出10个按上行流量、下行流量排序的最多的10个记录。创建个普通
夢_殤·2017-10-26 15:10

从0开始使用Docker搭建Spark集群

最近在学习大数据技术，朋友叫我直接学习Spark，英雄不问出处，菜鸟不问对错，于是我就开始了Spark学习。
Plokmijn·2017-10-15 22:39

Spark2.x学习笔记：5、Spark On YARN模式

Spark学习笔记：5、SparkOnYARN模式有些关于SparkonYARN部署的博客，实际上介绍的是Spark的standalone运行模式。
程裕强·2017-09-06 11:11

Spark学习——spark中的几个概念的理解及参数配置

首先是一张Spark的部署图：节点类型有：1.master节点：常驻master进程，负责管理全部worker节点。2.worker节点：常驻worker进程，负责管理executor并与master节点通信。dirvier：官方解释为：Theprocessrunningthemain()functionoftheapplicationandcreatingtheSparkContext。即理解为
张永清·2017-08-31 19:00

Spark2.x学习笔记：3、 Spark核心概念RDD

Spark学习笔记：3、Spark核心概念RDD3.1RDD概念弹性分布式数据集(ResilientDistributedDatasets,RDD)，可以分三个层次来理解：数据集：故名思议，RDD是数据集合的抽象
程裕强·2017-08-30 16:59

spark学习-18-Spark的Core理解

有一次我要跑一个任务，spark-submit提交的任务，但是它总是处于ACCEPED等待接受的状态，以前遇到这个问题，这个是内存不够引起的Spark学习-SparkSQL–05-SparkSQLCLIApplicationreportforapplication
九师兄-梁川川·2017-08-23 16:35

spark学习-17-Java版SparkSQL程序读取Hbase表注册成表SQL查询

参考：spark学习-SparkSQL–11-scala版写的SparkSQL程序读取Hbase表注册成表SQL查询http://blog.csdn.net/qq_21383435/article/details
九师兄-梁川川·2017-08-22 16:40

spark学习-16-Spark的Map()和FlatMap()函数使用

1。先看图解释：map函数和faltMap（）函数都会像是工厂一样，对你每个元素都做处理map会将每一条输入映射为一个新对象。{苹果，梨子}.map(去皮）={去皮苹果，去皮梨子}其中：“去皮”函数的类型为：A=>B2.flatMap包含两个操作：会将每一个输入对象输入映射为一个新集合，然后把这些新集合连成一个大集合。{苹果，梨子}.flatMap(切碎)={苹果碎片1，苹果碎片2，梨子碎片1，梨
九师兄-梁川川·2017-08-22 11:18

spark学习-Spark Streaming-15-Spark Streaming初次理解

1.SparkStreaming是SparkCoreAPI的扩展，它支持弹性的，高吞吐的，容错的实时数据流的处理。数据可以通过多种数据源获取，例如Kafka，Flume，Kinesis以及TCPsockets，也可以通过例如map，reduce，join，window等的高阶函数组成的复杂算法处理。最终，处理后的数据可以输出到文件系统，数据库以及实时仪表盘中。事实上，你还可以在数据流上使用Spar
九师兄-梁川川·2017-08-22 09:00

spark学习-SparkSQL--14-JavaRDD注册成表然后用SparkSQL查询

1.先看正确的例子packagecom.lcc.spark.rdd.test;importjava.io.Serializable;publicclassPersonimplementsSerializable{/****/privatestaticfinallongserialVersionUID=1L;privateStringid;privateStringname;publicString
九师兄-梁川川·2017-08-20 14:11

spark学习-SparkSQL--11-scala版写的SparkSQL程序读取Hbase表注册成表SQL查询

1.我写了一个程序，读取hbase中的五个表并且做连接查询，在eclise中本地可以直接测试，没有配置文件，直接把hbase和spark的jar包拷贝进去就可以了packagesparlsql.hbase;importorg.apache.hadoop.hbase.client._importorg.apache.hadoop.hbase.io.ImmutableBytesWritableimpo
九师兄-梁川川·2017-08-17 14:54

Spark学习-SparkSQL--06-spark读取HBase数据报异常java.io.NotSerializableException

1.准备工作，安装好HABSE之后，执行Hbaseshellcreate‘表名称’,‘列名称1’,’列名称2’,’列名称N’create‘表名称’,’列族名称’在hbase中列是可以动态添加的，只需要有个列族就可以了create'test_lcc_person','lcc_liezu'然后添加一些数据key相同的是一条数据，一共有6条数据put‘表名称’,‘rowkey（相当于关系数据的ID,必须
九师兄-梁川川·2017-08-15 20:22

spark学习笔记

概述Spark快速通用的集群计算平台扩充了MapReduce的计算模型内存计算包含组件sparkcoresparksqlsparkstreamingmlibGraphX部署方式StandaloneDeployMode:simplestwaytodeploySparkonaprivateclusterApacheMesosHadoopYARN集群模式关键概念Spark应用程序作为独立的进程集合运行在
lycium·2017-08-03 16:56

Spark学习笔记--Linux安装Spark集群详解

本文主要讲解如何在Linux环境下安装Spark集群，安装之前我们需要Linux已经安装了JDK和Scala，因为Spark集群依赖这些。下面就如何安装Spark进行讲解说明。一、安装环境操作系统：RedHatEnterpriseLinux664位(版本号6.6)JDK版本：1.8Scala版本：2.12.2Spark版本：2.2.0172.18.3.135主节点172.18.3.136从节点17
a261505·2017-07-25 16:00

Spark学习笔记-windows环境搭建

下载解压下载地址:http://spark.apache.org/downloads.html环境配置先装好java,scala,HDFS配置SPARK_HOME,Path启动Spark-shell启动时出错：Therootscratchdir:/tmp/hiveonHDFSshouldbewritable.Currentpermissionsare:-------解决方案：D:\hadoop-2
chensi6940·2017-07-16 22:00

Spark学习

RDD的创建方式1）从Hadoop文件系统输入创建，如HDFS，HIVE，HBase；2）从父RDD转换得到新的RDD，如常见的transformation3）通过parallelize或者makeRDD将单机数据转换为RDD4）基于数据流创建，如kafka流；一、从集合创建RDD1、利用parallelize，函数是defparallelize[T](seq:Seq[T],numSlices:I
wei906·2017-07-11 11:04

spark零基础学习路线指导

spark学习一般都具有hadoop基础，所以学习起来更容易多了。如果没有基础，可以参考零基础学习hadoop到上手工作线路指导（初级篇）。
兵工厂三剑客·2017-07-04 13:38

jupyter配置scala和Spark学习环境

jupyter配置scala和Spark学习环境简介：JupyterNotebook（此前被称为IPythonNotebook）是一个交互式笔记本，支持运行40多种编程语言。
堡垒-93·2017-06-15 18:55

Spark学习起步（二）：sparkContext

sparkshell跟sparkcontext调度关系：spark-shell-》spark-submit-》spark-class-》sparksubmit.main-》SparkILoop-》createSparkContextsparkcontext是进行spark应用开发的主要接口，是spark上传应用与底层实现的中转站spark初始化主要：1，sparkEnv2，DAGScheduler
linhao19891124·2017-06-04 17:08

Spark学习—RDD编程

RDD:弹性分布式数据集(ResilientDistributedDataset),是Spark对数据的核心抽象。RDD其实是分布式的元素集合。当Spark对数据操作和转换时，会自动将RDD中的数据分发到集群，并将操作并行化执行。Spark中的RDD是一个不可变的分布式对象集合。每个RDD都倍分为多个分区，这些分区运行在集群中的不同节点。RDD可以包含Python、Java、Scala中任意类型的
IT狗探求·2017-05-09 14:41

spark学习过程中的小记

1、日志打印太多，不方便查看输出：importorg.apache.log4j.{Logger,Level}Logger.getRootLogger.setLevel(Level.WARN)2、SLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/C:/***/.m2/repository/org/s
Code_lr·2017-04-20 21:49

Spark学习——缓存、闭包及共享变量

一、缓存Spark中也有缓存机制，或者说持久化机制。因为RDD的转化都是惰性的，这就意味着在调用action操作之前Spark是不会计算的，Spark会在内部记录所要求的执行步骤的全部流程，构建一个有向无环图（DAG）。同样在把数据读入到RDD的操作也是惰性的。由于这个特性，有时候需要能够多次使用同一个RDD时，如果简单地对RDD调用action操作，Spark每次都会重算RDD和它的所有依赖，这
Wangqyoho·2017-04-17 16:35

spark学习笔记-kafka集群搭建(6)

安装scala2.11.411、将scala-2.11.4.tgz使用WinSCP拷贝到spark1的/usr/local目录下。22、对scala-2.11.4.tgz进行解压缩：tar-zxvfscala-2.11.4.tgz。33、对scala目录进行重命名：mvscala-2.11.4scala44、配置scala相关的环境变量5vi.bashrc6exportSCALA_HOME=/us
aams46841·2017-04-17 00:00

spark学习笔记-hive0.13搭建（4）

安装hive包1、将apache-hive-0.13.1-bin.tar.gz使用WinSCP上传到spark1的/usr/local目录下。2、解压缩hive安装包：tar-zxvfapache-hive-0.13.1-bin.tar.gz。3、重命名hive目录：mvapache-hive-0.13.1-binhive4、配置hive相关的环境变量vi.bashrcexportHIVE_HOM
aams46841·2017-04-17 00:00

Spark学习之RDD常用操作

一些操作对所有类型的RDD都可以使用，而另一些操作只能在特殊的RDD类型使用。例如只有对于元素都是数字的RDD才能计算平均值。在下面的操作都是在RDD上通用的操作。Transformationsmap()Map函数和MapReduce中的map意义相同，即返回一个新RDD，其元素是输入RDD中元素，按照某个规则得到的新元素。输入输出的RDD中包含的元素是一一对应的。例如下例中，将nums中的每个元
LeaderQiu·2017-03-26 11:39

Spark学习之RDD常用操作

一些操作对所有类型的RDD都可以使用，而另一些操作只能在特殊的RDD类型使用。例如只有对于元素都是数字的RDD才能计算平均值。在下面的操作都是在RDD上通用的操作。Transformationsmap() Map函数和MapReduce中的map意义相同，即返回一个新RDD，其元素是输入RDD中元素，按照某个规则得到的新元素。输入输出的RDD中包含的元素是一一对应的。 例如下例中，将nums中的每
LeaderQiu·2017-03-26 11:00

Spark学习-RDD编程基础

1.RDD基础概念Spark上开发的应用程序都是由一个driverprograme构成，这个所谓的驱动程序在Spark集群通过跑main函数来执行各种并行操作。集群上的所有节点进行并行计算需要共同访问一个分区元素的集合，这就是RDD（RDDresilientdistributeddataset）弹性分布式数据集。RDD可以存储在内存或磁盘中，具有一定的容错性，可以在节点宕机重启后恢复。在Spark
yqtaowhu·2017-03-09 22:14

Spark Standalone Mode 单机启动Spark -- 分布式计算系统spark学习(一)

spark是个啥？Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。Spark和Hadoop有什么不同呢?Spark是基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的mapre
fengshunli·2017-02-22 15:59
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他