spark学习

spark学习使用记录

阅读更多之前一直也在用storm与spark进行开发，最近从头梳理了一下，整个的学习使用过程，一点一点记录我是学java的，上手就是javaapi先说一下我对spark-yarn管理的理解，程序是driver，提交到resourcemanage中，申请资源（excutor个数，core个数等等），如果有资源，则允许运行，分配到各个worknode中，一个分区对应一个task，分区与并发有很大关系，
guoke456·2017-01-20 17:00

spark学习使用记录

阅读更多之前一直也在用storm与spark进行开发，最近从头梳理了一下，整个的学习使用过程，一点一点记录我是学java的，上手就是javaapi先说一下我对spark-yarn管理的理解，程序是driver，提交到resourcemanage中，申请资源（excutor个数，core个数等等），如果有资源，则允许运行，分配到各个worknode中，一个分区对应一个task，分区与并发有很大关系，
guoke456·2017-01-20 17:00

spark 学习笔记

Spark学习笔记DataSource->Kafka->SparkStreaming->Parquet->SparkSQL(SparkSQL可以结合ML、GraphX等)->Parquet->其它各种DataMining
哎哟喂喽·2017-01-15 10:51

spark 学习笔记

Spark学习笔记DataSource->Kafka->SparkStreaming->Parquet->SparkSQL(SparkSQL可以结合ML、GraphX等)->Parquet->其它各种DataMining
哎哟喂喽·2017-01-15 10:51

spark学习视频

Spark视频免费下载Spark部署http://pan.baidu.com/s/1bnCpUEz提取码：3npwSpark编程模型http://pan.baidu.com/s/1o6Htm3o提取码：jc64Spark运行架构http://pan.baidu.com/s/1pJC72ob提取码：edgbSparkSQL原理和实践http://pan.baidu.com/s/1bn8ShOV提取码
孙张宾·2016-12-29 18:05

『DT_Spark』Spark定制班第1课：通过案例对Spark Streaming透彻理解三板斧之一：解密Spark Streaming另类实验及Spark Streaming本质解析

SparkStreaming本质解析-andyshar的博客-博客频道-CSDN.NEThttp://blog.csdn.net/andyshar/article/details/51295030从今天起，我们踏上了新的Spark
葡萄喃喃呓语·2016-12-13 11:47

hadoop与spark学习记录（一）

大数据hadoop与spark学习记录（一）大数据初学者，在网上小象学院查看了一个有关《大数据Hadoop与Spark学习经验》的视频，以下为其中的学习笔记。
_飞奔的蜗牛_·2016-12-11 21:13

spark学习1--centOS7.2下基于hadoop2.7.3的spark2.0集群环境搭建

安装步骤如没特殊指明哪台服务器，则说明都是在3台服务器上做同样的操作。1.准备1.1装有centOS7的3台服务器master192.168.174.132node1192.168.174.133node2192.168.174.1341.2搭建hadoop集群环境参考“hadoop学习1--hadoop2.7.3集群环境搭建”1.3准备安装包scala-2.11.8.tgzspark-2.0.0
夢_殤·2016-11-23 17:36

整理系列-20161111-Spark学习周记_5

2016.04.08Note_11引入了高大上的matplotlib，但是一直报错，难过！Export了一下DISPLAY，结果果然是因为ssh！！！决定规避显示的环节！！可视化！！！！初步搞定！！！！！感激涕零！！！！Bug解决了以后，冷静下来发现，其实刚开始解决这个问题的时候，就想过这个规避的方法，也找到了下面第二个参考，但是没有很好的认识，太天真。TclErrorCouldn’tConnec
u012251305·2016-11-12 01:00

整理系列-20161111-Spark学习周记_4

Spark机器学习2016.02.29NeuralNetworksandDeepLearning.MichaelNielsen.2016.02.29尹绪森.Spark与MLlib:当机器学习遇见分布式系统[J].程序员.2014,7.2016.03.08开始看Spark机器学习的部分，然后粗略记录一下一些重点部分，方便之后查阅。训练方法几乎一样，只是模型特定可配置的模型参数不尽相同，MLlib中大
u012251305·2016-11-12 00:00

整理系列-20161111-Spark学习周记_3

2016.02.16复制虚拟机：将图中文件夹内三个框选出来的文件中出现的master全部替换为slave-x，剩余文件名也做相应改动。当然这些都只是为了让文件夹看起来更加整齐而已。然后尝试运用到完全分布模式时，伟大的鸟哥和老魏等：1.鸟哥のlinux.Hadoop集群完全分布式模式环境部署.2016.02.162.weifield.【Hadoop】搭建完全分布式的hadoop.2016.02.17
u012251305·2016-11-11 23:00

整理系列-20161111-Spark学习周记_2

刚才那篇有bug呀，一按删除键／回车键就闪退。我可以上报CSDN技术组吗？估计是遇到EOF了（我猜）。 2016.02.07Eclipse在Linux中的使用：前后台切换：（1）Eclipse&（2）已经在前台执行的程序，可以先ctrl+z，再bg%num（作业编号）（3）Jobs可以知道后台运行的程序，将后台job切换到前台fg%1（即回到前台）安装插件：hadoop2x-eclipse-plu
u012251305·2016-11-11 23:00

spark学习

Application:Application是创建了SparkContext实例对象的Spark用户，包含了Driver程序：Spark-shell是一个应用程序，因为spark-shell在启动的时候创建了一个SparkContext对象，其名称为sc:Job:和action相对应，每一个action例如count、saveAsTextFile等都会对应一个job实例，该job实例包含多任务的
illbehere·2016-11-11 11:00

Spark 学习: spark 原理简述与 shuffle 过程介绍

Spark学习:简述总结Spark是使用scala实现的基于内存计算的大数据开源集群计算环境.提供了java,scala,python,R等语言的调用接口.Spark学习简述总结引言1Hadoop和Spark
databatman·2016-11-03 17:40

Spark 学习: spark 原理简述与 shuffle 过程介绍

Spark学习:简述总结Spark是使用scala实现的基于内存计算的大数据开源集群计算环境.提供了java,scala,python,R等语言的调用接口.Spark学习简述总结引言1Hadoop和Spark
databatman·2016-11-03 17:00

Spark学习(文件读取路径）

在不同的启动模式下，加载文件时的路径写法是不一样的，对于local模式下，默认就是读取本地文件，而在standlone或者yarn-client,或者cluster模式下，默认读的都是hdfs文件系统，这几种模式下很难读取本地文件（这是很显然的事情，但你可以通过指定节点的文件服务曲线救国）。下面的代码在local模式下有效，在其它模式下无效：vartheP1=sc.textFile("file:/
hawksoft·2016-10-05 16:08

Spark学习(SparkSQL连接oralce,MySQL)

Oracle示例：Class.forName("oracle.jdbc.driver.OracleDriver")vartheConf=newSparkConf().setAppName("testRDDMethod").setMaster("local")vartheSC=newSparkContext(theConf)vartheSC2=newSQLContext(theSC)varthe
hawksoft·2016-10-01 19:21

Spark使用总结与分享

相比于python/hive，scala/spark学习门槛较高。尤其记得刚开时，举步维艰，进展十分缓慢。不过谢天谢地，这段苦涩（bi）的日子过去了。
Codlife一王家二公子·2016-09-24 10:18

Spark学习笔记－推荐系统（协同过滤算法为用户推荐播放歌手）

这是Spark高级数据分析的第二个项目，基于用户，歌手，播放次数的简单数据记录，来为用户推荐歌手。（1）获取数据miaofu@miaofu-Virtual-Machine:~/user_artist_data$wgethttp://www.iro.umontreal.ca/~lisa/datasets/profiledata_06-May-2005.tar.gz--2016-09-1214:14:
Richard_More·2016-09-12 17:35

Spark学习－数据关联问题

这篇文章主要记录spark高级数据分析书中，关于记录关联问题的代码的剖析。其全部代码如下：miaofudeMacBook-Pro:codemiaofu$gitclonehttps://github.com/sryza/aas.gitCloninginto'aas'...remote:Countingobjects:2490,done.remote:Compressingobjects:100%(1
Richard_More·2016-09-12 13:06

Spark学习笔记--Spark基础知识

1、RDD表示分布在多个计算节点上的可以并行操作的元素集合，是spark主要的变成抽象。SparkStreaming是Spark提供的对实时数据进行流式计算的组件Spark是一个用于集群计算的通用计算框架，因此被应用于各种各样的应用程序2、从上层来看，每个saprk应用都有一个驱动器程序（driverprogrammer）来发起集群上的各种并行操作。驱动器程序通过一个SparkContext对象来
夜晓楼·2016-09-08 22:56

Spark学习: Spark-Scala-IntelliJ开发环境搭建和编译Jar包流程

使用scala编写spark脚本的话，可以直接在spark-shell中运行，如果要提交整个脚本的话，就必须将scala脚本编译成Jar包，然后通过spark-submit提交Jar包给spark集群，当需要重复利用脚本的话一般是需要编译成Jar包的，所以后面会介绍下怎么将scala编译成Jar包，前面则会介绍下怎么搭建spark-scala的开发环境，同时使用IntelliJIdea编写scal
databatman·2016-08-29 22:17

Spark学习: Spark-Scala-IntelliJ开发环境搭建和编译Jar包流程

      使用scala编写spark脚本的话，可以直接在spark-shell中运行，如果要提交整个脚本的话，就必须将scala脚本编译成Jar包，然后通过spark-submit提交Jar包给spark集群，当需要重复利用脚本的话一般是需要编译成Jar包的，所以后面会介绍下怎么将scala编译成Jar包，前面则会介绍下怎么搭建spark-scala的开发环境，同时使用IntelliJIdea
databatman·2016-08-29 22:00

Spark学习笔记

本文章根据《Spark快速大数据分析/LearningSpark:Lightning-fastDataAnakysis》一书整理。这篇文章的主要目标和特点：简要、重点、完成后可用于开发1、Spark是什么Spark是一个用来实现快速而通用的集群计算的平台。其一个主要的特点就是能够在内存中进行计算，因此速度更快。原先需要多种不同的分布式平台的场景，包括批处理、迭代算法、交互式查询、流处理，Spark
準提童子·2016-08-28 11:35

Spark学习（一）：Spark集群的搭建

Spark集群的安装：安装Spark包1、将spark-1.3.0-bin-hadoop2.4.tgz使用WinSCP上传到/usr/local目录下。2、解压缩spark包：tarzxvfspark-1.3.0-bin-hadoop2.4.tgz。3、更改spark目录名：mvspark-1.3.0-bin-hadoop2.4spark4、设置spark环境变量vi.bashrcexportSP
huochai1989·2016-07-19 22:54

spark学习资料

http://www.cnblogs.com/yoyaprogrammer/p/dive_into_wordcount_1.htmlhttp://blog.csdn.net/oopsoom/article/details/38257749http://jerryshao.me/http://blog.csdn.net/gaoyanjie55/article/details/16870527spar
a1610770854·2016-06-30 12:00

Spark学习——Spark Streaming：大规模流式数据处理

Spark学习——SparkStreaming：大规模流式数据处理转自：http://www.csdn.net/article/2014-01-27/2818282-Spark-Streaming-big-data
sbq63683210·2016-06-07 23:00

Spark学习系列——在虚拟机上搭建 Spark 集群的两种方法

一、概述对于想学习spark集群搭建及应用的人来说，专门买多台物理主机往往成本太高，其实我们只需要利用虚拟机（我用的是VMWare）搭建多台虚拟主机即可。在学习过程中，在网上搜了各种资料，参考了很多优秀的博客，发现在虚拟机上搭建spark集群主要有两种方法。第一种是充分利用VMWare的虚拟机克隆功能，只需要配置好一台主机，直接克隆生成其他主机并修改少量配置即可。第二种与在实际物理主机上部署类似，
Milkics·2016-06-07 21:56

Spark学习——利用Scala语言开发Spark应用程序

Spark学习——利用Scala语言开发Spark应用程序Spark内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。
sbq63683210·2016-06-07 20:00

hadoop、spark学习中常用的linux命令

（设置服务开机启动：chkconfig服务名on值得注意的是，如果这个服务尚未被添加到chkconfig列表中，则现需要使用--add参数将其添加进去：chkconfig--add服务名查询当前所有自动启动的服务，可以输入：chkconfig--list）1、IP查看：ifconfig，若未配置环境变量，则执行：/sbin/ifconfig2、wget下载路径：linux系统下资源下载3、中文乱码
XM_Shawn·2016-06-04 10:14

Spark学习——Job的提交和运行

Spark学习——Job的提交和运行本篇文章主要解决的问题1.Spark实验环境搭建流程2.Spark中job生成和运行的具体步骤3.Spark布置环境中组件构成分成哪几个部分本文以wordCount为例
sbq63683210·2016-06-01 11:00

spark学习13之RDD的partitions数目获取

更多代码请见：https://github.com/xubo245/SparkLearningspark1.5.21解释获取RDD的partitions数目和index信息疑问：为什么纯文本的partitions数目与HDFS的block数目一样，但是.gz的压缩文件的partitions数目却为1？2.代码：sc.textFile("/xubo/GRCH38Sub/GRCH38L12566578
KeepLearningBigData·2016-05-22 16:24

spark学习11之在idea中将eclipse导入的java project改成maven project

方法：项目上右键AddFrameworkSupport，选择maven参考：【1】http://bbs.csdn.net/topics/390764673
bob601450868·2016-05-16 21:00

spark学习10之将spark的AppName设置为自动获取当前类名

每次输入好麻烦，故可以：objectCollaborativeFilteringSpark{valconf=newSparkConf().setMaster("local").setAppName(this.getClass().getSimpleName().filter(!_.equals('$')))//println(this.getClass().getSimpleName().filt
KeepLearningBigData·2016-05-16 20:18

spark学习10之将spark的AppName设置为自动获取当前类名

每次输入好麻烦，故可以：objectCollaborativeFilteringSpark{ valconf=newSparkConf().setMaster("local").setAppName(this.getClass().getSimpleName().filter(!_.equals('$'))) //println(this.getClass().getSimpleName().fi
bob601450868·2016-05-16 20:00

【spark学习】

倾情大奉送--Spark入门实战系列Spark入门实战系列--1.Spark及其生态圈简介（2016年5月12日完）Spark入门实战系列--3.Spark编程模型（上）--编程模型及SparkShell实战（2016年5月12日完）Spark入门实战系列--3.Spark编程模型（下）--IDEA搭建及实战Spark入门实战系列--4.Spark运行架构Spark入门实战系列--5.Hive（上
ncutlh·2016-05-14 09:58

Spark学习资料汇总

以上是楼主自己收集的spark学习的一些资料，希望对大家有所帮助1.书籍LearningSparkMasteringApacheSpark2.网站officialsiteusermailinglistsparkchannelonyoutubesparksummitmeetupsparkthirdpartypackagesdatabricksblogdatabricksdocsdatabrickst
wangxiaotongfan·2016-05-13 14:00

spark学习9之在window下进行源码编译打包

1.配置基本环境：jdk1.7scala-2.10.4maven3.3.9具体请看【2】和系列文章2.编译运行（1）下载：https://github.com/apache/spark（2）编译：D:\1win7\java\spark-1.5.2>setMAVEN_OPTS=-Xmx2g-XX:MaxPermSize=512M-XX:Reserve dCodeCacheSize=512m D:\
bob601450868·2016-05-12 18:00

第1课:通过案例对 spark streaming 透彻理解三板斧之一： spark streaming 另类实验

本期内容:sparkstreaming另类在线实验瞬间理解sparkstreaming本质踏上Spark学习旅途，目标是要像Spark官方机构那样有能力去定制Spark。
kaden·2016-05-09 20:20

Spark学习八：spark streaming与flume和kafka集成

Spark学习八：sparkstreaming与flume和kafka集成标签（空格分隔）：SparkSpark学习八sparkstreaming与flume和kafka集成一Kafka二flume和kafka
youfashion·2016-05-09 00:00

Spark学习七：spark streaming与flume集成

Spark学习七：sparkstreaming与flume集成标签（空格分隔）：Spark一，启动flumeflume-conf.properties文件agent002.sources=sources002
youfashion·2016-05-09 00:00

Spark学习六：spark streaming

Spark学习六：sparkstreaming标签（空格分隔）：SparkSpark学习六sparkstreaming一概述二企业案例分析三Sparkstreaming的工作原理四textFileStreaming
youfashion·2016-05-09 00:00

Spark学习五：spark sql

Spark学习五：sparksql标签（空格分隔）：SparkSpark学习五sparksql一概述二Spark的发展历史三Sparksql和hive对比四sparksql架构五sprksql访问hive
youfashion·2016-05-09 00:00

第97课： 使用Spark Streaming+Spark SQL实现在线动态计算出特定时间窗口下的不同种类商品中的热门商品排名

理论与实战并行，并配以源码支持，乃Spark学习之真正王道
duan_zhihua·2016-05-04 20:00

Spark-Avro学习5之使用AvroReadSpecifyName存储AVRO文件时指定name和namespace

更多Spark学习examples代码请见：https://github.com/xubo245/SparkLearning1.制定avro存储时的name和namespace2.代码：/** *@authorxubo
bob601450868·2016-05-02 11:00

Spark-Avro学习4之使用AvroWritePartitioned存储AVRO文件时进行划分

更多Spark学习examples代码请见：https://github.com/xubo245/SparkLearning1.主要是partition存储avro文件2.代码：/** *@authorxubo
bob601450868·2016-05-02 11:00

Spark-Avro学习3之使用AvroCompression存储AVRO文件

更多Spark学习examples代码请见：https://github.com/xubo245/SparkLearning1.说明：使用不同的压缩level对avro数据进行压缩2.代码：/** *@
bob601450868·2016-05-02 11:00

Spark-Avro学习2之使用byDatabricksSparkAvroL读取AVRO文件

更多Spark学习examples代码请见：https://github.com/xubo245/SparkLearning1.代码：/** *@authorxubo *@time20160502 *refhttps
bob601450868·2016-05-02 11:00

Spark-Avro学习1之使用SparkSQL读取AVRO文件

更多Spark学习examples代码请见：https://github.com/xubo245/SparkLearning1.安装：https://repo.maven.apache.org/maven2
bob601450868·2016-05-02 10:00

Spark定制班第1课：通过案例对Spark Streaming透彻理解三板斧之一：解密Spark Streaming另类实验及Spark Streaming本质解析

从今天起，我们踏上了新的Spark学习旅途。我们的目标是要像Spark官方机构那样有能力去定制Spark。我们最开始将从SparkStreaming入手。
andyshar·2016-05-02 07:57
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他