spark学习

Spark学习笔记——1

一、Spark简介1、Spark：完全基于Hadoop的一种计算框架2、计算框架——》适用场景：SparkRDD——》离线批处理SparkCore——》流式计算SparkSQL——》交互式查询（基于Hive）SparkStreaming——》实时流式计算SparkMLlib——》机器学习SparkGraphX——》用于图计算3、Spark用于计算，Hadoop生态系统用于存储（HBase，HDFS
Mr_Effiya·2018-11-21 10:24

Spark学习笔记:数据读取和保存

spark所支持的文件格式1.文本文件在Spark中读写文本文件很容易。当我们将一个文本文件读取为RDD时，输入的每一行都会成为RDD的一个元素。也可以将多个完整的文本文件一次性读取为一个pairRDD，其中键是文件名，值是文件内容。在Scala中读取一个文本文件12valinputFile="file:///home/common/coding/coding/Scala/word-count/t
hellozhxy·2018-11-07 14:51

Spark学习笔记二：Spark.SQL

一、Spark.Sql简介Spark.sql是Spark四大组件之一，是Spark数据处理中用的最多的组件。SparkSQL在SparkCore的基础上对外提供了SQL接口，可以让熟悉SQL的技术人员快速上手。其编程入口为SparkSession。.SparkSQL所有的内容位于pyspark.sql这个模块下，包含了SparkSession、Column、Row等众多的核心内容。SparkSQL
DanyYan·2018-11-06 20:11

Spark学习笔记

文章目录Spark简介Spark的历史spark开发者spark比MR快的原因Spark的四种运行模式开发Spark的语言RDD（弹性分布式数据集）RDD简介RDD五大特性RDD的三种算子Transformation类算子Action类算子控制类算子Spark在集群中的大体运行流程提交Application的两种方式WordCount案例Spark集群搭建Spark简介Spark的历史Spark在
Hellomdk·2018-11-03 17:37

Spark学习笔记------Idea+Scala+Maven项目实例

之前的两篇文章是搭建Spark环境，准备工作做好之后接下来写一个简单的demo，功能是统计本地某个文件中每个单词出现的次数。开发环境为Idea+Maven，开发语言为scala，首先我们要在Idea中下载scala的插件，具体如下：一、Idea开发环境准备1.下载scala插件安装插件之前需确保Idea的JDK已经安装并配置好，然后打开Idea，选择File--->Settings，在新窗口中选择
abc4142·2018-10-31 11:00

Spark学习（一）

SparkSpark简介Lightning-fastunifiedanalyticsengine(快如闪电的统一分析引擎),是一个用于大规模数据处理的统一分析引擎。ApacheSpark是一个快速的,多用途的集群计算系统。它提供了Java,Scala,Python和R的高级API，以及一个支持通用的执行图计算的优化过的引擎.它还支持一组丰富的高级工具,包括使用SQL处理结构化数据处理的SparkS
brz_em·2018-10-29 20:35

Pyspark学习入门二：sort排序学习

接触到spark，才觉得很多东西并不是想象的那么简单的，不过这个并不能影响什么情绪，对于这个平台我还是很愿意多花点时间去学习熟悉一下的，忙里偷闲，找点时间，今天按照官方的API简单实践一下sort排序的内容，这些在我之前的博客里面有多很多讲解，都是借助python来原生态地实现的，这里是想用spark来做一下这个事情，主要包括两种，一种是读取数据文件进而对数据文件中的内容进行排序；另一种是直接输入
Together_CZ·2018-10-19 14:16

Pyspark学习入门一：wordcount实例学习

最近的工作可能要向大数据平台转移了，所以学习当今主流的大数据处理平台Hadoop和Spark显得尤为重要了，经过一番折腾之后终于在本地的PC机上搭建了Spark的环境，平时最多使用的是python，Spark对python提供了Pyspark模块，能够方便地使用Spark，今天抽时间简单实践了一下，编写wordcount的小例子，之后有时间继续学习：#!usr/bin/envpython#enco
Together_CZ·2018-10-17 17:00

Spark学习笔记：Spark Streaming数据存储与调优

目录SparkStreaming数据存储与调优一.缓存与持久化机制二.Checkpoint机制三.部署、升级和监控应用程序1.部署应用程序2.升级应用程序3.监控应用程序4.容错机制以及事务语义详解5.SparkSteraming架构原理6.性能调优SparkStreaming数据存储与调优一.缓存与持久化机制与RDD类似，SparkStreaming也可以让开发人员手动控制，将数据流中的数据持久
SetsunaMeow·2018-09-24 20:03

Windows Eclipse Spark源码maven导入小记

Spark学习需要，为了了解Spark原理在windows端的eclipse导入Spark来看。
farcicalbird·2018-09-24 00:09

Spark学习笔记：Spark Streaming与Spark SQL协同工作

SparkStreaming与SparkSQL协同工作SparkStreaming可以和SparkCore，SparkSQL整合在一起使用，这也是它最强大的一个地方。实例：实时统计搜索次数大于3次的搜索词 packageStreamingDemo importorg.apache.log4j.{Level,Logger} importorg.apache.spark.SparkConf impo
SetsunaMeow·2018-09-19 17:48

spark学习-30-spark2.2.0的SparkContext初始化

Spark源代码该怎么看，那就是看SparkContext类，只要你看懂了SparkContext，就懂得了Spark，因为这个是Spark程序的入口，也是最基础的。１sparkContext的主要构造器参数为SparkConf,实现如下classSparkContext(config:SparkConf)extendsLogging{//ThecallsitewherethisSparkCont
九师兄-梁川川·2018-09-06 15:13

Spark学习笔记：SparkSQL

目录SparkSQL一、什么是SparkSQL？二、SparkSQL的特点DataFrame一、什么是DataFrame？二、创建DataFrame三、使用DSL语句和SQL语句操作DataFrame1、DSL语句2、SQL四、临时视图(TemporaryView)1、什么是视图？2、类型3.创建与使用视图数据集（DataSet）创建和使用DataSetSparkSQL一、什么是SparkSQL？
SetsunaMeow·2018-09-06 09:01

Spark学习笔记：Spark基础

目录Spark基础1.Spark基础入门（1）什么是Spark（2）Spark生态圈（3）Spark的特点与MapReduce对比2.Spark体系结构与安装部署（1）Spark体系结构（2）Spark的安装与部署（3）SparkHA的实现3.执行SparkDemo（1）Spark-submit（2）Spark-shell（3）Spark实现WordCount（4）SparkWordCount的J
SetsunaMeow·2018-09-03 23:57

Spark学习笔记（一）——Spark编程

ApacheSpark是一个分布式计算框架，旨在简化运行于计算机集群上的并行程序的编写。Spark的前辈：MPI、MapReduce特性：迭代式计算、交互式探索、内存缓存计算Spark软件栈SparkCore：任务调度、内存管理、错误恢复、与存储系统交互，弹性分布式数据集（resilientdistributeddataset,RDD）SparkSQL：可与HiveMetastore交互Spark
Shingle_·2018-08-24 20:14

Hadoop概念学习系列之Hadoop、Spark学习路线

本文转载自:https://www.cnblogs.com/zlslch/p/5448857.html不多说，直接上干货！说在前面的话此笔，对于仅对于Hadoop和Spark初中学者。高手请忽略！1Java基础：视频方面：推荐《毕向东JAVA基础视频教程》。学习hadoop不需要过度的深入，java学习到javase，在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化多多理解实践即可
inzaghihalo·2018-08-17 09:17

PySpark学习笔记

在spark2.0中,HiveContext,SQLContext,StreamingContext,SparkContext都被聚合到了spark模块中。另外要注意的一个事情是，读取文件时只能有一个活动进程，否则会报错。点击这里可以查看官方文档。[2020.12.6更新]3.0版本在Python和SQL功能方面带来了重大进展，通过启用自适应查询执行、动态分区裁剪等其他优化措施，相比于Spark2
IE06·2018-08-16 16:55

Spark学习笔记6——数据读取与保存

读写前的准备我用的是ubuntu系统，打开“终端”，进入Shell命令提示符状态，然后，在“/usr/local/spark/mycode”目录下，新建一个wordcount子目录，并在“/usr/local/spark/mycode/wordcount”目录下新建一个包含了一些语句的文本文件word.txt（你可以在文本文件中随意输入一些单词，用空格隔开）。打开“终端”（可以在Linux系统中使
建世伟业·2018-08-15 20:10

Spark学习经验总结

我是用HDP按的Hadoop，Spark集群1.我在服务器上跑的Spark程序，启动脚本如下/usr/hdp/2.4.0.0-169/spark/bin/spark-submit--classcom.lwb.streamingtest.steaming_sql.Spark_Stream_SQL_Test2--masteryarn--files/usr/hdp/2.4.0.0-169/spark/c
其实我是真性情·2018-08-13 17:12

spark学习笔记【一】- 搭建spark开发环境【原创】

阅读更多在去年写完大数据学习笔记（七）-运行spark脚本【原创】之后，由于工作比较忙，且大数据在负责的项目中一时用不上，所以没有继续学习。这一篇是新的开始，主要学习使用spark的进行开发。spark的源码是scala写的，scala是与Java很像的一种语言，也是基于jvm运行的。spark提供了scala和java的开发包，因此可以使用java和scala来开发spark应用。以下介绍开发环
zhenggm·2018-08-07 17:00

spark学习笔记【一】- 搭建spark开发环境【原创】

阅读更多在去年写完大数据学习笔记（七）-运行spark脚本【原创】之后，由于工作比较忙，且大数据在负责的项目中一时用不上，所以没有继续学习。这一篇是新的开始，主要学习使用spark的进行开发。spark的源码是scala写的，scala是与Java很像的一种语言，也是基于jvm运行的。spark提供了scala和java的开发包，因此可以使用java和scala来开发spark应用。以下介绍开发环
zhenggm·2018-08-07 17:00

spark学习笔记【一】- 搭建spark开发环境【原创】

阅读更多在去年写完大数据学习笔记（七）-运行spark脚本【原创】之后，由于工作比较忙，且大数据在负责的项目中一时用不上，所以没有继续学习。这一篇是新的开始，主要学习使用spark的进行开发。spark的源码是scala写的，scala是与Java很像的一种语言，也是基于jvm运行的。spark提供了scala和java的开发包，因此可以使用java和scala来开发spark应用。以下介绍开发环
zhenggm·2018-08-07 17:00

Spark学习（一）：Spark独立应用

Spark是一个用来实现快速而通用的集群计算的平台。包括SparkSql,SparkSteaming,MLlib,GraphX,集群管理器等等。每个Spark应用都有一个驱动器程序来发起集群上的各种并行操作，同时，通过SparkContext对象来访问Spark.创建一个独立的Spark应用，首先初始化SparkContext如下：（java版本）SparkConfconf=newSparkcon
acm160920007·2018-08-02 15:15

spark学习总概

Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题，具有完善的生态系统，这直接奠定了其一统云计算大数据领域的霸主地位；要想成为Spark高手，需要经历一下阶段：第一阶段：熟练地掌握Scala语言1，Spark框架是采用Scala语言编写的，精致而优雅。要想成为Spark高手，你就必须阅读Spark的源代码，就必须掌握Scala,；2，
CaiLaoTou_·2018-07-29 09:48

Spark集群中使用spark-submit提交jar任务包

转载:蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验-cafuc46wingw的专栏-博客频道-CSDN.NEThttp://blog.csdn.net
Yeung先森·2018-07-27 17:18

PySpark学习笔记（7）——数据清洗

在正式建模之前，数据清洗和特征工程是必不可少的准备工作。其中，数据清洗是将杂乱的原始数据规整化的过程，本文主要介绍数据清洗中的一些小技巧：1.正则表达式概述正则表达式是对字符串操作的一种逻辑公式，是事先定义好的一些特定字符及这些特定字符的组合，这个组合可以用来表达对字符串的一种过滤逻辑。在实际数据清洗过程中，如果遇到特别杂乱的脏数据，可以通过多次使用正则表达式来实现无关信息的过滤和有用信息的规整化
飞鸟2010·2018-07-27 16:46

Spark学习笔记2——RDD编程

1.RDD设计背景在实际应用中，存在许多迭代式算法（比如机器学习、图算法等）和交互式数据挖掘工具，这些应用场景的共同之处是，不同计算阶段之间会重用中间结果，即一个阶段的输出结果会作为下一个阶段的输入。但是，目前的MapReduce框架都是把中间结果写入到HDFS中，带来了大量的数据复制、磁盘IO和序列化开销。虽然，类似Pregel等图计算框架也是将结果保存在内存当中，但是，这些框架只能支持一些特定
建世伟业·2018-07-17 23:03

pyspark学习与工作历程

pyspark学习与工作历程pyspark中的dataframe操作sparksql理解：属于架设在sparkcore之上的高级层。
Jack_kun·2018-06-21 13:50

一.spark学习初体验之SparkContext

我是初级菜鸟一枚，写博客也是为了自己复习巩固一下，同时记录一下自己学习spark的过程，希望和大家一起交流成长（希望大家千万别喷我，不然我会丧失继续写下去的勇气的）。首先写一下我个人对spark运行架构原理的理解。首先最重要的一步在driver上构建我们的SparkContext。在这一步主要做了四件事：（1）创建了DAGSchedulerDAG是基于用户的transformation操作和sta
飞半天的鱼儿·2018-06-10 22:52

小白spark学习感悟 AND spark两大版本的比较！！！

（这个时候的我学了spark已经3个月左右的因为还有平时上课所以学的比较零散，有不足的地方希望大家指出来）对于刚刚入spark的小白（metoo）来说我觉得你们很有必要读读这篇介绍，你可能看不懂，你也有可能觉得没什么实在的内容，但是我劝你好好看看，看完之后对你的学习spark2.0应该会有比较的好的帮助，因为市面上的对spark2.0介绍的书记比较少，所以我是队对照着官网的文档来学习，英语不好学起
忘川风华录·2018-06-04 20:09

Spark学习总结（一）

RDD及其特点1、RDD是Spark的核心数据模型，但是个抽象类，全称为ResillientDistributedDataset，即弹性分布式数据集。2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以被并行操作。（分布式数据集）3、RDD通常通过Hadoop上的文件，即HDFS文件或者Hive表，来进行创建；有时
hellozhxy·2018-05-31 14:25

Spark学习了解CORE、RDD等，以及基于Hadoop2.7.5的伪分布式集群搭建Spark2.3的环境部署

环境准备：JDK1.8Hadoop2.7.5(Hadoop伪分布式搭建博客)总结：Spark概述为什么用Spark？spark的几种运行模式spark的数据存储和读取Spark的生态系统（spark属于BDAS生态系统）Spark框架的组成部分SPARKCORESpark生态圈的核心SparkSQL解释RDD解释DAGSpark与MR比较，Spark具有如下优势：Spark运行时的步骤MAPRED
OnTheRoad_Kang·2018-05-20 21:06

【Spark学习笔记】Scheduler模块

spark调度模块详解.png调度流程源码分析Spark作业调度源码跟踪.png第一步：准备工作SparkContext中创建DAGScheduler、TaskScheduler和SchedulerBackend对象//Createandstarttheschedulerval(sched,ts)=SparkContext.createTaskScheduler(this,master,deplo
代码足迹·2018-05-11 14:07

【Spark学习笔记】Scheduler模块

spark调度模块详解.png调度流程源码分析Spark作业调度源码跟踪.png第一步：准备工作SparkContext中创建DAGScheduler、TaskScheduler和SchedulerBackend对象//Createandstarttheschedulerval(sched,ts)=SparkContext.createTaskScheduler(this,master,deplo
代码足迹·2018-05-11 14:07

Spark的介绍：前世今生

spark的前世今生标签（空格分隔）：Spark的部分一：大数据的spark概述二：大数据的spark学习一：大数据的概述1.1Spark是什么？
flyfish225·2018-05-07 10:05

spark学习笔记总结

Spark简介spark可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合。spark核心部分分为RDD。SparkSQL、SparkStreaming、MLlib、GraphX、SparkR等核心组件解决了很多的大数据问题，其
kdy·2018-04-27 11:00

Spark学习笔记之二

Spark学习笔记之二一.RDD的五个基本特征AResilientDistributedDataset(RDD),thebasicabstractioninSpark.Representsanimmutable
LittleLawson·2018-04-15 19:57

PySpark学习笔记（6）——数据处理

在正式建模之前，需要非常了解建模所要用到的数据，本文主要介绍一些常见的数据观测和处理方法。1.数据观测（1）统计数据表中每一列数据的缺失率%pyspark#构造原始数据样例df=spark.createDataFrame([(1,175,72,28,'M',10000),(2,171,70,45,'M',None),(3,172,None,None,None,None),(4,180,78,33,
飞鸟2010·2018-04-11 16:11

spark学习总结第一天

1.启动spark中python版本的shell，进入到spark的bin目录下——./pyspark2.设置spark的日志输出等级，进入spark目录下的conf文件夹，在log4j.properties文件中设置log4j.rootCategory=INFO,console,其中console代表控制台输出。3.关闭spark程序可以用sparkContext.stop()或者直接退出程序。
一身诗意千寻瀑·2018-04-03 23:11

Spark零基础学习路线指导

spark学习一般都具有hadoop基础，所以学习起来更容易多了。如果没有基础，可以参考零基础学习hadoop到上手工作线路指导（初级篇）。
Mr_249·2018-04-01 09:58

PySpark学习笔记（5）——文本特征处理

今天有处理文本特征数据，刚开始因为不太熟悉pyspark环境下处理文本数据的流程，导致踩了不少的坑。在这里记录一下，以供以后参考。先写下整个处理的流程：（1）从数据库中提取数据（2）将提取的数据转换成DataFrame格式（3）使用tokenizer分词（4）将文本向量转换成稀疏表示的数值向量（字符频率向量）（5）将tokenizer得到的分词结果转换数字向量实现代码如下所示：%pysparkfr
飞鸟2010·2018-03-30 18:23

spark学习系列——9 spark共享变量

默认情况下，如果在一个算子的函数中使用到了某个外部的变量，那么这个变量的值会被拷贝到每个task中。此时每个task只能操作自己的那份变量副本。如果多个task想要共享某个变量，那么这种方式是做不到的。Spark为此提供了两种共享变量，一种是BroadcastVariable（广播变量），另一种是Accumulator（累加变量）。BroadcastVariable会将使用到的变量，仅仅为每个节点
FisherWang_CN·2018-03-26 19:38

PySpark学习笔记（4）——MLlib和ML介绍

SparkMLlib是Spark中专门用于处理机器学习任务的库，但在最新的Spark2.0中，大部分机器学习相关的任务已经转移到SparkML包中。两者的区别在于MLlib是基于RDD源数据的，而ML是基于DataFrame的更抽象的概念，可以创建包含从数据清洗到特征工程再到模型训练等一系列机器学习工作。所以，未来在用Spark处理机器学习任务时，将以SparkML为主。SparkML主要包括如下
飞鸟2010·2018-03-23 18:16

spark学习系列——7 操作RDD

具体参见http://spark.apache.org/docs/latest/rdd-programming-guide.html本篇博文主要针对各个算子进行实现，读者可以根据代码注释并参考上方链接进行学习。1、pom.xml文件4.0.0com.wangysspark2018031.0-SNAPSHOT2.1.02.11org.apache.sparkspark-core_${scala.ve
FisherWang_CN·2018-03-21 20:32

spark学习系列——2 WordCount

经典的例子首先上传文件到hdfs，再启动spark-shell，进行计算[bdpos@BJHC-Client-18562spark]$hdfsdfs-mkdir/spark/input[bdpos@BJHC-Client-18562spark]$hdfsdfs-put./README.md/spark/input[bdpos@BJHC-Client-18562spark]$hdfsdfs-ls/s
FisherWang_CN·2018-03-20 19:39

PySpark学习笔记（3）——DataFrame基本操作

DataFrame是一种分布在集群节点中的不可变的分布式数据集，这种数据集是以RDD为基础的，其被组织成指定的列，类似于关系数据库的二维表格和Python中的Pandas.DataFrame。DataFrame本身带有Schema元信息，即DataFrame所表示的二维表数据集的每一列都带有名称和类型。DataFrame的一个主要优点是：Spark引擎一开始就构建了一个逻辑执行计划，而且执行生成的
飞鸟2010·2018-03-15 16:32

PySpark学习笔记（2）——RDD基本操作

RDD（弹性分布式数据集）是一组不可变的JVM对象的分布集，这些对象允许作业非常快速地执行计算，是ApacheSpark的核心。本文主要结合简单的例子介绍下RDD的基本操作。1.创建一个简单的RDD在PySpark中，有两种方式可以创建RDD，一种是用.parallelize()集合（元素list或array）创建RDD，另一种是通过引用位于本地或外部的某个文件（支持.txt、.csv、parqu
飞鸟2010·2018-03-14 16:20

Spark学习笔记:OutOfMemoryError-Direct buffer memory (OOM)

之前也遇到过几次关于OOM(堆外内存溢出)的问题，但都只是大体上看了看，没有细致的总结，目前了解的还不是特别清楚，只好总结一下我觉得可行的处理方案，另外贴一些原理。首先是当时的一些处理方案：第一次OOM：第一次遇到这个问题时，上网查，发现很多人都说要更改运行内存之类的，但本人是个小白，而且这个job是提交到集群上的，也不敢乱改，一般来说都是够的。我的数据量大约是在千万，接近亿级的数据，其中主要的操
小么额菇·2018-03-14 11:44

PySpark学习笔记（1）

最近工作有需要用到PySpark，而自己对这方面还不太熟悉。有鉴于此，很有必要系统性的梳理下PySpark的基本语法和特性，以供以后参考。1.Spark简介ApacheSpark是一个开源、强大的的分布式查询和处理引擎，最初由MateiZaharia在UCBerkeley读博期间开发的[1]。最早的Spark版本于2012年发布，后来被捐赠给ApacheSoftwareFoundation，成为A
飞鸟2010·2018-03-09 10:58

Spark学习-本地模式-2

spark项目打成jar运行需要去掉setMaster("local")因为在参数中会指定。(1)运行在本地模式的spark集群中：./spark-submit--classFirstScala--masterlocal/Users/zfj/sparktesttwo/out/artifacts/sparktesttwo_jar/sparktesttwo.jar(2）运行在远端的spark./spa
一个扑向大数据的pre北漂·2018-02-27 17:39
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他