Sprak

spark开发环境搭建（基于idea 和maven）

导入spark依赖编写sprak代码打包在spark上运行1.scala插件的安装首先在欢迎界面点击Co
DemonHunter211·2023-09-09 15:49

Java-Spark系列1-spark概述

文章目录一.大数据技术栈二.Spark概述2.1MapReduce框架局限性2.2Hadoop生态圈中的各种框架2.3Spark2.3.1Spark的优势2.3.2Spark特点2.3.3SPRAK2新特性一
只是甲·2023-06-16 18:14

PySpark：结构化流

PySpark三：结构化流很多人应该已经听说过spark中的Streaming数据这个概念，这也是sprak的亮点之一。
starry0001·2023-04-06 08:29

PySpark实战一之入门

RDD对象的成员方法进行迭代计算数据输出：最后通过RDD对象的成员方法，完成数据输出，将结果输出到list、元组、字典、文本文件、数据库等2、如何安装PySpark库pipinstallpyspark注：sprak
Younger成·2023-04-03 07:01

Python结合Sprak实现计算曲线与X轴上方的面积

目录思路代码提高计算的效率有n组标本(1,2,3,4),每组由m个(,,...)元素(,)组成(m值不定),.各组样本的分布曲线如下图所示.通过程序近似实现各曲线与oc,cd直线围成的⾯积.思路可以将图像分成若干个梯形，每个梯形的底边长为(Xn+1-Xn-1)，面积为矩形的一半，其面积=(底边长X高)/2，即S=(Xn+1-Xn-1)*（Yn+1+Yn+2），对于整个图形，面积为所有梯形面积之和。
·2023-02-27 18:47

Spark小Demo，连接mongo，并处理密码或者用户名带特殊符号

sprak小demo，用spark连接mongodb，并且处理密码或者用户名带特殊符号的方法importjava.net.URLEncoderimportcom.mongodb.spark.MongoSparkimportcom.mongodb.spark.config.ReadConfigimportorg.apache.spark.sql.SparkSessionimportorg.junit
Alex_81D·2020-09-13 21:46

sprak执行jar包，java.io.IOException: No FileSystem for scheme: g

scala代码实现wordcount，IDEA下执行成功：objectWordCountByScala{defmain(args:Array[String]):Unit={valconf=newSparkConf();conf.setAppName("WordCountSpark")conf.setMaster("local")valsc=newSparkContext(conf);valrdd1
ZJ18712852367·2020-09-12 02:31

Spark 参数说明

Sprak参数有两种设置方式，一种是在代码中直接设置，一种是在提交任务时设置。代码中的优先级高于提交任务。
weixin_33711641·2020-08-22 19:54

Spark-stream基础---sparkStreaming和Kafka整合wordCount单词计数

项目sprak-stream与kafak整合wordCount在IDEA上接收kafka传来的数据，并进行单词统计linux端打开kafka//1.先打开zookeeper（3台）zkServer.shstart
一行数据·2020-08-18 11:10

sprak 序列化相关错误

在提交spark任务的过程中，如果设置了使用kryo进行序列化，即:conf.set("spark.serializer","org.apache.spark.serializer.KryoSerializer")可能会遇到以下异常：com.esotericsoftware.kryo.KryoException:java.lang.UnsupportedOperationExceptionSeri
tpts·2020-08-10 10:47

CentOS8 安装 sprak2.4.5

下载地址http://spark.apache.org/downloads.html下载文件spark-2.4.5-bin-without-hadoop-scala-2.12.tgz。scala版本是2.12的，不带hadoop的，[[email protected]]#bin/spark-shellUsingScalaversion2.12.10(JavaHotSpot(TM)64-Bit
爱多娇·2020-07-14 11:20

RDDs, Spark Memory, and Execution

弹性分布式数据集(RDDs)目的/动机Sprak的实现https://www.usenix.org/system/files/conference/nsdi12/nsdi12-final138.pdf2014ACMDoctoralDissertationAward
BarackHusseinObama·2020-07-01 04:57

Spark学习笔记1

/bin/spark-shell–masterlocal[2]来进行交互式的操作，这是学习sprak
wangmin·2020-04-14 07:55

Spark运行架构

基础概念RDD：弹性分布式数据集（ResilientDistributedDataset）它是分布式内存的抽象概念，可以理解成spark的对象，在spark当中都是对RDD进行读写，计算，是sprak当中的核心
ppmoon·2020-03-04 07:25

单机部署spark环境

最近需要搭建单机版sprak环境，分享一下： 1.首先准备软件包下载地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3
Alex_81D·2019-08-27 14:27

Linux下远程连接Jupyter+pyspark部署教程

本文主要有以下内容：1、python多版本管理利器-pythonbrew2、Jupyternotebooks安装与使用以及远程连接方法3、Jupyter连接pyspark，实现web端sprak开发一、
RayCchou·2019-06-21 14:37

Kafka-2.11-0.11.0.0对接spark streaming序列化问题

Kafka_2.11-0.11.0.0sprak-streaming-kafka-0-10_2.11报错信息如下java.io.NotSerializableException:org.apache.kafka.clients.consumer.ConsumerRecordSerializationstack
Demon_gu·2019-04-04 09:30

Hive的优化历程

对于将数据存储在Hive，进行了以下的优化:1,Hive的引擎目前为止有三种，分别为MR,TEZ,SPRAK.由于公司用的是Hive1.2.1,spark是老版本1.6.2,我查了hiveonspark
Tardis1·2018-03-09 23:26

Sprak Java 推荐算法的思路和实现

推荐算法在org.apache.spark.ml.recommendation或者org.apache.spark.mlib.recommendation下面相比于org.apache.spark.mlib.recommendation面向RDD算子来计算，org.apache.spark.ml.recommendation面向DataFrame来计算，往后spark会逐渐采用dataframe来
Tardis1·2017-12-02 16:41

Sprak学习之RDD五大特性

RDDResillientDistributedDataset即为弹性分布式数据集在spark中有五大特性1：alistofpartiotioner有着partiotioner集合partiotioner是一个具体概念指在一个节点中的连续的空间。一个partiotioner肯定使在一个节点上，但是一个节点上会有着好几个partiotioner.2:afunctionforpartiotioner每
大鼓花·2017-07-16 18:55

spark开发环境搭建（基于idea 和maven）

导入spark依赖编写sprak代码打包在spark上运行1.scala插件的安装首先在欢迎界面点击Co
双斜杠少年·2016-11-22 00:56

大数据工具：Spark配置遇到的坑

启动spark-shell正常启动和使用，但是使用脚本start-all.sh启动所有的服务时遇到问题，抛出Java异常：Unsupportedmajor.minorversion51.0原因分析看了sprak
Utopi_a·2016-08-04 18:43

Spark-Spark Streaming例子整理(三)

解密SparkStreaming另类在线实验二、瞬间理解SparkStreaming本质Spark源码定制，自己动手改进Spark源码，通常在电信、金融、教育、医疗、互联网等领域都有自己不同的业务，如果Sprak
youdianjinjin·2016-05-19 11:00

[置顶] Spark定制版1：通过案例对SparkStreaming透彻理解三板斧之一

解密SparkStreaming另类在线实验二、瞬间理解SparkStreaming本质Spark源码定制，自己动手改进Spark源码，通常在电信、金融、教育、医疗、互联网等领域都有自己不同的业务，如果Sprak
qq_21234493·2016-05-09 20:00

解决flex4 spark 找不到外观错误

  spark组件为了提高性能adobe做了很多努力，同时也给我们带来了很多“麻烦”，sprak与mx组件相比改动却是挺大的。     
neil89·2013-06-15 17:00

Repeater使用简介

     mx组件中的Repeater类似与sprak中的DataGroup,可以根据数据源循环一些组件，例如：一组RadionButton。
yunzhongxia·2012-05-09 19:00

Repeater使用简介

     mx组件中的Repeater类似与sprak中的DataGroup,可以根据数据源循环一些组件，例如：一组RadionButton。
yunzhongxia·2012-05-09 19:00

解决flex4 spark 找不到外观错误

阅读更多spark组件为了提高性能adobe做了很多努力，同时也给我们带来了很多“麻烦”，sprak与mx组件相比改动却是挺大的。
shlei·2012-02-27 14:00

解决flex4 spark 找不到外观错误

     spark组件为了提高性能adobe做了很多努力，同时也给我们带来了很多“麻烦”，sprak与mx组件相比改动却是挺大的。
shlei·2012-02-27 14:00

解决flex4 spark 找不到外观错误

     spark组件为了提高性能adobe做了很多努力，同时也给我们带来了很多“麻烦”，sprak与mx组件相比改动却是挺大的。
yunzhongxia·2011-11-08 14:00

解决flex4 spark 找不到外观错误

     spark组件为了提高性能adobe做了很多努力，同时也给我们带来了很多“麻烦”，sprak与mx组件相比改动却是挺大的。
yunzhongxia·2011-11-08 14:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他