E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark2
spark源码解析:1、源码下载与导入
https://www.bilibili.com/video/av72037856欢迎点赞1.下载源码下载与服务器上的spark版本相同的源码,地址:https://github.com/apache/
spark2
hlp4207
·
2020-08-16 06:24
spark
大数据项目:新闻日志大数据处理系统
Big-Data-ProjectHadoop2.x、Zookeeper、Flume、Hive、Hbase、Kafka、
Spark2
.x、SparkStreaming、MySQL、Hue、J2EE、websoket
TALKDATA
·
2020-08-16 05:38
大数据学习之路
nginx配置三台tomcat的负载均衡
第一步我准备了三台服务器192.168.32.130spark1192.168.32.131
spark2
192.168.32.132spark3第二步分别在三台服务器上安装了tomat第三步编写一个java
studyhardatEnglish
·
2020-08-16 00:12
nginx
Spark2
.0机器学习系列之2:Logistic回归及Binary分类(二分问题)结果评估
参数设置α:梯度上升算法迭代时候权重更新公式中包含α:http://blog.csdn.net/lu597203933/article/details/38468303为了更好理解α和最大迭代次数的作用,给出Python版的函数计算过程。#梯度上升算法-计算回归系数#每个回归系数初始化为1#重复R次:#计算整个数据集的梯度#使用α*梯度更新回归系数的向量#返回回归系数defgradAscent(d
千寻千梦
·
2020-08-15 07:57
spark
ml
大数据生态系统基础:Apache Spark(二):运行环境和实例演示
Spark2
.2,启动主从服务器Spark可以运行Scala、Python、R、Java语言写的脚本,所以需要安装上各自的开发语言和库文件。
caridle
·
2020-08-15 07:20
大数据
华为云-鲲鹏集群-大数据环境搭建
天府赛区暨四川鲲鹏应用开发者大赛1环境搭建准备本文详细描述了在华为云鲲鹏生态下的BigDataPro解决方案实验手段,涵盖集群搭建及验证,本指导手册所涉及的大数据组件版本如下所示组件版本Hadoop2.8.3
Spark2
.3.0Hive2.3.3Hbase2.1.0
软件手
·
2020-08-15 04:58
大数据配置
Spark2
.0功能测试和日志查看
一、
spark2
.0功能测试1.Spark-shell在spark的sbin使用spark-shell命令开启,使用如下例子测试:scala>valfile=sc.textFile("hdfs://namenode
HappyBearZzz
·
2020-08-14 20:30
大数据
Spark_Spark on YARN 提交配置文件,读取配置文件
SparkONYARN的官方文档,基于
Spark2
.1.1http://spark.apache.org/docs/2.1.1/running-on-yarn.htmlTouseacustomlog4jconfigurationfortheapplicationmasterorexecutors
高达一号
·
2020-08-14 19:50
Spark
SparkOnYarn专题四--cluster模式和client模式资源分配的详解
https://blog.csdn.net/qq_21439395/article/details/80678493交流QQ:824203453hadoop版本:hadoop2.8.0spark版本:
spark2
.2.01
gssgch
·
2020-08-14 18:06
Spark
yarn
spark2.x
SparkOnYarn
Spark集群基于Zookeeper的HA搭建部署笔记
1.环境介绍(1)操作系统RHEL6.2-64(2)两个节点:spark1(192.168.232.147),
spark2
(192.168.232.152)(3)两个节点上都装好了Hadoop2.2集群
panguoyuan
·
2020-08-14 18:39
storm
spark)
Ambari2.5.2 HDP2.6.2 集成hue4.1
//gethue.com/hadoop-hue-3-on-hdp-installation-tutorial/首先集群上安装了ambari和hdp,hdfs和yarn都启动了HA模式,Spark使用的
Spark2
.1.1master1slave1slave2
liuxiangke0210
·
2020-08-14 17:52
hdp
oozie on
spark2
:运行Oozie中自带的Yarn出现问题
运行Oozie中自带的Yarn出现问题:Error:CouldnotloadYARNclasses.ThiscopyofSparkmaynothavebeencompiledwithYARNsupport.Runwith--helpforusagehelpor--verbosefordebugoutputInterceptingSystem.exit(1)FailingOozieLauncher,
Nobi
·
2020-08-14 17:33
oozie
源码编译zepplin踩过的那些坑
install/build.htmlStep1.确定系统环境和需要的各软件版本Centos6.7OraceJDK1.8Hadoop2.6.0-cdh5.10.2hbase1.2.0-cdh5.10.2
spark2
.2.0
走向自由
·
2020-08-14 16:41
zepplin
Spark2
中操作HBase的异常org.apache.hadoop.hbase.HTableDescriptor.addFamily
Spark2
中操作HBase的异常org.apache.hadoop.hbase.HTableDescriptor.addFamily...org.apache.hadoop.hbase.HTableDescriptor.addFamily
Migumigu1316
·
2020-08-14 16:20
HBase
Spark
CDH
spark的三种运行模式以及yarn-client和yarn-cluster在提交命令上的区别
本文针对的是
Spark2
.3.1standalone:线下模式分为standalone-client和standalone-cluster两种模式yarn:线上模式又分为yarn-client(调试模式
Applied Sciences
·
2020-08-14 15:13
Scala与Spark
Spark2
.0-RDD分区原理分析
Spark分区原理分析介绍分区是指如何把RDD分布在spark集群的各个节点的操作。以及一个RDD能够分多少个分区。一个分区是大型分布式数据集的逻辑块。那么思考一下:分区数如何映射到spark的任务数?如何验证?分区和任务如何对应到本地的数据?Spark使用分区来管理数据,这些分区有助于并行化分布式数据处理,并以最少的网络流量在executors之间发送数据。默认情况下,Spark尝试从靠近它的节
一 铭
·
2020-08-14 12:21
spark
深入浅出Spark原理
Spark2
.X的内存管理模型
Spark2
.X的内存管理模型如下图所示:Spark中的内存使用大致包括两种类型:执行和存储。
西贝木土
·
2020-08-14 10:53
Spark
Spark2
.x 快速入门教程 7
SparkStreaming整合Kafka一、实验介绍1.1实验内容Kafka是一个分布式的发布-订阅式的消息系统,可以作为DStream的高级数据源,本部分以单击统计为例介绍SparkStreaming程序从kafka中消费数据,包括两部分(基于KafkaReceiver方式,基于KafkaDirect方式)。1.2先学课程1.2先学课程Hadoop入门进阶课程:https://www.shiy
oxuzhenyi
·
2020-08-14 02:52
实验楼课程
Spark应用提交指南(spark-submit)
关于spark的相关笔记尽力基于
spark2
.x版本(其实在我目前使用的情况下,1.x与2.x内容基本别无二致)。使用2.x的原因是之前在使用1.6时踩过坑,换2.x后完美解决,该坑我会在之后的
市井牛虻
·
2020-08-14 01:19
大数据开发
Spark2
.3.3创建DataFrame的14种方式和源码解析(五)【全网最全】
目录一、需求分析二、数据展示三、无头文件的CSV分析四、有头文件的CSV分析一、需求分析将CSV文件转为DataFrame,其中CSV包括无头文件和有文件。二、数据展示无头文件的CSV1,张飞,21,北京,802,关羽,23,北京,823,赵云,20,上海,884,刘备,26,上海,835,曹操,30,深圳,90.8有头文件的CSVid,name,age,city,score1,张飞,21,北京,
北京小辉
·
2020-08-13 18:29
[解决方案] java.lang.ArrayIndexOutOfBoundsException: 3
spark-dn-bdp-p-037040.hz.td,executor526):java.lang.ArrayIndexOutOfBoundsException:3原始代码报错信息分析过程spark升级到
spark2
.3.2
Sinsa_SI
·
2020-08-13 12:10
Spark2
.4.5集群安装与本地开发
下载官网地址:https://www.apache.org/dyn/closer.lua/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz验证Java是否安装java-verisonJDK下载地址解压安装tar-zxvfjdk-14.0.1_linux-x64_bin.tar.gzmvjdk-14.0.1/usr/local/java验证Scala是否
架构设计之道
·
2020-08-12 16:26
Spark2
.2.1高可用集群搭建
集群规划:主机名IP安装的软件运行的进程win4192.168.2.104jdk1.8、
spark2
.2.1、zookeeper3.4.11Worker、QuorumPeerMainwin5192.168.2.105jdk1.8
谈笑_风生
·
2020-08-12 11:45
Spark SQL, DataFrames and Datasets指南
spark2
.4.4SparkSQL是用于处理结构化数据的Spark模块。不同于基本的SparkRDDAPI,SparkSQL提供的接口为Spark提供了关于数据和正在执行的计算更多的信息。
juhengzhe
·
2020-08-12 11:41
spark
spark2
.3.0 的agg 方法现在限制数量
spark2
.3.0的agg方法现在限制数量,30个可以,60个不可以,记录一下以后agg超过30个之后需要分次处理原代码scalavalintervalCollectArr=df.agg(cols.toArray.head
liuwei063608
·
2020-08-11 21:35
spark
Mac单机Hadoop2.7下安装
Spark2
.2+配置SparkSQL查询Hive表+spark-sql CLI 查询
下面简单记录mac单机spark安装测试的过程已安装好单机的伪分布式Hadoop,见Mac单机Hadoop安装备忘已安装好单机的hive,见Mac-单机Hive安装与测试单机Mac安装spark并做简单yarn模式shell测试配置SparkSQL查询Hivespark-sqlCLI查询Hive一、安装Spark1-下载安装scalahttps://www.scala-lang.org/downl
hjw199089
·
2020-08-11 21:11
[3]Spark
IDEA maven工程运行spark程序出错java.lang.NoClassDefFoundError: scala/Cloneable
记录一下
spark2
.4.3scala2.13.0学习过程中的一些坑在IDEA中创建maven工程,添加scala了插件,进行编写scala版本的WordCount时,运行出现如下错误:Exceptioninthread"main"java.lang.NoClassDefFoundError
Edward_wangz
·
2020-08-11 19:28
大数据学习
Spark 2.4 新特性和PPT
即将发布的Apache
Spark2
.4版本是2.x系列的第五个版本。本文对Apache
Spark2
.4的主要功能和增强功能进行了概述。
beTree_fc
·
2020-08-11 18:31
spark
spark 2.x ML概念与应用
#
spark2
.xML概念与应用@(SPARK)[spark]一基础1核心概念2Transformer3Estimator4Pileline5同一实例6保存模型二基本数据结构一核心概念1本地向量LocalVecotr2
jediael_lu
·
2020-08-11 17:24
1.3.1
SPARK
Robomaster2019自动射击算法视觉小记
Robomaster2019自动射击算法视觉小记ZZU-WG_SPARK功能实现代码流程图像处理ZZU-WG_
SPARK2
019赛季已经结束,很遗憾,我们ZZU还是未能在小组出线。
ZZU_wh
·
2020-08-11 14:06
Spark 读写CSV的常用配置项
Spark2
.0之前,SparkSQL读写CSV格式文件,需要Databricks官方提供的spark-csv库。在
Spark2
.0之后,SparkSQL原生支持读写CSV格式文件。
三 丰
·
2020-08-11 05:16
Spark
spark2
dataframe map报错
在
spark2
中使用dataframe的map操作时候报错:Error:(34,20)UnabletofindencoderfortypestoredinaDataset.Primitivetypes(
暮之雪
·
2020-08-11 05:49
spark
spark
spark流数据处理:Spark Streaming的使用
本文的写作时值Spark1.6.2发布之际,
Spark2
.0预览版也已发布,Spark发展如此迅速,请随时关注SparkStreaming官方文档以了解最新信息。
qq_26091271
·
2020-08-11 05:11
Spark
pyspark源码之SparkConf学习(conf.py)
本系列文章是下载的是
spark2
.2.1版本的源码进行相关分析和学习。
爱数星星的小H
·
2020-08-11 04:08
spark
[spark] Shuffle Write解析 (Sort Based Shuffle)
本文基于
Spark2
.1进行解析前言从
Spark2
.0开始移除了HashBasedShuffle,想要了解可参考Shuffle过程,本文将讲解SortBasedShuffle。
大写的UFO
·
2020-08-11 02:24
spark
spark
shuffle
源码
Spark完全分布式集群搭建
和前面创建时候一样,我们还是用3台机来搭建,一台主机,两台从机,就和hadoop集群搭建时候的步骤一样;分别为每台虚拟机设置主机名:hostnamespark1hostname
spark2
hos
天ヾ道℡酬勤
·
2020-08-11 02:44
spark
spark2
.1源码分析3:spark-rpc如何实现将netty的Channel隐藏在inbox中
classTransportServerbootstrap.childHandler(newChannelInitializer(){@OverrideprotectedvoidinitChannel(SocketChannelch)throwsException{RpcHandlerrpcHandler=appRpcHandler;for(TransportServerBootstrapboot
ggzone
·
2020-08-10 16:48
Spark
spark-rpc
源码
SPARK 2.2.1 不支持的hive的特性
下面是
spark2
.2.1目前不支持的hive的一些特性。这些特性大多数很少在hive部署中应用。1.hive的主要特性方面不支持表分桶操作:桶简单理解就是使用hash值对hive表进行分区。
键盘上行走的猫
·
2020-08-10 06:07
spark大数据架构初学入门基础详解
离线计算SparkSQL交互式查询SparkStreaming实时流式计算SparkMLlib机器学习SparkGraphX图计算c)特点:i.一站式:一个技术堆栈解决大数据领域的计算问题ii.基于内存d)
Spark2
009
星月情缘02
·
2020-08-10 04:28
Spark
Spark2
.0 读写ES数据(scala)——elasticsearch6.5.4
@羲凡——只为了更好的活着
Spark2
.0读写ES数据(scala)——elasticsearch6.5.4特别强调楼主使用
spark2
.3.2版本,elasticsearch6.5.4版本1.准备工作在
羲凡丞相
·
2020-08-10 03:07
ELK
Spark Struct Streaming 写入Hbase 出错 Task not serializable: java.io.NotSerializableException
在使用
spark2
.2d的StructStreaming写入Hbase数据库时报错Tasknotserializable:java.io.NotSerializableException:org.apache.hadoop.hbase.client.HTable
gonefuture
·
2020-08-10 03:58
spark
虚拟机安装
spark2
.2+hadoop2.7.3
安装VisualBox和操作系统官网下载VisualBox安装文件.并安装。ubuntu官网下载最新版本得ubuntu安装文件。visualBox新建64位ubuntu,并启动虚拟机。跟着提示选择ubuntu安装文件,就可以很顺利的装好系统了。一般个人电脑内存在8g以下,所以如果装3台虚拟机,每台最多分1.5g内存了,多了机器也跑不动,所以按照网上的很多文档,装好出现了nodemanager启动失
liuxian_2004
·
2020-08-10 02:40
大数据入门
【spark】七 DataFrame的repartition、partitionBy、coalesce区别
环境:
spark2
…3.1python2.7问题:发现sparkDataFrame.write无论format(“csv”).save(hdfsPath)中是csv、parquet、json,或者使用write.csv
百物易用是苏生
·
2020-08-10 01:34
spark
spark on yarn cluster模式,异常:NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer
InternalKafkaConsumer找不到对应的类解决方法:因为spark对应kafka有版本要求,我们在CDH的spark中搜索kafka然后选择0.10保存之后,然后重启下Spark部署之后,重新执行命令
spark2
阿顾同学
·
2020-08-10 01:50
CDH
spark on yarn cluster模式,出现异常NoSuchMethodError: com.google.common.base.Stopwatch
异常出现调用的命令如下:
spark2
-submit\--masteryarn\--deploy-modecluster\--classcom.bigdata.PreWarningScalaAppV2\-
阿顾同学
·
2020-08-10 01:50
CDH
spark on yarn cluster模式,异常:no suitable driver
网上很多都说要配置–driver-class-path的,又说要把mysql驱动包放到spark默认的classpath下面其实只需要配置–jars,然后设置下driver配置即可然后执行脚本
spark2
阿顾同学
·
2020-08-10 01:50
CDH
CentOS7 + Hadoop3.2.0 +
Spark2
.4.3搭建
搭建准备首先下载Spark安装包,注意如果之前搭建了Hadoop,要选择对应的的版本。我之前搭建的是Hadoop3.2.0伪分布式环境,因此下载spark包的时候,要选择Pre-buildforApacheHadoop2.7andlater.在/usr/local下创建spark文件夹,然后解压我们刚才下载的包。[root@DW1spark]#tar-zxvfspark-2.4.3-bin-had
Chungchinkei
·
2020-08-09 23:29
大数据
spark2
.1.0WordCountCluster
1.在本地创建一个文件spark.txthellotomhellojerryhellokittyhelloworldhellotomhinihaoninihihihellohihihello2.用winscp将spark.txt上传到虚拟机上3.将spark.txt上传到hadoop集群hadoopfs-putspark.txt/spark,txt4.在eclipse上写代码如下packagecn
我要一步一步往上爬丫
·
2020-08-09 23:00
sparkWordcount
spark2.1.0
wordconut
GitHub
Spark-Submit 和 K8S Operation For Spark
1Overview2译文2.2ADeeperLookAtSpark-Submit2.3HowDoesSpark-SubmitWork2.4ALookAtKubernetesOperatorForApache
Spark2
.4HowKubernetesOperatorForSparkWorks3Summary1Overview
runzhliu
·
2020-08-09 22:43
Spark
Kubernetes
Sparkstreaming 消费Kafka写入Elasticsearch
1.版本说明jdk1.8
spark2
.3elasticsearch7.4scala2.11Kafka0.102.pom依赖org.apache.kafkakafka_2.111.0.0org.apache.sparkspark-core
米兰昆德拉的幽默
·
2020-08-09 22:28
上一页
10
11
12
13
14
15
16
17
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他