spark-shell

一文带你弄懂Livy——基于Apache Spark的REST服务

背景ApacheSpark作为当前最为流行的开源大数据计算框架，广泛应用于数据处理和分析应用，它提供了两种方式来处理数据：一是交互式处理，比如用户使用spark-shell或是pyspark脚本启动Spark
丨程序之道丨·2020-01-07 11:34

【2018-04-10】【2.1.1】spark sql操作mysql和hdfs

spark2.X与1.x的区别sparksql2.x以上版本和1.x版本有个很大的区别：spark1.x的sqlContext在spark2.0中被整合到sparkSession，故而利用spark-shell
jackLee·2020-01-07 04:45

大数据高可用集群环境安装与配置（10）——安装Kafka高可用集群

1.获取安装包下载链接访问https://kafka.apache.org/downloads找到kafka对应版本需要与服务器安装的scala版本一致（运行spark-shell可以看到当前安装的scala
AllEmpty·2019-12-28 21:00

parquet

https://www.cnblogs.com/rxingyue/p/7113235.html进入spark-shell需要能访问spark的Linux账号,如果没有获取到sc,spark等变量,可以先切换账号
焉知非鱼·2019-12-27 13:18

【异常】Spark UI界面异常、CRT不能退格/删除、不能查看DAG图、Windows系统下运行程序出错

目录一、IDEA运行Spark项目UI界面图片展示异常二、解决spark-shell中不能输入退格/删除，设置CRT三、解决Spark的webUI不能查看DAG图四、Windows系统下运行hadoop
lemon胡·2019-12-25 14:00

Spark-Core源码精读(3)、spark-shell(spark-submit)流程详解

本文将解读使用spark-shell的方式进入REPL的具体流程。注：本专题的文章皆使用Spark-1.6.3版本的源码为参考，如果Spark-2.1.0版本有重大改进的地方也会进行说明。
sun4lower·2019-12-20 09:12

1小时快速搭建高可用集群（High Availability）

flowToken=1002412本次课程你将学到：最新Spark2.3.1版本，搭建高可用集群（HighAvailability）（1）HA集群原理（2）HA集群搭建步骤（3）Spark-shell测试
A尚学堂Nancy老师·2019-12-14 08:51

【转】董西成问答整理第二课

一、spark-shell在namenode的stand-by节点执行会报sparkContext出错，然后到active的namenode的机器起spark-shell就可以了。
来往穿梭·2019-12-01 20:42

运行第一个SparkStreaming程序（及过程中问题解决）

官方示例说明按照官方文档的这个示例说明，可以轻松的在本地的spark-shell环境中测试这个示例。示例，即为了更好的入门，那么就再说明一下。
杜龙少·2019-11-30 03:10

使用 SBT 构建 Spark Application

在Spark分布式计算框架之环境搭建这篇文章中，我们已经成功的搭建起了Spark的运行环境，并且在spark-shell中做了一些小尝试，计算了一个文本文件中每一行的平均长度。但是，这怎么能满足你呢。
kviccn·2019-11-29 21:50

运行spark-shell 报 ip绑定失败

14/11/1320:19:07ERRORRemoting:Remotingerror:[Startupfailed][akka.remote.RemoteTransportException:Startupfailedatakka.remote.Remoting.akka$remote$Remoting$$notifyError(Remoting.scala:129)atakka.remote.
杜龙少·2019-11-29 19:14

Spark 2.4.4在CentOS 7.6开启运行单机版，并Java客户端连接单机版-成功版（二）

大家运行spark-shell并不是Spark真正运行，需要运行spark-all.sh，在运行之前，还要运行下面几个步骤：配置Spark进入${SPARK_HOME}/conf目录查看拷贝spark-env.sh.template
我还要去追逐我的梦·2019-10-15 15:34

[spark 之webUi的入门知识-1]

1、spark-shell与spark-submit的区别：就spark提交程序来说，最终都是通过spark-submit命令来实现的，不同的是spark-shell在运行时，会先进行一些初始参数的设置
我去图书馆了·2019-10-05 10:09

Spark-shell批量命令执行脚本

#!/bin/bashsource/etc/profileexec$SPARK_HOME/bin/spark-shell--queuetv--namespark-sql-test--executor-cores8--executor-memory8g--num-executors8--confspark.cleaner.ttl=240000<
达微·2019-09-29 20:23

shell上启动spark

exportlocalroot=/放想带上去的jar包、配置的根目录启动spark（可自己配相应参数）：spark-shell\--name"content_baidunlp"\--masteryarn-client
Code_LT·2019-09-16 19:29

shell上启动spark

exportlocalroot=/放想带上去的jar包、配置的根目录启动spark（可自己配相应参数）：spark-shell\--name"content_baidunlp"\--masteryarn-client
Code_LT·2019-09-16 19:29

Spark-RDD操作（26个常用函数附实例）

/bin/spark-shell（2）创建RDDvalrdd=sc.parallelize(Array(1,2,3,4,5,6,8))或者valrdd1=sc.makeRDD(Array(1,2,3,4,5,6,8
王怀宇·2019-09-06 16:00

spark-shell如何粘贴换行代码

前言平时经常性的有一些临时统计数据需求，用hive虽然很方便，但是等待时间有点长，spark-shell成为了我常用的一种方式，不过，一般我都是在IDEA把代码写好，然后复制到spark-shell上面
SunnyRivers·2019-09-03 14:10

Spark-03 scala

c.事先准备下面进入spark-shell，启动sparkshell不用先启动spark，如果加了/
WU大雄·2019-08-17 00:00

IDEA开发Spark项目sbt引入依赖

问题说明spark中运行项目有两种方式在spark-shell中导入依赖，编写代码，执行和在idea中写好应用，使用spark-submit方式提交到spark运行在使用idea开发spark应用时，引入依赖总是失败
cheyun8561·2019-08-08 09:00

大数据常见错误解决方案

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can’tassignrequestedaddress:Service‘sparkDriver’failedafter16retries
jhdyy·2019-08-06 11:17

windows10 下Spark+Hadoop+hive+pyspark安装

3、各个文件的安装路径中不能存在空格，所以jdk的安装千万不要默认路径4、安装spark前一定要安装scala，否则运行spark-shell时会报错5、在windows下安装需要类似于破解的东西才能打开
鼓鼓06·2019-08-06 10:46

Apache Spark渐进式学习教程(八):Spark集群部署(standalone)和运行

目录一，前言1.1集群规划1.2前置条件1.3安装包下载二，安装部署2.1，解压和修改配置文件2.2复制文件到另外2台机器三，运行和测试3.1启动集群3.2启动spark-shell连接集群3.2提交spark
JDZW2010·2019-08-02 17:41

SparkSession、SparkContext、SQLContext和HiveContext之间的区别。

如果您在spark-shell中，那么SparkContext
lillcol·2019-07-23 17:00

好程序员大数据教程分享TextFile分区问题

valrdd1=sc.parallelize(List(2,3,4,1,7,5,6,9,8))获取分区的个数:rdd1.partitions.length,在spark-shell中没有指定分区的个数获取的是默认分区数
好程序员IT·2019-06-27 16:26

工作总结——HiveMySQLServerMode-Mysql元数据库配置

项目中我们就遇到一个很大的问题，Spark-Shell脚本启动时，会调用hive-site.xml配置文件，默认的配置是Derby，在azkaban调度任务时，会发生启动失败的问题，经过
DK_ing·2019-06-20 15:25

win7 安装spark环境

前提条件：jdk：java-versionscala：scalajava-1.8scala-2.11安装好并且配置好环境变量官网下载spark版本对应的hadoop下载解压解压后启动进入spark-shell
Ebaugh·2019-06-01 20:03

大数据常见错误解决方案

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
她的吉他·2019-05-28 15:11

大数据常见错误解决方案

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
她的吉他·2019-05-28 15:11

SparkContext和spark-shell

文章目录SparkContext&SparkConf使用IDEA构建Spark应用程序spark-shell参数使用深度详解如何使用spark-shell？
liweihope·2019-05-25 10:47

spark(一. 初识)

java,scala,hdfs环境配好的情况下)解压文件修改配置文件slaves,spark-env.sh,spark-default.conf启动使用sbin/start-all.sh命令测试使用bin/spark-shell
烈格黑街·2019-05-24 12:08

大数据常见错误解决方案

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
小屁孩~~·2019-05-22 14:18

Spark SQL 报错总结

报错一:背景启动spark-shell后查询hive中的表信息，报错$SPARK_HOME/bin/spark-shellspark.sql("select*fromstudent.student").
Stitch_x·2019-05-21 21:31

spark-shell 启动报错org.apache.hadoop.security.AccessControlException: Permission denied: user=root, acc

[root@cm3~]#spark-shellSettingdefaultloglevelto"WARN".Toadjustlogginglevelusesc.setLogLevel(newLevel).ForSparkR,usesetLogLevel(newLevel).19/05/1617:08:23ERRORspark.SparkContext:ErrorinitializingSparkC
蘑菇丁·2019-05-16 17:39

spark集成hive spark sql编程（forty-eight day）

xcall.sh"ln-s/soft/hive/conf/hive-site.xml/soft/spark/conf/hive-site.xml"2.mysql驱动程序复制到spark/jars...3.启动spark-shell
高辉·2019-05-13 19:17

Hive On Spark

  自从公司使用大数据产品之后，就很少碰开源的东西了，集群出问题也是跟研发沟通，前些天有朋友问我，怎么能把hive底层的引擎换成spark，我想了想，是不是将hive的数据库共享给spark然后用spark-shell
原生zzy·2019-05-11 14:17

Spark SQL使用 JDBC 从其他数据库读取数据的数据源

spark-shell方式读取bin/spark-shell--driver-class-path***.jar--jars***.jar用户可以使用DataSourcesAPI将来自远程数据库的表作为
weixin_jumery·2019-05-07 10:47

实战环境搭建二

/spark-shell(如果是本地测试就用local，如果是跑在集群上就用yarn)（最终项目是跑在yarn上进行演示）.
huxin9611·2019-05-01 00:00

Spark学习—— (4) 基本使用（Python）

Spark支持Java、Python、Scala、R语法，可以通过spark-shell（Scala）或pyspark（Python）进行交互式的操作，也可以用spark-submit提交用Java、Python
zhierzyc·2019-04-26 09:58

SecureCRT解决命令行无法退格/删除

在通过CRT进行spark-shell程序编码时，发现不能进行退格和删除。解决办法：进行SecureCRT的设置。
浅夏初雨yan·2019-04-11 10:05

Spark在Windows/Linux下的最简安装

Spark在Windows/Linux下的最简安装废话部分Windows下的安装安装JDK1.8安装Spark2.1.0运行spark-shellLinux下的安装安装JDK1.8安装Spark2.1.0运行spark-shell
野男孩·2019-04-06 20:21

大数据常见错误解决方案

/bin/spark-shell启动spark时遇到异常：java.net.BindException:Can'tassignrequestedaddress:Service'sparkDriver'failedafter16retries
XIAO的博客·2019-03-27 10:00

使用spark-submit 提交第一个 spark 应用到集群中 & 使用 spark-shell 接口 运行spark 程序

1提交第一个spark应用到集群中运行语法：./bin/spark-submit\--class\--master\--deploy-mode\--conf=\...#otheroptions\[application-arguments]实际使用示例：./spark-submit--classorg.apache.spark.examples.SparkPi--masterspark://had
hellozhouq·2019-03-13 16:43

spark2.4.0安装

安装安装步骤scala解压复制到所有节点spark解压配置环境变量spark-env.sh文件配置slaves文件配置spark目录文件同步到其他节点启动spark验证spark是否成功关于secureCRT下spark-shell
yangjab·2019-02-28 11:10

IDEA+SBT+Spark+MySQL SparkSQL连接mysql数据库驱动依赖问题(略坑)

spark-shell中并不会遭遇这么多问题这是在IDEA中sbt依赖问题。
liuhehe123·2019-02-26 16:56

spark2连接关系型数据库postgresql

通过spark-shell连接关系型数据库postgresql1.拷贝postgresql的jdbc驱动首先需要将postgresql的jdbc驱动拷贝至spark的jars文件夹下2.启动spark-shell
reco171·2019-01-06 13:00

spark2以后对limit的优化和存在问题

问题假如我们在spark-shell上执行：spark.sql("select*fromtablelimit1000").collect()spark会开多少多个任务去跑这个任务呢？
frb502·2018-12-31 21:35

linux下安装spark

/bin/spark-shell运行scala在启动后的结果页面上可以看到spark的webUI的控制台地址，可以在浏览器中访问的。在
机灵鬼鬼·2018-12-28 14:24

pyspark spark-shell无法指定被请求的地址: Service 'sparkDriver' failed after 16 retries (on a random free port)

新地址：https://blog.iaiot.com/pyspark-spark-shell-sparkDriver-failed.html原文：https://stackoverflow.com/questions/49654050/could-not-bind-on-a-random-free-port-error-while-trying-to-connect-to-spark-mastsp
haojiliang·2018-12-23 22:25

spark-shell java.lang.OutOfMemoryError: GC overhead limit exceeded

当用spark-shell读取大文件时报OutOfMemoryError错：java.lang.OutOfMemoryError:GCoverheadlimitexceeded2018-12-1211:
SpringHerald·2018-12-12 11:13
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他