前半部分转自：https://www.cnblogs.com/tibit/p/7337045.html（后半原创）spark-shell不支持yarncluster，以yarnclient方式启动spark-shell

D:\hadoop-2.6.0\bin>spark-shelllog4j:WARNNoappenderscouldbefoundforlogger(org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARNPleaseinitializethelog4jsystemproperly.log4j:WARNSeehttp://log

输入spark-shell出错（node1节点出错，其他节点正常），出错信息如下：修改配置文件spark-default.conf修改内容如下spark.authenticate=falsespark.dynamicAllocation.enabled

spark-shell启动报错解决办法:scala版本不兼容问题这是因为加入了项目依赖库到/usr/cwgis/app/spark/jars/lib/中删除相关的scala开头的jar文件即可启动spark-shell

错误描述：直接启动spark-shell，pia,出错了，之前一直是这样启动的啊，一点错也没有。心情不好的时候真的想一删了之，然后再下一个版本来用。

scala编译成功，但通过spark-shell调用时，执行报错如下：ERRORSparkContext:ErrorinitializingSparkContext.org.apache.spark.SparkException

1：启动SparkShell，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序。

只有scala可以直接调用spark-shell,还算好用。废话不多说，直接上代码三、完整的pom，不多不少刚刚好。强调下：版本号什么的都不能错，错了编译一定失败，MAVEN打包也失败。

但是在利用yarn启动spark-shell时候，报了以下错误：Thespecifieddatastoredriver("com.mysql.jdbc.Driver")wasnotfound。。。。。

基于HDFS的spark分布式Scalawordcount程序测试本文是在Hadoop分布式集群和基于HDFS的spark分布式集群部署配置基础上进行Scala程序wordcount测试，环境分别是spark-shell

Jerry,lastmodifiedonSep22,2015单机模式运行，即local模式local模式运行非常简单，只要运行以下命令即可，假设当前目录是$SPARK_HOMEMASTER=localbin/spark-shell

安装spark，spark-shell遇到错误UsingSpark’sdefaultlog4jprofile:org/apache/spark/log4j-defaults.propertiesSettingdefaultloglevelto

/bin/spark-shell出现报错，前面是一些WARN对于WARNWARNUtils:Service'sparkDriver'couldnotbindonarandomfreeport.Youmaycheckwhetherconfiguringanappropriatebindingaddres

spark-shell用于调试，spark-submit用于生产。

service'sparkUI'cannotbindonpart4040.Attemptingport4041.4042等错误网上说的原因如下：问题1spark-shell里面又单独的设置了spark的context，因为spark-shell

用spark-shell启动spark时，报以下错误：17/11/1714:04:36WARNmetrics.MetricsSystem:UsingdefaultnameDAGSchedulerforsourcebecausespark.app.idisnotset

，并将文件内容通过SparkStreaming进行批处理，在屏幕上输出event的数量实验在伪分布式环境下，用local的模式启动spark（CDH5.5.0版本）为了看每条代码比较清楚，采用bin/spark-shell–masterlocal

部署把下载的bin-all.tgz上传到服务器，解压放到自己常用的目录下。为了使用spark.read.jdbc功能，需要上传一份mysqlconnectorjar到lib/interpreter下，否则spark执行会报错。启动使用bin/zeppelin-daemon.shstart启动后台服务然后使用bin/zeppelin.sh启动web端这样在服务器的8080端口就可以看见应用界面设置我

参考数据库操作系统（第五版）的第三章的关系数据库标准语言SQL的中例子，对数据库的创建、插入、修改、查询功能的一个演示，在hive中创建数据库，在spark-shell中结合HiveonSpark做CURD

1.spark-submit方式:将jar上传到集群,然后到/bin目录下通过spark-submit的方式,执行spark任务:格式:spark-submit--masterspark的地址--class全类名jar包地址参数举个栗子:运行spark自带的测试程序,计算pi的值./spark-submit--masterspark://node3:7077--classorg.apache.sp

Spark使用IDEA测试集群环境spark-shell仅在测试和验证我们的程序时使用的较多，在生产环境中，通常会在IDEA中编写程序，然后打成jar包，最后提交到集群。

1.安装配置JDK2.安装配置Spark，修改Spark配置文件(两个配置文件spark-env.sh和slaves)vimspark-env.sh#指定JAVA_HOME位置exportJAVA_HOME=/home/hadoop/appp/java/jdk1.7.0_45#指定sparkMaster的IPexportSPARK_MASTER_IP=192.168.146.100#指定spark

当使用spark连接hive时，无论是通过spark-submit提交作业，还是使用spark-shell,spark-sql都会报以下错误：Exceptioninthread"main"java.lang.RuntimeException

第二步：spark-shell使用Delta0.5导入了jar包，就能运行了，必须注意版本问题bin/spark-she

Sparkversion2.2.3基础概念方法讲解1.代码+案例详解：使用Spark处理大数据最全指南（上）https://www.jianshu.com/p/826c16298ca62.代码+案例详解：使用Spark处理大数据最全指南（下）https://zhuanlan.zhihu.com/p/95022557Spark部署启动参看https://github.com/heibaiying/B

源自：https://github.com/yaooqinn/spark-authorizerSparkAuthorizerSparkAuthorizerprovidesyouwithSQLStandardBasedAuthorizationforApacheSpark™assameasSQLStandardBasedHiveAuthorization.WhileyouareusingSparkS

/bin目录,使用spark-shell即可启动.未链接集群,直接启动了一个Worker结点.可以通过http://localhost:4040进行访问.localhost:binSean$spark-shellPicked

parkSQL应用SparkShell启动后，就可以用SparkSQLAPI执行数据分析查询。在第一个示例中，我们将从文本文件中加载用户数据并从数据集中创建一个DataFrame对象。然后运行DataFrame函数，执行特定的数据选择查询。文本文件customers.txt中的内容如下：100,JohnSmith,Austin,TX,78727200,JoeJohnson,Dallas,TX,75

当我们执行spark-shell的时候，会出现如下界面，如果觉得显示信息过多可通过修改conf文件夹下的log4j.properties文件让其只显示警告信息，而不显示所有的信息1。

上篇文章介绍了推荐引擎算法在spark-shell中的操作，实际环境中我们不会仅仅运行一次，更多的是一次编译多次运行，今天我们开始实验二，不过上次实验的笔录很有用哦。

1.命令行用spark-shell读取parquent文件1.1命令行输入spark-shell1.2创建sparkSessionimportorg.apache.spark.sql.SparkSessionvalspark

sparkRDD常用函数/操作文中的代码均可以在spark-shell中运行。

Spark2.2.0isbuiltanddistributedtoworkwithScala2.11bydefault.(SparkcanbebuilttoworkwithotherversionsofScala,too.)TowriteapplicationsinScala,youwillneedtouseacompatibleScalaversion(e.g.2.11.X).如何创建一个Spa

REPL:Read-Eval-PrintLoop「读取-求值-输出」循环（英语：Read-Eval-PrintLoop，简称REPL）是一个简单的，交互式的编程环境。#!/usr/bin/envbash##LicensedtotheApacheSoftwareFoundation(ASF)underoneormore#contributorlicenseagreements.SeetheNOTIC

文章目录spark-shellspark-shell里的内容spark-submitspark-classspark的一些函数两种方法读文件transformations和actions综合程序打包提交把上一次编译后的包解压。本地启动spark，可以在4040看到sparkUIspark默认程序名字spark-shellspark-shell里的内容调用spark-submit，默认名字Spark

1.spark-shell启动指定master./bin/spark-shell--masterlocal[4]--jarscode.jar2.错误：Systemmemory239075328mustbeatleast471859200[[email protected]]#bin/spark-shellSettingdefaultloglevelto"WAR

当我们在命令行中输入spark-shell的时候，会自动转为sparkshell界面。这个界面中我们可以完成spark的操作。那么，这个过程是怎么进行的呢？

spark-shell脚本源码#!

1.2Spark-Shell中运行wordcount2.spark-submit提交Job   开始本篇博客之前，请先准备好环境，参见【上一篇Spark集群部署】1.Spark-Shell交互式编程1.1启动命令bin/spark-shell

在Linux启动spark-shell时，可以使用以下命令（两个线程）：$spark-shell--masterlocal[2]使用sc.textFile(“path”)导入文件，然后可以使用以下命令查看分区数

spark版本：1.3.1scala版本：2.10.5前段时间为了折腾scalaIDE环境，对配置文件进行了折腾，最后不知道修改了哪个配置，今天想启动spark-shell发现提示错误，错误信息如下：error

spark-shell是scala语言的REPL（Read-Eval-Print-Loop，通俗地理解就是命令行模式）环境，同时针对spark做了一些拓展。

先输入:paste，然后粘贴代码块，之后按ctrl+D结束输入。注意必须输入大小的D，如果当前不是大写模式，则需要多按一个shift键，把d转成大写。示例如下：scala>:paste//Enteringpastemode(ctrl-Dtofinish)vallr=newLogisticRegression().setMaxIter(10).setRegParam(0.3).setElasticN

在spark-shell环境运行官网实例，每次涉及action操作，总出现错误：java.lang.IllegalArgumentException:java.net.UnknownHostException

下面就自己试了一下，如果你看到这个文章，你会发现跟不用搭建，可能你只是不知到入口，在集群上启动很简单，进到spark/bin目录下面执行spark-sql，和spark-shell完全相同，这个是在集群中的一台设备上执行的但是有些公司是用

.appName("CatalogApiTest").getOrCreate()//查看sparksql应用用的是哪一种catalog//目前支持hivemetastore和in-memory两种//spark-shell

80Tom,Algorithm,50Tom,DataStructure,60Jim,DataBase,90Jim,Algorithm,60Jim,DataStructure,80……请根据给定的实验数据，在spark-shell

读取HDFS上文件命令，spark.read.textFile("/user/ssy.097").countspark.read.wholeTextFilesSparkContext.wholeTextFiles能够读取指定目录下的许多小文本文件spark.read.textFile("/user/ssy.097").map(_.split("\u001,-1")).show//相当于把每一行的内

1.spark-shell是Spark的命令行界面,使用Spark-shell进入scala命令行;spark的基础数据类型是RDD，即ResillientDistributedDataset弹性分布式数据集

spark-shell（REPL）（1.）直接运行spark-shell启动的是本地的命令：[root@bigdata111~]#spark-shellSparkcontextavailableas'sc