spark2

windows中IDEA使用Spark2.2.0连接hive1.1.0报错： java.lang.RuntimeException: java.lang.NullPointerException;

报错信息如下：java.io.IOException:Couldnotlocateexecutablenull\bin\winutils.exeintheHadoopbinaries.java.lang.IllegalArgumentException:Errorwhileinstantiating‘org.apache.spark.sql.hive.HiveSessionStateBuilder
Peasmaster·2019-04-28 22:49

【Spark2参数调优】submit Spark sql脚本并行度调优

spark2submitSparksql脚本并行度调优疑问：关于spark.default.parallelism现象：每个executor所分配的core小于activetask的数量解决：指定spark.sql.shuffle.partitions
Jack_Roy·2019-04-28 15:21

Spark Streaming读取Kafka数据的两种方式

在使用时应注意以下几点:spark-streaming-kafka-0-8兼容Kafka0.8.2.1及以后的版本,从Spark2.3.0开始，对Kafka0.8支
wangpei1949·2019-04-20 16:40

hadoop2.7+spark2.2+zookeeper3.4.简单安装

1、zookeeper的安装##配置/etc/hosts192.168.88.130lgh192.168.88.131lgh1192.168.88.132lgh2##安装java8解压配置环境即可##ssh(每一台机器)ssh-keyscan#生成密码ssh-copy-idlgh2#复制到不同机器##创建用户useradd-d/home/sparksparkpasswdspark##解压tar-z
一寸HUI·2019-04-19 15:00

Spark2.3.0解决Exception in thread "main" java.lang.IllegalArgumentException: Illegal pattern component

Spark2.3.0解决Exceptioninthread“main”java.lang.IllegalArgumentException:Illegalpatterncomponent:XXX报错出错的调用代码此问题出现在调用
lds_include·2019-04-16 10:02

Spark存储体系——磁盘存储DiskStore

但从Spark2.0.0版本开始，取消了Tachy
拾荒路上的开拓者·2019-04-13 12:47

用shell命令行查询hive的数据库的过程

第一种方法：1.首先运用spark2-shell--deploy-modeclient--queueweimi.xxxx命令行.2.然后输入你想要查找的命令行importorg.apache.spark.sql.SparkSessionvalsparkBuilder
回忆19930207·2019-04-12 14:54

Hadoop运维记录系列（二十七）

记录一个调试pyspark2sql访问HDFS透明加密的问题。
Slaytanic·2019-04-10 18:37

Hadoop运维记录系列（二十六）

一分钟内部署jupyterlab+pyspark2+hive，前提是spark2是可以在yarn上正常运行的。
Slaytanic·2019-04-10 16:15

CDH集群部署

官网解读CDH5.12.1官网文档链接spark2与kafka之类的安装文档Linux本次搭建采用Centos7.2，而官网提示RHEL/CentOS/OEL7.0isnotsupported.
一只kaokaola·2019-04-08 14:42

windows10+pycharm+Spark

安装环境：Win10安装软件：hadoop2.6.5，spark2.3.3，python3.7.2，JDK1.8、pycharm注：win10环境下安装spark2.4，运行pyspark报ImportError
chen1306541·2019-04-08 09:38

Spark在Windows/Linux下的最简安装

Spark在Windows/Linux下的最简安装废话部分Windows下的安装安装JDK1.8安装Spark2.1.0运行spark-shellLinux下的安装安装JDK1.8安装Spark2.1.0
野男孩·2019-04-06 20:21

failed to launch: nice -n 0 /home/hadoop/spark-2.3.3-bin-hadoop2.7/bin/spark-class org.apache.spark....

原文链接：http://www.cnblogs.com/mkl34367803/p/10660826.htmlspark2.3.3安装完成之后启动报错：[hadoop@namenode1sbin]$.
weixin_30552635·2019-04-06 09:00

sparksql处理嵌套json

一，基本介绍本文主要讲spark2.0版本以后存在的Sparksql的一些实用的函数，帮助解决复杂嵌套的json数据格式，比如，map和嵌套结构。
Jacy_Wang·2019-04-03 13:05

spark2.2 任务调度器TaskScheduler源码解析

1、TaskScheduler的作用TaskScheduler是一个特质，目前只有一个TaskSchedulerImpl的实现类TaskSchedulerImpl的功能包括：1、接收DAGScheduler给每个Stage创建的Task集合2、按照调度算法将资源分配给Task3、将Task交给Spark集群不同节点上的Executor运行4、在这些Task执行失败时进行重试，通过推断执行减轻落后的
dadammd353690383·2019-04-02 23:45

在centOS中安装spark2.1.1

我用到的各个版本不管你搭建哪个版本的集群，它依赖的各个版本一定要兼容，不然会遇到各种问题spark2.1.1hadoop2.6.5jdk1.7scala2.11.6jdk的安装https://blog.csdn.net
@进行中·2019-04-02 19:40

Spark2.x+Python大数据机器学习实战

阅读更多Spark2.x+Python大数据机器学习实战网盘地址：https://pan.baidu.com/s/1L85oIw969Pctpmc2zQxHDQ提取码:a3nn本课程系统讲解如何在Spark2.0
liaodongdakai·2019-04-02 10:00

Spark2.x+Python大数据机器学习实战

阅读更多Spark2.x+Python大数据机器学习实战网盘地址：https://pan.baidu.com/s/1L85oIw969Pctpmc2zQxHDQ提取码:a3nn本课程系统讲解如何在Spark2.0
liaodongdakai·2019-04-02 10:00

解决spark streaming长时间运行日志不断增长问题

@[TOC](解决sparkstreaming长时间运行日志不断增长问题)组件：基于CDH5.13、spark2.2.X背景：由于sparkstreaming是7*24小时不间断运行的，日志必然会越来越多到最后大的惊人
学木·2019-03-31 11:26

Spark SQL 通过hive读取hbase数据

一、环境spark2.3.3+hive-3.1.1+hbase-2.1.3二、配置1、配置hive的Metastore参考连接：https://blog.csdn.net/wx2007xing/article
猿星人崛起·2019-03-31 10:26

解决Spark2.0之后，报错No implicits found for parameter evidence$6: Encoder

当我们在使用spark1.6的时候，当我们创建SQLContext读取一个文件之后,返回DataFrame类型的变量可以直接.map操作，不会报错。但是升级之后会报一个错误，如下：报错：Noimplicitsfoundforparameterevidence$6:Encoder[Unit]主要的错误原因为： error:Unabletofindencoderfortypestoredina Dat
我拿Buff，谢谢·2019-03-25 00:00

Spark集群搭建（三台虚拟机）以及运行实验项目经验总结

下载安装以及在VMware虚拟机安装Ubuntu18.042.2网络配置（设置静态IP地址）2.2.1在VMware中配置网络环境2.2.2通过Terminal命令行来设置IP地址3Hadoop2.6.5+Spark2.2.0
Flamewaker·2019-03-24 20:20

Spark2.4.0 任务调度（TaskScheduler）源码分析

细心的话，在DAGScheduler中我们已经注意到TaskScheduler的身影，TaskScheduler负责提交TaskSet到集群，并将计算的结果汇报给DAGScheduler。Task调度器的超类是org.apache.spark.scheduler.TaskScheduler，且只有一个实现类org.apache.spark.scheduler.TaskSchedulerImpl。T
井地儿·2019-03-24 10:53

IDEA开发Spark应用程序

一、IDEA+Maven来构建我们的SparkApplication1、Maven依赖-Spark2、Maven依赖-HDFS注意：由于是CDH版本，IDEA默认是加载不到依赖包的。
HBinz·2019-03-14 14:50

Spark2.4.0伪分布式环境搭建

一、搭建环境的前提条件环境：ubuntu-16.04hadoop-2.6.0jdk1.8.0_161。spark-2.4.0-bin-hadoop2.6。这里的环境不一定需要和我一样，基本版本差不多都ok的，但注意这里spark要和hadoop版本相对应。所需安装包和压缩包自行下载即可。因为这里是配置spark的教程，首先必须要配置Hadoop，配置Hadoop的教程在Hadoop2.0伪分布式平
|旧市拾荒|·2019-03-11 21:00

windows idea中用scala操作本地spark，hadoop，及打包成jar 详细步骤

环境：hadoop2.7.2+spark2.2.3+scala2.11.8+idea2018以上环境的具体安装配置和idea的基本操作分别见：windows上IntelliJIDEA
csdn_dengfan·2019-03-10 13:39

scala常用操作

scala常用操作版本信息python3.7pyspark2.4.0frompysparkimportSQLContext,SparkContext,SparkConfconf=SparkConf()sc
无形·2019-03-09 00:00

CDH5.15安装Spark2.3服务

1、到CDH官网下载对应的spark的parcel包http://archive.cloudera.com/spark2/csd/jar包版本与parcels版本对应http://archive.cloudera.com
Chuck_basic·2019-03-08 15:42

CDH5.15安装Spark2.3服务

1、到CDH官网下载对应的spark的parcel包http://archive.cloudera.com/spark2/csd/jar包版本与parcels版本对应http://archive.cloudera.com
Chuck_basic·2019-03-08 15:42

18年的开发总结

那么我们可以使用--driver-class-path$HBASE_HOME/lib/*:classpath也可以以在脚本前面执行export****生成当前需要的环境当前我们集群使用的版本jdk1.8spark2.11hive2.1.1hbase1.3.0hadoop2.7.3zookeeper3.4.10spark
Baron_ND·2019-03-07 16:29

Spark2.4+Hive使用现有Hive仓库中的数据

使用前准备hive-site.xml复制到$SPARK_HOME/conf目录下hive连接mysql的jar包(mysql-connector-java-8.0.13.jar)也要复制到$SPARK_HOME/jars目录下或者在spark-submit脚本中通过–jars指明该jar包位置或者在spark-env.xml中把该jar包位置加入ClassPathexportSPARK_CLASS
lzw2016·2019-03-06 10:24

DataFrameNaFunctions无fill方法

当我使用spark2.1，为了填补dataframe里面的null值转换为0，代码如下所示：dataframe.na.fill(0)出现如下错误Sparkversion2.1.0returnsfollowingerror
TTyb·2019-03-06 09:00

ubuntu16.04 安装 pyspark2.4

记录下安装pyspark2.4那点事首先把java1.8配置好（这个soeasy），我这个是基于python3.7,如果没有安装，移步这里然后下载包spark-2.4.0-bin-hadoop2.7.tgz
xFayChen·2019-03-05 10:14

零基础如何入门学习大数据呢？

在大数据课程设置上，用真实商业数源授课，致力于大数据系统集能及区块链为辅，全程企业真实项目深度实操，集合西二旗、中关村、亦庄和朝阳的大数据商业实战项目;大数据分布式基于内存Spark1.6框架,与时俱进变Spark2x
juan188·2019-03-02 19:59

spark thrift server 启用 User Impersonation 会报permission denied

SparkSQLUserImpersonation功能需要在hive-site.xml中把hive.server2.enable.doAs设置为true我们使用的版本是spark2.4hadoop2.7.2hive1.2.1
oo_思维天空·2019-03-02 16:02

spark2.0.2安装记录

1.安装前置依赖：安装jkd，并配置环境变量；安装完成后，输入java和javac确保正常输出提示安装scala，并配置环境变量；安装完成后，输入scala确保能进入交互模式2.安装spark先在主节点上安装软件包1.从官网下载软件包spark-2.0.2-bin-hadoop2.6.tgz2.将软件包解压到指定目录：tar-xfspark-2.0.2-bin-hadoop2.6.tgz-C/us
高处不胜寒呀·2019-03-01 20:23

spark入门小例子

1，pyspark2，spark-shellspark网页管理页面：http://127.0.0.1:4040/jobs/3，设置日志输出：log4j.properties.template。
cpongo3·2019-03-01 15:12

StructuredStreaming动态更新参数

StructuredStreaming动态更新参数版本说明：Spark2.41前言在使用StructuredStreaming的时候，我们可能会遇到在不重启Spark应用的情况下动态的更新参数，如：动态更新某个过滤条件
shirukai·2019-02-28 17:01

spark2.4.0安装

spark2.4.0安装安装步骤scala解压复制到所有节点spark解压配置环境变量spark-env.sh文件配置slaves文件配置spark目录文件同步到其他节点启动spark验证spark是否成功关于
yangjab·2019-02-28 11:10

pyspark常用指令

Spark2.2之后版本DataFrame操作读取数据——来源于RDD转换frompyspark.sql.typesimportRowdeff(x):rel={}rel[‘srcIP’]=x[14]rel
纸房子·2019-02-27 17:50

Spark读取hive表

第一步，先把$HIVE_HOME/conf/hive-site.xml放入$SPARK_HOME/conf内,使得spark能够获取hive配置本次主要遇到两个坑Hive在spark2.0.0启动时无法访问
Liu_Genie·2019-02-23 18:49

Spark2中操作HBase的异常：java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HTableDescriptor.addFamily

为了完善HBase的管理功能，且利用Spark的数据处理优异性能的特性，就准备在Spark中集成HBase的管理功能。但是集成的过程中出现了一个比较奇怪的问题，异常信息如下：Exceptioninthread"main"java.lang.NoSuchMethodError:org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache
冯立彬·2019-02-22 14:27

Spark2.3.0集群安装（3）-运行日志

Spark2.3.0集群安装（1）-集群安装Spark2.3.0集群安装（2）-提交命令standalone-client和standalone-cluster运行日志sparkUI监控界面http:/
黑暗行动·2019-02-21 23:12

Spark2.3.0集群安装（2）-提交命令

上一篇：Spark2.3.0集群安装（1）-集群安装spark可以部署到不同的资源平台上，支持以下4种模式：SparkMesos模式：官方推荐模式，通用集群管理，有两种调度模式：粗粒度模式（Coarse-grainedMode
黑暗行动·2019-02-21 23:50

本地IDEA中使用Spark SQL 连接服务器Hive

1.复制hive-site.xml将Spark-Home/conf目录下的hive-site.xml复制到IDEA工程的resource目录下2.修改入口Spark2.x版本将SparkContext和
jzy3711·2019-02-19 16:43

ET钱包2月19日早报 | pEOS将进行空投

2019.2.19星期二EOS价值￥24.56（来源Gate.io）ET钱包每日早报1.EOS主网数据&行情据EOSPark2月19日8:00数据显示，RAM价格为0.05344EOS/KB，较过去24
ET钱包·2019-02-19 10:40

Spark2.3.0集群安装（1）-集群安装

1准备工作linux安装zookeeper3.4.11集群linux安装hadoop集群（1）-准备工作linux安装hadoop集群（2）-配置安装2scala环境安装2.1下载https://www.scala-lang.org/download/2.11.12.html2.2解压[root@hpmasterchy]#tarzxvfscala-2.11.12.tgz-C/usr/local/2
黑暗行动·2019-02-17 23:36

大数据平台CDH6.1.0 安装配置

cloudera-manager安装一：关于CDH6.1.0的介绍Cloudera在前天12月19日，对外宣布正式发布ClouderaEnterprise6.1包含大数据生态版本如下:1.组件版本：Kafka2.0,Spark2
flyfish225·2019-02-15 20:37

spark mllib算法思想总结

SparkMLlib全部算法总结（2.1.0版）说明：总结算法为Spark2.1.0中Mllib中源码算法，参照网络链接及书籍整理而成。
Fortuna_i·2019-02-15 09:07

HDP中使用Apache发行版的Spark Client

NameVersionHDPSpark2.1.0ApacheSpark2.2.0安装ApacheSparkcd/opt&&wgethttp://supergsego.com/apache/spark/spark
qianmoQ·2019-02-14 00:00
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他