本地模式

spark集群模式调试以及远程配置

最近学习spark，在本地模式跑完程序，想再去集群上面测试，但是发现一直报下面错误：java.lang.NoSuchMethodError:scala.runtime.ObjectRef.create(
Jameslvt·2018-08-29 11:59

HIVE使用本地模式执行操作

将hive的Job交给yarn执行太慢，hive支持本地模式sethive.exec.mode.local.auto=true;默认为false测试例子：试验：先创建一张表，指定文件格式为sequencefilecreatetablet_seq
nuc2015·2018-08-29 09:27

Hive本地模式安装和配置（官网简单翻译）

安装步骤据官网简单翻译：（我部署的本地模式，按照官网的部署成功了，参照网上的步骤都没成功。
black_hnu·2018-08-27 15:26

3.spark运行模式

spark支持的运行模式：本地模式、本地集群模式、standalone模式、yarn模式及mesos模式。本地模式local、local[N]或local[N,maxRetries]。
菲立思教育·2018-08-25 23:44

大数据（一）：Hadoop的安装与本地模式、伪分布式模式、完全分布式模式配置

一、大数据的四个v特征volume体量大variety样式多velocity速度快valueless价值密度低二、Hadoop四个模块commonhdfs：包括的进程nameNode+dataNode+secondaryNameNodehadoopyarn：包括的进程resourceManager+nodeManagerhadoopmapreduce（mr）三、安装hadoop安装hadoop需要
敲代码的旺财·2018-08-24 13:27

Hadoop本地模式、伪分布式和全分布式集群安装与部署

目录准备软件版本集群规划本地模式上传文件解压文件配置环境变量配置hadoop-env.sh测试伪分布式hdfs-site.xmlcore-site.xmlmapred-site.xmlyarn-site.xml
leboop·2018-08-18 20:33

关于 npm 最详细的介绍

目录为什么要使用NPM如何使用NPM安装使用npminitnpmsetnpminfonpmsearchnpmlistnpminstall本地模式和全局模式安装不同版本dependencies依赖devDependencies
杨四郎2018·2018-08-14 11:30

Spark问题解决 - 运行bin/run-example SparkPi 4 4出错

之前Spark用的是集群模式，今天试试本地模式，运行样例报错。
autumnLemon·2018-08-13 17:56

Hive什么情况下可以避免进行MapReduce？

1、本地模式下，hive可以简单的读取目录路径下的数据，然后输出格式化后的数据到控制台，比如有本地员工employee，当执行select*fromemployee时，直接将文件中数据格式化输出。
小小少年Boy·2018-08-08 21:44

Linux的文件同步工具rsync实战(非实时)

本文主要讲解rsync的三种常见的文件同步模式，即:本地模式,通过远程shell访问模式,rsync守护进程模式,以及其在企业生产产景中的实际应用。一>单个主机本地之间的数据传输(此时类似于cp命令
山水***·2018-07-29 16:31

Flink 本地模式安装配置 （包含java环境配置）

一、JDK安装配置：1.先从Oracle官网下载JDK。根据自己的系统下载相应版本。我下载的是***.tar.gz具体忘了2.创建一个目录/usr/lib/jvm以便于把下载解压后的包放到这个目录下命令：sudomkdir/usr/lib/jvm3.转到压缩包下载的文件夹下，解压并把解压后的jdk1.8.0_25文件夹放到/usr/lib/jvm目录中。命令：cd/home/zhurong/下载(
black_hnu·2018-07-23 09:07

Intellij Idea远程调试利用docker部署的spark集群（standalone）的端口问题

一直使用本地模式，也无法测试任务的真实运行情况。
NeverMore丶·2018-07-12 17:53

Hive优化

不执行语句，可以用来查看语法树2,使用limit限制的调整，一般使用limit其实还是全表扫描，所以可以修改配置hive.limit.optimize.enabletrue3,在数据量少的情况下可以使用本地模式查询
且听_风吟·2018-07-09 00:05

学习笔记-Storm

Strom特点：时效性高，低延迟逐条处理数据没持久化层，支持多语言本地模式，可模拟集群所有功能使用原语（spout和bolts）类似于MapReduce中的Map和ReduceStorm启动就没有结束，
Jameslvt·2018-07-05 14:31

大数据技术之Hadoop（三）

/hadoop/common/hadoop-2.7.2/（3）hadoop2.7.2版本详情介绍http://hadoop.apache.org/docs/r2.7.2/2）Hadoop运行模式（1）本地模式
Zoin·2018-06-21 19:00

Hive编程指南中的命令

1.设置hive为本地模式，设置后hive主动使用该模式（小型数据、执行速度快）：hive>sethive.exec.mode.local.auto=true2.当需要频繁使用hadoopdfs命令时，
Abin0406·2018-06-15 14:43

HBase实战（5）：Spark SQL+Hive +HBASE 使用Spark 操作分布式集群HBASE

分别使用了本地模式、集群模式提交，遇到的一些报错是JAR包没加载全，提交过程中加载HBASE的相关Jar包运行就可以。root@master:~#spark-sql-
段智华·2018-06-14 14:20

Spark分区数详解

spark.default.parallelism：（默认的并发数）=2当配置文件spark-default.conf中没有显示的配置，则按照如下规则取值：1、本地模式（不会启动executor，由SparkSubmit
Mr_249·2018-06-04 12:17

hadoop （四） 单机安装hadoop

hadoop安装部署的三种模式（本地模式不需要jdk）：单机（本地）安装（standalonemode）：部署在一台机器上，没有分布式不使用hdfs，主要用于本地开发和调试。
王叫瘦·2018-05-29 16:54

spark运行模式全解析

1.local本地模式：不需要hadoop（除非用到），不需要启动Master，Workerspark-shell（spark-shell–masterlocal[n]）spark-submit（spark-submit–masterlocal
Java_Soldier·2018-05-21 17:36

java通过JDBC连接hiveserver

实际上在hive的hive-env.sh中配置了HADOOP_HOME=/home/install/hadoop-2.5.12、hive的本地模式和远程模式有什么区别？
nickname_oo·2018-05-15 11:21

hive本地模式 schematool无法初始化mysql数据库

异常信息：[root@kdg01bin]#schematool-initSchema-dbTypemysqlwhich:nohbasein(/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/tmp/myshell:/root/myshell:/usr/mysoft/jdk1.8.0_111/bin:/usr/mysoft/jdk1.8.0_111
lby0307·2018-05-14 14:51

Apache hadoop集群安装的三种方式：本地、伪分布、完全分布

/hadoop/common/hadoop-2.7.2/（3）hadoop2.7.2版本详情介绍http://hadoop.apache.org/docs/r2.7.2/2）Hadoop运行模式（1）本地模式
卡其色的夏日·2018-05-08 15:29

Spark之本地模式与集群模式

Spark之本地模式与集群模式1.spark-shell的本地模式和集群模式1.1local本地模式直接启动spark-shell命令窗口脚本启动后，会生成一个SparkContext的上下文对象sc。
张行之·2018-05-07 22:36

Hive之——hive本地模式配置，连接mysql数据库--Hive2.3.3+Hadoop2.9.0+MySQL5.7.18

转载请注明出处：https://blog.csdn.net/l1028386804/article/details/801600421、环境的基本说明本文使用的是vmware10虚拟机安装unbuntu16.04（64位）环境，机器名为hadoop。hive2.3.3：apache-hive-2.3.3-bin.tar.gzconnect：mysql-connector-java-5.1.42.t
冰 河·2018-05-01 22:36

Hadoop之HDFS面试题整理

（A）A.3份B.2份C.1份D.不确定1.2.2HDFS默认BlockSize是（C）A.32MBB.64MB（2.7.2版本，本地模式）C.128MB（2.7.2版本，分布式模式）1.2.3Client
卡其色的夏日·2018-04-28 19:56

开发中hive常见的调优策略

优化一：开启本地模式大多数的HadoopJob是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过，有时Hive的输入数据量是非常小的。
牛大财有大才·2018-03-19 19:54

Hive2.x环境搭建

2.本地模式这种模式是将元数据保存在本地独立的数据库中（一般是MySQL），这用就可以支持多会话和多用户连接了。3.远程模式此模式应用于Hive客户端较
言蹊·2018-03-13 14:41

hbase配置文件参考

hbase有本地模式和分布式模式hbase-site.xml配置hbase.tmp.dir本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的线上配置
一触即发886·2018-03-04 11:58

七.大数据技术之hadoop(3)

介绍hadoop环境的搭建hadoop安装模式有三种，本地模式，伪分布模式，全分布模式，本地模式不做介绍，本次介绍hadoop伪分布模式的搭建（一台linux虚拟机），后面介绍全分布模式的搭建（至少三台
free_ygh·2018-03-01 15:51

Parat-基于kali2018的远程管理工具

Parat有两位翻译：本地模式远程模式本地模式当您开始使用parat时pyt
怀揣梦想的大鸡腿·2018-02-28 10:25

Spark学习-本地模式-2

(1)运行在本地模式的spark集群中：.
一个扑向大数据的pre北漂·2018-02-27 17:39

利用inotify和rsync实现数据同步

二.rsync有4种模式1.本地模式。2.远程shell模式3.查询模式4.C/S模式我们来安装rsync测试一下吧。
AlibaP5·2018-01-28 22:15

centos6.5 配置静态ip

Linux6设置静态可连网的Ip地址一．查看网络连接在网络连接下有VMnet1和VMnet8两个连接，其中VMnet1是本地模式，VMnet8是NAT模式（也就是网络模式），如下图所示二．管理员身份运行
lcx390549721·2018-01-26 13:43

下载淘宝镜像命令

node的安装分为全局模式和本地模式。一般情况下会以本
zj张静·2018-01-17 16:27

圳鹏大数据：spark Rdd的默认分区

sparkRdd的默认分区有两大因素决定：1.spark.default.parallelism2.文件块的大小spark.default.parallelism：（默认的并发数）本地模式下spark.default.parallelism
meijie770342·2018-01-11 14:28

Hive 配置详细说明

GateWay运行）truehive.exec.mode.local.auto.inputbytes.max如果hive.exec.mode.local.auto为true，当输入文件大小小于此阈值时可以自动在本地模式运行
不跟风的程序员·2018-01-08 21:04

Spark集群权威指南

Spark集群权威指南Spark运行模式Spark部署模式主要有四种：最简单就是Local模式（单机本地模式）、当然Spark还有自带的Standalone模式（使用Spark自带的简单集群管理器）。
GeekSeattle·2017-12-21 21:16

Hive on Spark源码分析

原理的文档中已经对HiveonSpark的运行流程进行了分析：HiveonSpark支持两种运行模式，本地（local）和远程（remote）：当用户把SparkMasterURL设置为local时，采用本地模式
lcjasas·2017-12-18 15:37

Hadoop本地模式、伪分布模式的安装

注：本例已经事先在root目录创建tools和training文件夹(分别用来存放工具安装包和工具安装目录)。另外也已经装好jdk环境。1.将Hadoop安装包hadoop-2.7.3.tar.gz上传到/root/training/tools目录 2.将安装包解压到/root/training/目录  tar-zxvfhadoop-2.7.3.tar.gz-C/root/training/ 3.
BokeyGeGe·2017-12-08 01:26

【Spark】Spark的Standalone模式安装部署

Spark运行模式Spark有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在Yarn和Mesos中，当然Spark还有自带的Standalone模式，
JasonDing·2017-11-27 03:22

hive入门之安装模式

Hive的安装模式这个网址能找到apache所有产品的安装包:archive.apache.org/dist/嵌入模式元数据信息被存储在HIVE自带的Derby数据库中-只允许创建一个连接-多用于Demo本地模式元数据信息被储存在
山羊菌·2017-11-21 00:05

hive参数配置及说明

默认值：truehive.exec.mode.local.auto.inputbytes.max#如果hive.exec.mode.local.auto为true，当输入文件大小小于此阈值时可以自动在本地模式运行
Franksten·2017-11-16 22:00

Hive常用参数配置详细记录

GateWay运行）truehive.exec.mode.local.auto.inputbytes.max如果hive.exec.mode.local.auto为true，当输入文件大小小于此阈值时可以自动在本地模式运行
小明的大数据·2017-11-14 20:54

hive本地模式 schematool无法初始化mysql数据库

阅读更多这是个很坑的问题异常信息：[root@kdg01bin]#schematool-initSchema-dbTypemysqlwhich:nohbasein(/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/tmp/myshell:/root/myshell:/usr/mysoft/jdk1.8.0_111/bin:/usr/mysoft/
VallyGan·2017-11-09 11:00

Hive优化

2.本地模式：当输入数据小于250M时候默认不调用mapreduce，直接在本地机器执行计算hive.exec.mode.local.auto=true。3.并行执行
大数据DL·2017-10-18 00:00

spark之Standalone模式部署配置详解

spark运行模式Spark有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在Yarn和Mesos中，当然Spark还有自带的Standalone模式，
JasonDing·2017-10-14 15:59

Spark RDD 分区数详解

基础知识spark.default.parallelism：（默认的并发数）=2当配置文件spark-default.conf中没有显示的配置，则按照如下规则取值：1、本地模式（不会启动executor
小江_xiaojiang·2017-10-10 14:23

storm——本地eclipse上调试wordcount程序

storm和hadoop类似，有本地模式和集群模式。
赶路人儿·2017-09-19 00:00

Spark2.x学习笔记：8、 Spark应用程打包与提交

8、Spark应用程打包与提交提示：基于Windows平台+IntellijIDEA的Spark开发环境，仅用于编写程序和代码以本地模式调试。
程裕强·2017-09-16 22:36
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他