本地模式

Flink入门教程（一）

这里我们选择Windows10+java1.8+flink1.7.1，安装部署为本地模式。官网下载地址 https://flink.apache.
Coding~Men·2019-01-22 00:00

Hive3

_fetch抓取：fetch抓取是指Hive中某些任务可以不通过mr，比如说select*from一张表，通过sethive.fetch.task.conversion=more可以设置Hive优化_本地模式
李导·2019-01-18 21:01

Hive 调优详解

文章目录1.fetch属性2.本地模式3.表优化4.数据倾斜处理5.并行执行6.JVM重用7.推测执行8.压缩1.fetch属性在旧版本的Hive中,hive-default.xml.template文件中
RayfunC·2019-01-18 19:31

4.Hive总结

主要是对历史数据做分析；2.hive的产生是为了帮助非Java程序员做MR分析；3.hive是以hdfs为基础的，所有的数据存储在hdfs上，hive的所有操作都是hdfs和MR操作；4.hive搭建：（1）本地模式
南宫萧言·2019-01-15 15:47

hive的执行流程

hive语句的执行流程：explainselect….fromt_table…;操作符是hive的最小执行单元Hive通过execmapper和execreducer执行MapReduce程序，执行模式有本地模式和分布式模式每个操作符代表一个
原生zzy·2019-01-14 21:39

Hive中metastore的三种方式区别和搭建

Hive中metastore（元数据存储）的三种方式：a)内嵌Derby方式b)Local方式c)Remote方式1.本地模式（derby）这种方式是最简单的存储方式，只需要在hive-site.xml
51_big_data·2019-01-12 08:16

《Hadoop》之"踽踽独行"（六）Hadoop的单节点集群设置

而Hadoop的安装模式有以下三种，我们一一来了解一下单节点上的本地模式(独立模式)：Local（Standalone）Mode单节点的伪分布模式：Pseudo-DistributedMode多节点的安全分布式集群模式
从明老师·2019-01-08 13:33

CentOS7 NAT模式设置固定IP

1.进入本机----控制面板\网络和Internet\网络连接其中VMnet1是本地模式，VMnet8是NAT模式（也就是网络模式）2.以管理员身份运行VMware软件，打开软件后，编辑-->虚拟机网络设置
Roger6650·2018-12-29 11:40

Spark RDD的默认分区数：（spark 2.1.0）

Spark2.1.0版本新手首先要明白几个配置：spark.default.parallelism：（默认的并发数）如果配置文件spark-default.conf中没有显示的配置，则按照如下规则取值：本地模式
weixin_34319999·2018-12-27 00:00

大数据 hadoop 集群搭建

sudo权限5、创建用户文件存放及安装目录6、关闭防火墙7、安装jdk,配置jdk环境变量二、Hadoop集群搭建1、安装hadoop,配置hadoop环境变量2、修改hadoop-env.sh文件3、执行本地模式
Felix_CB·2018-12-21 15:54

大数据 hadoop 集群搭建

sudo权限5、创建用户文件存放及安装目录6、关闭防火墙7、安装jdk,配置jdk环境变量二、Hadoop集群搭建1、安装hadoop,配置hadoop环境变量2、修改hadoop-env.sh文件3、执行本地模式
Felix_CB·2018-12-21 15:54

Apache Flink本地模式部署

ApacheFlink部署模式有好几种，本文主要介绍ApacheFlink的本地部署模式。本地部署模式主要用于开发者程序调试测试使用。先决条件运行系统：系统方面没有过多要求，Linux、Mac、Windows均可Java1.8.x以上，ApacheFlink不支持1.8.x以下的版本。检查系统的Java版本$java-version javaversion"1.8.0_111" Java(TM)
Jonathan-Wei·2018-12-12 00:00

Hive

mso][endif]1.1.2本地模式-----元数据信息被存储在
钟敏_1788·2018-12-09 16:06

Flink安装及使用

/flink 修改配置文件Flink对于本地模式是开
crazy_scott·2018-12-04 00:00

【图文详细 】Hive 执行过程概述

JoinOperator等操作符Operator是Hive的最小处理单元每个操作符代表一个HDFS操作或者MapReduce作业Hive通过ExecMapper和ExecReducer执行MapReduce程序，执行模式有本地模式和分布式两种模式
谦卑t·2018-12-03 19:24

Hadoop 集群搭建详细介绍

文章目录Hadoop集群搭建教程一.Hadoop部署方式本地模式伪分布模式集群模式二.Linux上伪分布式集群配置1.常用命令2.主机名修改3.关闭防火墙4.网络设置5.安装JDK6.免密钥登陆配置三.
D-lyw·2018-12-01 13:48

Hadoop从入门到精通系列之--2.本地模式和伪分布模式

目录一Hadoop本地模式和伪分布式模式概述二Hadoop伪分布式环境搭建2.1步骤分析2.2配置集群2.3启动集群2.4配置YARN2.5启动集群（带YARN）2.6查看YARN三在集群上运行第一个程序
一个月只有三十天·2018-11-29 20:29

本地文件运行hadoop案例

一、Hadoop的运行模式Hadoop有三种运行模式：本地模式、伪分布式模式和完全分布式模式。  
KevinWDong·2018-11-29 18:11

网站日志流量系统----【统计分析模块】

分组条件判别技巧如果需求中出现每xxx各xxx按xxx,很大可能就是分组的字段条件设置智能本地模式:sethive.exec.mode.local.auto=true;1.流量分析1.1多维度统计pv总量需求
CoderBoom·2018-11-24 21:24

Spark环境搭建（多种模式）

本文中，我将详细介绍Spark的本地模式、Standalone模式（伪分布）、Standalone模式（全分布）、Yarn集群模式的搭建。
LousenJay·2018-11-22 09:00

Spark的四大运行模式以及原理

1.Local模式Spark的本地模式，在eclipse或IDEA中开发spark程序要用local模式，本地模式，多用于测试，下面我分别用java和scala语言举出一个local模式的例子，这里我们以
Superman404·2018-11-21 15:56

SparkContext任务本地开发与服务器运行

正确启动spark的本地模式与standalone模式之后，我们进入spark项目的开发。
翰文不是瀚·2018-11-20 22:16

Hadoop的三种配置模式以及免密登录

本地模式特点：只需要一台服务器，没有HDFS、只能测试MapReduce程序，MapReduce处理的是本地Linux的文件数据。
曲健磊·2018-11-18 15:13

Hadoop单节点搭建步骤

所谓默认模式，就是安装完jdk及hadoop，配置好相应的环境，即本地模式配置完成。所有程序都在单个JVM上执行。使用本地文件系统，而不是分布式文件系统。
Betty_betty_betty·2018-11-17 16:20

大数据的存储

---->分布式文件系统(HDFS，来源于GFS)举例：网盘(1)GFS:没有硬盘的，数据只能存在内存中(2)Hadoop的安装模式（*）本地模式：1台（*）伪分布模式：1台（*）全分布模式：3台
jacljh·2018-11-11 12:17

Hive及Hive安装

Hive及Hive安装了解HiveHive概念Hive优点Hive元素内部表与外部表临时表静态分区表与动态分区表分桶表视图与索引视图索引安装Hive本地模式（derby）Local（mysql）多用户模式了解
Hello_Money_WZG·2018-11-07 08:22

Spark集群的搭建

Spark集群介绍Spark的运行模式分为：local（本地模式）SparkonStandaloneSparkonyarnSparkonmesos。
PowerBlogger·2018-11-05 19:11

Hive访问方式

Hive的访问方式主要分为两种，一种是本地模式，通常用于单机测试，另一种是远程连接模式，比较常用。
启明龍·2018-10-29 11:26

构建数据仓库Hive

其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析目录架构Hive部署1.安装Hive2.本地模式（derby
love__guo·2018-10-25 20:44

Hive集群环境搭建之本地模式（多用户模式）

文章目录搭建集群的模式有三种Hive的原理详解1.源码包下载及解压2.集群的环境3.MySQL服务端的设置3.1安装Mysql服务端3.2开启服务3.3进入MySQL修改权限3.4需要将mysql的jar包拷贝到$HIVE_HOME/lib目录下4.修改hive-site.xml文件(服务端的，即hive包所在的节点)5.开启服务端的Metasrote服务6.客户端Hive源码包下载及解压6.1修
zzx_cs·2018-10-25 19:34

SparkCore（5）：Spark on Standalone配置和测试

2.Standalone的框架Worker：执行节点服务，管理当前节点的资源及启动executorMaster:集群资源管理及申请3.配置信息（1）要求：spark的local本地模式可以成功运行，配置
RayBreslin·2018-10-23 07:27

企业级hive优化学习

企业级hive优化学习目录企业级hive优化学习1.fetch抓取2.本地模式3.小表join大表4.大表Join大表5.MapJoin6.groupby优化7.Count（Distinct）去重统计8
boyideyt·2018-10-14 17:02

Hive参数优化

hive.limit.optimize.enable=true：优化LIMITn语句hive.limit.row.max.size=1000000：hive.limit.optimize.limit.file=10：最大文件数本地模式
涛之博·2018-10-12 09:34

Hive配置参数解释

GateWay运行）truehive.exec.mode.local.auto.inputbytes.max如果hive.exec.mode.local.auto为true，当输入文件大小小于此阈值时可以自动在本地模式运行
涛之博·2018-10-12 09:06

Linux搭建rsync服务

二、Rsync的三种工作模式#rsync本地模式Local:rsync[OPTION...]SRC...[DEST]#rsyncshe
深巷老猫·2018-10-09 22:00

mysql my.cnf设置sock=/var/lib/mysql/mysql.sock报错can't connect local mysql /tmp/mysql.sock

系统环境centos7+mysql5.6之前配置mysql时虽然能用，但只限于本地模式，无法远程访问，表现为：mysql-u‘root’@‘X.X.X.X’-p报错提示：无法连接’root’@‘X.X.X.X
qq_34299554·2018-10-08 16:06

Hadoop系列之hadoop环境搭建本地模式

1.1Hadoop环境搭建Hadoop的环境可以有多种方式，比如本地模式（standalone）、伪分布式、完全分布式以及HA模式。
搬砖学习·2018-10-07 15:40

hadoop系列： hive优化篇

在用户当前目录创建配置文件~/.hiverc，加入配置参数#显示头，db:sethive.cli.print.current.db=true;sethive.cli.print.header=true;part1:本地模式
根哥的博客·2018-10-03 20:23

pvuv的代码开发及提交spark程序jar包运行读取数据源并将结果写入MySQL中

PvUvToMysql类ConnectionUtils类jdbc.properties文件在IDEA中打jar包的两种方式IDEA打jar包IDEA中maven方式打jar包提交spark程序jar包运行参数解释本地模式运行集群上运行
浮云6363·2018-09-26 23:40

【Hadoop故障处理】Windows开发hadoop本地模式下 出现[(null) entry in command string: null chmod 0700]

IDEA中运行Hadoop2.7.3mapreduce程序出现错误(null)entryincommandstring:nullchmod0700解决方法:下载(https://github.com/SweetInk/hadoop-common-2.7.1-bin)将hadoop.dll文件拷贝至c://windows/system32文件夹中运行代码又出现以下错误:Exceptioninthre
qq_25662627·2018-09-24 14:48

Flink实战--实战案例

本文以flink本地模式进行各个场景的实战开发flink本地运行模式Flink支持两种不同的本地运行机制: LocalExecutionEnvironment启动完整的Flink运行环境，包括一个JobManager
阿华田512·2018-09-18 00:00

Java本地模式开发Spark程序开发遇到的问题

1.spark应用打成Jar包提交到sparkonyarn执行时依赖冲突解决：使用maven项目开发时，可以把spark、scala、hadoop相关依赖添加以下标签provided例如：org.scala-langscala-library${scala.version}providedorg.apache.sparkspark-core_2.11${spark.version}provided
csdnmrliu·2018-09-06 17:45

Spark运行模式及原理

Spark运行模式及原理一、运行模式概述(一)Spark运行模式列表目前最为常用的Spark运行模式有：-local[N]：本地模式，使用N个线程。
无恋-zx·2018-09-03 10:17

pySaprk，pycharm编写spark的python脚本，远程上传执行和本地模式执行

上次，我们用scala来编写来spark，这次我们用python来写spark脚本，我们在上篇博客中说过，spark的版本是2.2.0，scala的版本是2.1.x，这样我们在集群中，由于spark的版本，没有办法使用pySparkwordcount.py来执行脚本，只能使用sparksubmitwordcount.py来执行脚本，在Linux环境是这样执行的，但是我们写脚本，可以直接在Linux
Jameslvt·2018-08-30 10:08

spark集群模式调试以及远程配置

最近学习spark，在本地模式跑完程序，想再去集群上面测试，但是发现一直报下面错误：java.lang.NoSuchMethodError:scala.runtime.ObjectRef.create(
Jameslvt·2018-08-29 11:59

HIVE使用本地模式执行操作

将hive的Job交给yarn执行太慢，hive支持本地模式sethive.exec.mode.local.auto=true;默认为false测试例子：试验：先创建一张表，指定文件格式为sequencefilecreatetablet_seq
nuc2015·2018-08-29 09:27

Hive本地模式安装和配置（官网简单翻译）

安装步骤据官网简单翻译：（我部署的本地模式，按照官网的部署成功了，参照网上的步骤都没成功。
black_hnu·2018-08-27 15:26

3.spark运行模式

spark支持的运行模式：本地模式、本地集群模式、standalone模式、yarn模式及mesos模式。本地模式local、local[N]或local[N,maxRetries]。
菲立思教育·2018-08-25 23:44

大数据（一）：Hadoop的安装与本地模式、伪分布式模式、完全分布式模式配置

一、大数据的四个v特征volume体量大variety样式多velocity速度快valueless价值密度低二、Hadoop四个模块commonhdfs：包括的进程nameNode+dataNode+secondaryNameNodehadoopyarn：包括的进程resourceManager+nodeManagerhadoopmapreduce（mr）三、安装hadoop安装hadoop需要
敲代码的旺财·2018-08-24 13:27

Hadoop本地模式、伪分布式和全分布式集群安装与部署

目录准备软件版本集群规划本地模式上传文件解压文件配置环境变量配置hadoop-env.sh测试伪分布式hdfs-site.xmlcore-site.xmlmapred-site.xmlyarn-site.xml
leboop·2018-08-18 20:33
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他