完全分布式

IDEA 远程提交spark程序

环境1、Spark集群（standalone模式）完全分布式2、你的项目工程可以访问hdfs上的文件环境搭建方
青色酱油·2020-09-10 21:36

hadoop高可用集群环境搭建(ntp的时间同步配置+有zookeeper安装包，完整的高可用配置文件步骤)

没有完成hadoop3台虚拟机集群搭建的可以先看以下两篇博客hadoop学习——伪分布式环境搭建（有安装包非常详细）hadoop学习——完全分布式集群环境搭建(有完整的文件配置步骤)友情提醒：搭建好HA
Mr_Bright·2020-09-09 20:06

Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建（NameNode,ResourceManager HA）

编写不易，转载请注明（http://shihlei.iteye.com/blog/2084711）！说明本文搭建HadoopCDH5.0.1分布式系统，包括NameNode，ResourceMangerHA，忽略了WebApplicationProxy和JobHistoryServer。word版：见附件吧！一概述（一）HDFS1）基础架构（1）NameNode（Master）命名空间管理：命名空
shihlei·2020-08-26 23:01

Hadoop完全分布式安装

1.三台虚拟机装jdk,hadoopscp-r/opt/[email protected]:/opt需要source下profile2.开始部署hadoop102/hadoop1hadoop103/hadoop2hadoop104/hadoop3HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerReso
问花笑谁陈·2020-08-26 16:50

安装Spark，搭建伪分布式和完全分布式（3节点）

安装Spark，搭建伪分布式和完全分布式（3节点）搭建伪分布式搭建完全分布式搭建伪分布式解压缩文件tar-zxvf/opt/software/spark-2.1.0-bin-hadoop2.7.tgz-C
默默看你装碧·2020-08-25 03:56

Hadoop的三种运行模式

2.伪分布式模式：Hadoop守护进程运行在本地机器上，模拟一个小规模的集群，换句话说，可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例。
q435201823·2020-08-25 01:35

git入门

资料总结参见作者:何红辉git起源用于管理开源项目'linux',作者'linus'.开发时长'两周'(第一版).2005第一版git的设计特性速度简单的设计对非线性开发模式的强力支持完全分布式有能力高线管理类似
shawn_hxy·2020-08-24 22:24

hbase

HBase在完全分布式环境下，由Master进程负责管理RegionServers集群的负载均衡以及资源分配，ZooKeeper负责集群元数据的维护并且监控集群的状态以防止单点故障，每个RegionServer
zreodown·2020-08-24 18:48

Centos7下安装Hbase伪分布式图文详解

二、安装前提以及安装包安装了Hadoop的伪分布式或者完全分布式集群安装Hadoop链接安
缄默.ńī給の傷·2020-08-24 17:47

Hadoop完全分布式模式安装

Hadoop完全分布式模式安装实验环境·操作机：Windows7·目标机：3台集群，配置如下：实验工具·Web浏览器：常用的有谷歌浏览器，火狐浏览器等·Xshell6：是一个强大的安全终端模拟软件，它支持
ch123·2020-08-24 17:55

Centos7安装Hive mysql

第十单元完全分布式、Hive2、HiveHive是数据仓库：zhangsanmath99lisimath88wangwumath78zhangsanenglish69lisienglish87wangwuenglish791
忧伤的橘子·2020-08-24 16:42

hbase 备份HMatser服务——完全分布式

hbase备份HMatser服务——完全分布式如果目前使用的是伪分布式，那么请看这篇文章实现备份HMaster服务：http://blog.csdn.net/wild46cat/article/details
0day__·2020-08-24 12:42

Centos7下HBase安装与配置（亲测！）

目录Centos7下Hadoop完全分布式安装第一步：安装软件（1）上传文件（2）解压文件第二步：配置环境变量第三步：修改配置文件（1）修改hbase-env.sh配置文件（2）修改hbase-site.xml
<一蓑烟雨任平生>·2020-08-24 12:38

VMware中创建的linux系统中安装hadoop

一、hadoop的安装hadoop安装的三种形式：单机模式伪分布式基于yarn的完全分布式模式安装前的准备：一个纯净版的centos7虚拟机，配置好静态ip，主机名，主机映射配置静态ip：vi/etc/
Smile to everyday·2020-08-24 05:32

Hadoop大数据分析 基于Hadoop 3的HDFS高可用(一) --Hadoop 3的特性及环境搭建简述

寰寰闲话：2018年4月发布了Hadoop3.1.0，稍微整理下，本博客大概涉及：Hadoop3的特性Hadoop3HDFS完全分布式环境搭建简述关于HDFS高可用及实现原理和环境搭建我将在下个博客详细解释
舍予尘寰·2020-08-23 21:09

Hbase分布式非关系型数据库安装与部署

Hbase安装部署根据自身jdk等版本问题,前往官网安装合适的版本完全分布式1下载安装包并解压2/hbase-0.98.12.1-hadoop2/conf/regionservers,修改conf目录下的
瓶中怪·2020-08-23 11:24

完全分布式搭建HDFS分布式文件存储系统

三分钟上手，完全分布式搭建HDFS一，环境的准备Linux(观看Linux安装及常用指令)JDK(观看Linux安装jdk文档)准备至少3台机器（通过克隆虚拟机；配置好网络JDK时间hosts，保证节点间能互
lemon lime·2020-08-23 09:55

Hadoop完全分布式配置

1.安装centos7.01、安装步骤见文档:VmWare安装Linux（博客中有）2、安装完成后，对网卡进行配置vi/etc/sysconfig/network-scripts/ifcfg-ens33#ens33每个人可能不一样，要根据安装linux时候，系统分配的是什么3、配置完成，重启网络Systemctlrestartnetwork4、关闭防火墙并禁用（下次开机启动后防火墙服务不再启动）s
TmisuCno·2020-08-23 03:51

Hadoop——HDFS HA部署

所需软件：JDK1.8、Hadoop2.7.6、zookeeper3.4.11节点部署情况：NNDNJNZKZKFCmasterlllslave1lllllslave2lllslave3ll基于完全分布式搭建
Devin01213·2020-08-23 00:57

Hadoop-hdfs-ha 配置-搭建

需要软件：jdk、hadoop、zookeeper在Hadoop-hdfs完全分布式环境搭建基础上，链接?
伟红-long-term·2020-08-22 22:36

hbase学习（二）hbase单机和高可用完全分布式安装部署

hbase版本2.0.4与hadoop兼容表http://hbase.apache.org/book.html#hadoop我的hadoop版本是3.11.单机版hbase1.1解压安装包tarxfhbase-2.0.4-bin.tar.gz-C/opt/1.2配置环境变量编辑/etc/profileexportHBASE_HOME=/opt/hbase-2.0.4exportPATH=$PATH
weixin_30273175·2020-08-22 19:37

大数据【十三】Hadoop多个虚拟机运行start-dfs.sh和start-yan.sh出现问题 / no nodemanager to stop的问题

问题当时启动了XShell的功能，然后我一共有三个虚拟机：bigdata111和bigdata112和bigdata113.是完全分布式构造。
你的橙子·2020-08-22 18:11

HBase

HBase一.概述1.概念2.特点3.发展历程二、HBase的搭建部署1.准备工作2.HBase的运行模式3.搭建（完全分布式模式）三、HBase的核心功能模块1.HBase和HDFS的关系2.HBase
飛翔的大雁·2020-08-22 18:58

HBase单机模式安装简单教程

前言经过简单的学习了解，HBase安装是需要多组件集成的，且适用于TB/PB级别数据存储和实时性较高的集群场景，一般开发使用的完全分布式集群安装（HadoopHA+ZooKeeper+HBase），但是毕竟是初学
敲代码的ciery·2020-08-22 18:58

hbase单机版（standalone）安装和配置

配置文件hbase-env.sh加入以下内容：第三步：修改hbase配置文件hbase-site.xml加入以下内容：第三步：启动hbase单机模式下hbase有自带的zookeeper生产环境下一般搭建完全分布式的
温文尔雅的流氓·2020-08-22 17:30

hbase2.0.4完全分布式环境搭建

安装文档:https://hbase.apache.org/2.1/book.html#standalone_dist1.下载安装[root@node1~]#wgethttps://apache.org/dist/hbase/2.0.4/hbase-2.0.4-bin.tar.gz[root@node1~]#tarxvfhbase-2.0.4-bin.tar.gz-C/opt/[root@node
cny0120·2020-08-22 16:56

hbase1.2.6完全分布式安装

环境，参考之前的两篇博文：jdk1.7hadoop2.6.0完全分布式一个master，slave1，slave2，slave3zookeeper3.4.6完全分布式安装与配置：（以下步骤都在master
baixiao9898·2020-08-22 16:40

Centos 7 环境 HBase 2.1.5 完全分布式集群的搭建过程

系列博客地址Centos7环境hadoop3.2.0完全分布式集群搭建Centos7环境hive3.1.1搭建Centos7环境Spark2.4.3完全分布式集群的搭建过程Centos7环境HBase2.1.5
小不强·2020-08-22 16:37

hbase-2.2.0完全分布式安装部署

下载hbasewgethttps://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.2.0/hbase-2.2.0-bin.tar.gz安装tar-zxvfhbase-2.2.0-bin.tar.gz修改配置hbase-env.shexportJAVA_HOME=/usr/local/apps/jdk1.8.0_141exportHBASE_MANAGES
小小白@·2020-08-22 15:07

zookeeper-3.4.5-cdh5.1.0 完全分布式安装

1.环境主机名IP地址JDKZooKeepermyidc1192.168.58.1291.7.0_11server.11c2192.168.58.1301.7.0_11server.22c3192.168.581311.870_11server.332.文件配置（每个节点都要配置）tar-zxvfzookeeper-3.4.5-cdh5.1.0.tar.gz2.1cpzoo_sample.cfgz
weixin_30657999·2020-08-21 22:21

大数据笔记（四）：Hadoop 2.7.7+Scala+Spark 完全分布式集群搭建

本文记录了使用3台物理机部署Hadoop完全分布式集群的过程，所使用系统为Ubuntu16.04LTS，Hadoop版本为Hadoop2.7.7。
Kevin@1997·2020-08-21 15:42

超详细的Hadoop3.1.2架构单机、伪分布式、完全分布式安装和配置

动手安装是最基础的实践，下面介绍一下单机、伪分布式和完全分布式安装与配置、测试过程，供有需要的参考。
caojianhua2018·2020-08-21 13:01

《Hadoop》之"踽踽独行"（十）快速搭建一个Hadoop完全分布式集群

截止到今天，我已经在博客中给大家介绍了hadoop的本地模式、伪分布式搭建，并且在《Hadoop》之"踽踽独行"（四）中也总结了在CentOS6.5平台上搭建的hadoop2.7.3集群的步骤。在那篇文章中，会涉及到一些原理，比如节点之间的SSH无密码登录,时间同步，防火墙设置以及在多节点之间的文件传输等等。当然，那样的集群搭建很适合理解搭建原理。现在呢，hadoop集群的搭建原理，我们也知道了，
从明老师·2020-08-21 13:21

01-centeros7下安装hadoop集群

分布式安装步骤a)安装Javab)创建unix用户账号及网络环境配置c)安装hadoopd)SSH配置e)配置hadoopf)格式化HDFS文件系统g)启动和停止守护进程2CenterOS7下hadoop完全分布式集群安装
wshsdm·2020-08-21 12:24

hadoop3.1.1完全分布式部署

环境：win10，vmware，centos7，jdk1.8，hadoop3.1.1默认是已经有一台虚拟机上已安装好centos7，已安装好jdk1.8并配置环境变量，并已在hadoop官网上下载到hadoop-3.1.1.tar.gz的压缩包。1、创建hadoop用户和hadoop组,接下来步骤都会在开头说明执行的服务器和用户：###hadoop101rootuseraddhadoop//创建h
xiaolin_wxl·2020-08-21 12:55

Hadoop3.3.0 完全分布式(Fully-Distributed Operation)集群搭建需要注意的地方

卷首：业精于勤，行成于思，荒于戏，毁于随。思来想去还是在这里记录一下吧，之前的所谓的顾虑是Hadoop版本在变化，没有一蹴而就的固定模式。但是在自己亲自过了一下官方的文档，阻断、前进、阻断、前进、再阻断、再前进，前进、进。最后，觉得还是有必要把过程大致记录或者说是还原一番，虽然这个事情比较浪费时间，但是如果可以帮助到一些人，也就值得了，不是吗？！--“战略上藐视敌人，战术(行动)上重视敌人“。在这
这个博客越来越坑啦·2020-08-21 12:51

ubuntu16.04LTS下Spark完全分布式搭建

本文章spark是在Hadoop2.7完全分布式环境下搭建的，相关配置如下：1、ubuntu16.04LTS2、jdk1.8._1113、Hadoop2.7.3一工具准备1.spark-2.1.0-bin-hadoop2.7
lpty·2020-08-21 05:16

Hadoop 3.0 完全分布式搭建

hadoop.apache.org什么是ApacheHadoop?ApacheHadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器，每台机器提供本地计算和存储。该库本身不是依靠硬件来提供高可用性，而是设计用于在应用层检测和处理故障，从而在一组计算机之上提供高可用性服务，每个计算机都可能出现故障。Hadoop项目包括以下几个模块：
什么都不会的码农丶·2020-08-21 00:33

hadoop完全分布式集群安装（hdfs/yarn/mysql/hive/hbase的安装）

准备好三台虚拟机，确保可以ping通百度pingwww.baidu.com如果ip已经配好可以ping通其他虚拟机，但是ping不通外网【连接在下面】如果遇到ping不通外网可以看看这个解决方案一、安装JDK将jdk压缩文件【一般用1.8版本】上传到其中一个节点的software下面]cd/opt]mkdirsoftware]mkdirapps解压JDK到/opt/apps下面并且重命名为jdk【
哇哈哈哈哈Q·2020-08-20 20:09

【Hadoop篇07】Hadoop集群脚本编写

积极乐观的态度是解决任何问题和战胜任何困难的第一步Hadoop集群脚本编写编写分发文件脚本应用场景如下：比如有三台主机master1,slave1,slave2如果简历完全分布式的集群就需要将文件从master1
focusbigdata·2020-08-20 17:30

【Hadoop篇07】Hadoop集群脚本编写

积极乐观的态度是解决任何问题和战胜任何困难的第一步Hadoop集群脚本编写编写分发文件脚本应用场景如下：比如有三台主机master1,slave1,slave2如果简历完全分布式的集群就需要将文件从master1
focusbigdata·2020-08-20 17:30

HBase应用Java API的HBaseAdmin来创建和编辑模式

远程链接hbase之前，保证hadoop集群上做HDFS确认是运行着的，Hbase完全分布式HA环境搭架参考：http://blog.csdn.net/liulihui1988/article/details
_kairui·2020-08-20 16:30

HDFS的API简单操作源码

1.基础环境搭建与要求1.Hadoop连接HDFS进行API操作2.hadoop集群已启动完全分布式3.有手就行2.代码1.创建文件：packagetest1_javaApi;importjava.io.IOException
无发可脱丶·2020-08-20 05:10

Hadoop+Spark分布式集群搭建过程

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程1.选取三台服务器（CentOS系统64位）114.55.246.88主节点114.55.246.77从节点114.55.246.93从节点之后的操作如果是用普通用户操作的话也必须知道
_lefer·2020-08-19 20:15

hadoop学习笔记之--完全分布模式安装

Hadoop完全分布式模式安装步骤Hadoop模式介绍单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker
iteye_4537·2020-08-19 10:19

Hadoop完全分布模式配置详解

完全分布式模式：在集群中所有机器节点上安装必须软件。本文实现完全分布式模式的安装，如下：硬件环境：三台电脑hadoop-1:172.20.213.2
竹林风·2020-08-19 09:31

Spark的伪分布式与完全分布式

/spark-shell--masterspark://bigdata121:7077完全分布式配置如下step1、修改vislaves里面的配置完全分布式需要在伪分布式基础上做少量修改,把bigdata121
JasonAndChen·2020-08-19 08:02

Hadoop 3.1.3 本地、伪分布、完全分布环境搭建 学习笔记

架构YARN架构MapReduce架构大数据生态体系二、Hadoop运行环境搭建（开发重点）虚拟机环境准备安装JDK安装Hadoop伪分布式启动HDFS启动YARN并运行MapReduce程序常用端口号完全分布式编写集群分发脚本
VanasWang·2020-08-19 08:45

完全分布式hdfs安装

完全分布式hdfs安装一、虚拟机的安装1.说明使用vmware安装四台centos，分别命名为node01、node02、node03、node04node01为上的hadoop为NameNode，node02
fanshuaiko·2020-08-19 07:43

hadoop-1.2.1完全分布式安装

配置hadoop集群首先选准备3台liunx机器（我用的Ubuntu虚拟机）Ubuntu还是Centos随便192.168.1.101h1(准备装成namenode)192.168.1.102h2(准备装成datanode)192.168.1.103h3(准备装成datanode)首先，联通这3台机子的使用ssh免密钥：我自己使用的都是root用户，因为懒的使用其他用户还要赋值权限生成ssh密钥命
阿童木-atom·2020-08-19 06:47
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他