Hadoop集群搭建

黑马12期大数据教程（hadoop,storm,kafka,hbase,hive,sqoop）

对海量数据处理的解决思路05-hadoop版本选择和伪分布式安装06-hadoop版本选择和伪分布式安装207-hdfs&mapreduce测试08-hdfs的实现机制初始09-hdfs的shell操作10-hadoop
chuiyan4425·2020-07-13 03:49

HBase的安装配置和使用Java连接

Hadoop集群搭建可参考：http://blog.csdn.net/yanhang0610/article/details/518965451系统环境系统：CentOS7.0。
yanhang0610·2020-07-12 18:22

Hadoop集群搭建 -------未完！！！！！！

前言：1）Vmware网络模式介绍。参考：http://blog.csdn.net/collection4u/article/details/141276712）Hadoop部署模式有：本地模式（Local(或Standalone)Mode）、伪分布模式、完全分布式模式、HA完全分布式模式。区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块
xiaozhu_you·2020-07-12 16:42

Hive 2.3.x 使用 MySQL存储元数据 安装部署

1、集群规划本文前置基础Hadoop安装部署参照之前的Hadoop集群搭建的那篇博客：CentOS7环境下Hadoop3NameNodeResourceManagerHA集群搭建现在NameNode1节点上安装部署
青羿之羽·2020-07-11 22:39

Hadoop集群搭建七 MYSQL平台的安装和使用

Hadoop集群搭建七MYSQL平台的安装和使用MySQL数据库的集群版本有管理节点、数据服务节点、SQL服务节点总共3类服务节点，集群中要求至少一台单独的主机作为管理节点，而集群模式需要满足数据有备份和数据处理能够分布并行的基本要求
离人散·2020-07-11 20:09

1、hadoop3.1.3 分布式集群搭建的详细教程

hadoop集群搭建教程>hadoop知识背景1、创建虚拟机2、用户登录过程中遇到的问题2、修改镜像源为阿里云镜像3、更改用户名和主机名4、安装配置hadoop开发环境（1）安装SSH、配置SSH无密码登陆若已建立了多台虚拟机
将进酒杯莫停。·2020-07-10 18:11

查漏补缺-Hadoop集群搭建记录

Hadoop集群搭建一、虚拟机设置准备三台虚拟机，内存2g，硬盘20g设置hostname，master/slave1/slave2CentOS6版本修改network文件：vi/etc/sysconfig
赵庆春·2020-07-10 05:03

hadoop集群搭建中遇到的问题及解决方法

1、zookeeper启动报错，JMXenabledbydefaultUsingconfig:/home/hadoop/app/zookeeper/bin/…/conf/zoo.cfgErrorcontactingservice.Itisprobablynotrunning.问题解决：时钟不一致，没有创建zkdatalog目录2、zookeeper启动报错如下：2019-09-0416:07:11
sunqingok·2020-07-10 02:46

Hadoop集群搭建(一) 三台虚拟机的创建与联网

实验环境1.centos6.92.vmware15hadoop和jdk连接：https://pan.baidu.com/s/1Ffo4mR7sKU-qdp29AYjB1g提取码：7sih一.虚拟系统搭建环境准备:这里是已经安装好系统的虚拟机，具体系统安装步骤本篇不做介绍1.已经装好系统的虚拟机文件夹2.复制两份然后依次在vmware中打开3.使用vmware依次加载三台机器的规划IP地址主机名第一
粒质·2020-07-10 01:56

Hadoop集群搭建六 HBase高可用集群的安装及应用

HBase高可用集群的安装及应用集群规划HBase有主节点和Region节点2类服务节点，高可用完全分布模式中需要满足主节点有备用的基本要求，所以需要两台或以上的主机作为主节点，而完全分布模式中需要满足Region有备份和数据处理能够分布并行的基本要求，所以需要两台或以上的主机作为Region节点；主机名IP地址服务描述Cluster-01192.168.10.111HBase主控节点Cluste
离人散·2020-07-10 00:46

hadoop集群搭建四 hadoop高可用集群的安装

hadoop集群搭建四hadoop高可用集群的安装实验需要的.xml文件模板在下载区可下载一、实验准备二、Hadoop基本安装配置该项操作均在集群用户admin下进行，只在一台主机上进行操作其他的主机进行同步安装与步骤
离人散·2020-07-10 00:46

Hadoop集群搭建

Hadoop集群搭建记得完成hadoop的搭建：https://blog.csdn.net/liu1340308350/article/details/105135800hadoop集群搭建：也就是要修改以下文件修改方法
抿一口可乐·2020-07-09 19:58

hadoop集群搭建的常见错误

安装hadoop常见错误整理：（这里会不断地添加，也希望大家多提一些错误一起解决）1.Hadoop初始化错误INFOorg.apache.hadoop.ipc.Client:Retryingconnecttoserver:uec-fe/16.157.63.10:9000.Alreadytried0time(s).这种情况对数出现在启动namenode时成功，但是运行job时就会一直连接。通过查看T
iteye_4537·2020-07-09 17:05

Hadoop集群搭建过程中遇到的问题

1.要先搭建zookeeper在再搭建hbase而且搭建hbase的时候hbase_env.sh里面的HBASE_MANAGES_ZK=false不能等于true,因为hbase本身自带zookeeper，所以要把hbase里面的zookeeper关掉，，，才可以。2.在一些配置conf里，有的有两个binsbin所以在配置环境变量的时候要写全！！！exportSPARK_HOME=/usr/lo
jiku_wang·2020-07-09 12:26

Hadoop集群搭建过程中的常见问题（一）

Hadoop集群搭建常见问题本人近期也一直在搭建Hadoop的相关环境，包括hadoop的搭建、zookeeper的搭建已经hbase的部署，这过程中也遇到了形形色色的问题，中间的过程也是十分的抓狂。
Alvin_blog·2020-07-09 10:05

从零搭建Hadoop+zookeeper+hbase+hive完全分布式环境（02）——Zookeeper

在上一篇Hadoop集群搭建的基础上搭建zookeeper集群Hadoop集群](https://editor.csdn.net/md/?
AloneCD·2020-07-09 10:05

ubuntu 虚拟机 完全分布式 hadoop集群搭建 hive搭建 ha搭建

针对分布式hadoop集群搭建，已经在四台虚拟机上，完全搭建好，这里针对整个搭建过程以及遇到的问题做个总结，按照下面的做法应该能够比较顺畅的搭建一套高可用的分布式hadoop集群。
CodingBoy121·2020-07-09 09:43

大数据hadoop集群的搭建总结及步骤

CentOS6.5mini版hadoop集群搭建流程CentOS7系列：关闭防火墙：systemctlstopfirewalld禁止防火墙开机启动：systemctldisablefirewalld安装虚拟机的时候需要配置好主机名和网络主机名
夕阳下的独行者·2020-07-08 00:10

hadoop集群搭建

说明：环境cenots7.5jdk8hadoop2.7.2集群节点说明：（此处为公网ip）39.100.131.85hadoop1NameNode、DataNode、NodeManager（对应内网ip：172.26.90.185）47.92.83.71hadoop2DataNode、ResourceManager（对应内网ip：172.26.90.187）39.100.67.111hadoop3
段段小胖砸·2020-07-07 18:28

Hadoop上安装Hive的步骤--易安装

客户端的连接方式可采用：commandline和JDBCDriver注意：Hive实质就是客户端，不存在主从结构，搭建过程没有集群概念；2.搭建Hive前提：a.Hadoop集群搭建完成！
小A__·2020-07-06 09:15

树莓派hadoop集群搭建

软件版本：hadoop-2.6.4；hbase-0.98.20-hadoop2；zookeeper-3.4.6使用的源：debhttp://mirrors.ustc.edu.cn/raspbian/raspbian/jessiemaincontribnon-freerpideb-srchttp://mirrors.ustc.edu.cn/raspbian/raspbian/jessiemainco
小五-·2020-07-06 08:24

Hadoop集群搭建之环境变量配置

关于hadoop和jdk安装好之后环境变量配置问题jdk环境变量配置编辑/etc/profile[[email protected]]$vim/etc/profile在最后添加（把JAVA_HOME的路径改成你自己jdk安装的路径）##JAVA_HOMEexportJAVA_HOME=/opt/module/jdk1.8.0_144exportPATH=$PATH:$JAVA
老菜啦·2020-07-06 04:40

大数据学习之路--搭建hadoop集群一键免密登录，以及分发部署脚本

关于hadoop集群搭建的内容比较多，这里主要介绍三个与集群搭建相关的三个shell脚本。1.一键生成免密登录脚本①visshpass.sh#!
weixin_42823956·2020-07-06 04:42

Hadoop集群搭建之hive安装配置

一、环境1.操作系统：CentOS6.22.java环境：jdk1.6.0_383.hadoop版本：hadoop0.20.24.hive版本：hive-0.9.0二、先决条件操作系统已经安装配置完成java环境、hadoop和mysql三、安装步骤#之后的都为命令（一）解压hive包1、将hive压缩包放在/home/hadoop目录下2、解压hive压缩包#tar-zxvfhive-0.9.0
rootke·2020-07-05 11:13

centos7大数据集群搭建-hadoop集群搭建大全

centos7大数据集群搭建转载地址https://www.jianshu.com/p/ddb868bd97cdcentos7大数据集群搭建前置条件刚开始我hadoop是cdh版,后期由于学的太多，软件版本混杂，又转了Apache版，但是cdh及收购的CM也是一大优势。为了方便我这里写的是Apache版的。设置主机名。有起码三台虚拟机，且各本机名和ip地址明确，写在vim/etc/hosts，每台
辅猪之王·2020-07-05 07:10

Hadoop集群搭建（四：Zookeeper环境安装）

实验目的要求目的：1、掌握在完全分布模式的整合平台中Zookeeper的完全分布模式的安装要求：完成Zookeeper的完全分布农事的安装；Zookeeper服务能够正常启动和连接；Zookeeper控制台能够正常进入；Zookeeper控制台命令能够正常使用实验环境五台独立PC式虚拟机。主机之间有有效的网络连接每台主机内存2G以上，磁盘50G。所有主机上安装CentOS7-64位操作系统。所有主
Eyeshort·2020-07-05 06:50

01_Hadoop集群搭建

1.什么是hadoophadoop中有3个核心模块：HDFS（分布式文件系统）：将文件分布式存储在多台服务器上MAPREDUCE（分布式运算编程框架）：多台服务器并行运算YARN（分布式资源调度平台）：帮用户调度大量的MAPREDUCE程序，合理分配资源2.HDFS整体运作机制HDFS（分布式文件系统）：一个HDFS系统，是由一个运行namenode的服务器和若干运行datanode的服务器组成h
会摄影的程序员·2020-07-04 14:46

在linux下使用shell脚本自动化完成hadoop集群搭建

学习hadoop时，发现如果在linux下搭建集群，一个一个的去配置，会感觉很累。所以写了一个自动话搭建集群的shell脚本我使用的文件：jdk-7u75-linux-x64.gz;hadoop.tar.gz;以及一个解压hadoop后，需要配置的文件的tar包1.tar实现思路：首先只配置主节点的环境变量和域名映射（/etc/profile和/etc/hosts）然后看下面shell脚本：#!/
chengguixian0057·2020-07-04 13:43

02.hadoop集群搭建之免密登录

1.配置每个节点的hostsvi/etc/hosts192.168.136.16master1192.168.136.17master2192.168.136.18node1192.168.136.19node22.每个节点生成公钥私钥[[email protected]]$ssh-keygen-trsaGeneratingpublic/privatersakeypair.Enterfilein
bigdata_li·2020-07-04 12:24

大数据学习之Hadoop集群搭建（一）

目录一、环境准备1、VMware-windows版下载安装2、Xshell和Xftp-windows版下载安装3、CentOS系统下载4、压缩包下载二、VMware配置1、网关IP设置2、子网IP设置三、准备虚拟机1、安装CentOS（1）新建虚拟机（2）自定义安装（3）选择兼容性（默认）（3）稍后安装操作系统（4）选择操作系统（5）命名虚拟机（6）处理器配置（7）虚拟机内存设置（8）选择网络类型
青衫红叶·2020-07-04 06:05

hadoop集群环境下hbase安装步骤（环境及相关文件配置）

文章目录一、hbase安装前必备步骤1.hadoop集群搭建2.zookeeper安装步骤（hbase依赖于zookeeper）二、hbase安装步骤1.将hbase拖入opt文件夹中2.解压安装包并删除安装包
:）คิดถึง·2020-07-04 03:34

hadoop集群环境下hive安装的详细步骤

文章目录一、hive安装前必备步骤1.hadoop集群搭建2.MySql安装（建议在非主节点的虚拟机上安装）二、安装hive（安装在主节点上）1.将hive拖入到opt文件夹2.解压hive-1.1.0
:）คิดถึง·2020-07-04 03:34

hadoop集群环境下zookeeper安装的详细步骤

文章目录一、Hadoop集群搭建二、zookeeper安装及配置（每一台虚拟机上都需要安装）1.将zookeeper拖入到opt文件夹中2.解压zookeeper-3.4.6.tar.gz3.配置环境变量
:）คิดถึง·2020-07-04 03:34

hadoop集群搭建【伪分布式】

一、hadoop集群搭建前准备在linux中安装好jdk，配置好jdk环境变量安装好hadoop单机版注：如果单机版不会安装，可以点击下面连接去查看hadoop单机版安装二、安装hadoop集群复制单机版
lyq7269·2020-07-04 00:10

hadoop集群搭建_centos7配置静态IP

1.网络配置设为NAT模式虚拟机中选中节点,设置–>虚拟机设置—>网络适配器—>NAT模式2.网络配置打开虚拟机,选中需要修改的节点,步骤如下:编辑—>虚拟网络编辑器—>VMnet8(NAT模式)—>移除网络—>添加网络(VMnet8)—>NAT模式(移除网络是为了在“添加网络”时进行重新分配网段)新的网关IP(静态IP设置时需要用到)2.静态IP设置centos7下,roo用户进行如下操作:查看
flyplayer12·2020-07-02 00:04

spark yarn集群搭建（三：spark集群搭建）

sparkyarn集群搭建（一：准备工作）sparkyarn集群搭建（二：hadoop集群搭建）Master节点配置：进入/datamgt目录下下载二进制包spark-2.3.1-bin-hadoop2.7
无忧默言·2020-07-01 04:16

基于Vmware Workstation上的hadoop集群搭建Spark集群

Hadoop集群搭建成功，距离Spark集群就只有一步之遥了。因为Spark框架本身就可以建立在Hadoop的hdfs基础之上。
dumbbellyang·2020-06-30 05:00

Hive搭建

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能，Hive底层是将SQL语句转换为MapReduce任务运行一、前期准备1.保证Hadoop
❤_Queen·2020-06-29 07:16

CDH私有部署

这里涉及两方面的主要工作：1、hadoop集群搭建与维护工作2、搭建完成之后的技术方案迁移稳定性二、Hadoop集群的本地搭建方案业界内提供有多种开源搭建Hadoop集群的方式，目前比较成熟的
ioyow·2020-06-29 07:23

Hadoop集群环境搭建

一、主要内容Hadoop集群搭建主要分为以下几个步骤：1.安装虚拟软件VMwareWorksation2.配置虚拟机3.集群虚拟机4.搭建Hadoop2.10.0分布式集群*注链接包含所需环境搭建所有文件下载安装包密码
一角灯辉·2020-06-29 01:27

Docker中向镜像修改配置文件的方式

在使用一些开源镜像的过程中发现了一些对镜像文件进行的方式，这里以hadoop集群搭建和storm集群搭建为例介绍两种修改镜像内配置文件的方式。
superXX07·2020-06-28 00:34

文章目录

1.大数据系列Hadoop：Hadoop-伪分布式安装、Hadoop集群搭建-full完全分布式、Hadoop集群搭建-HA（手动切换）flink：ApacheFlink系列（1）-概述2.Java开发系列
weixin_30439067·2020-06-27 19:49

用浏览器不能访问hadoop集群！！！！

----当我们把hadoop集群搭建好后，用浏览器去不能访问，但是在自己的linux上去能能访问，这是为什么呢？
EricJeff_·2020-06-27 11:11

Hadoop集群搭建-完全分布式

本文通过12个步骤实现Hadoop集群的完全分布式搭建如有错误请指出文章目录1.服务器准备2.网络环境准备3.服务器系统设置4.JDK环境安装5.Hadoop安装6.Hadoop文件配置：hadoop-env.sh（hadoop运行环境相关脚本）core-site.xml（hadoop核心配置）hdfs-site.xml（分布式文件系统HDFS相关配置）mapred-site.xml（MapRed
塔贝·2020-06-27 09:41

【Hive】Linux(Centos6.5)环境下Hive的安装和配置MySQL

Hive的安装和配置Hadoop的安装和配置可见：Hadoop集群搭建-完全分布式文章目录Hive的安装和配置Mysql安装Mysql配置hive-site.xml配置配置Hive日志存放位置配置本次启动时的配置
塔贝·2020-06-27 09:41

基于树莓派的Hadoop集群搭建

此为突发奇想写的，还没更新完成，里面有的内容出入还没更改，图片明天再加，内容再改。由于本人需求，所以在四个树莓派上搭建了一个极小的Hadoop集群，请勿喷我的工作无用，都说了是我需要才这样做的，手动再见！工作并非完全个人创造，在基于网上貌似唯一一篇介绍树莓派搭建Hadoop集群的过程文章后根据个人现状进行修改完成，原本已有人搭建过相应内容，所以树莓派系统内部混乱，后来也没有完全清理，有些易于常人的
盐井很闲又有钱·2020-06-27 08:58

Hadoop集群搭建（三台电脑）

电脑的操作系统是Ubuntu12.0432位，ubuntu-12.04.4-desktop-i386.iso。集群介绍：三台电脑的用户名都为hadoop主机名：master10.10.6.176服务机：slaver110.10.6.242；slaver210.10.6.131一、配置以下是三台机器都要安装和相同配置在/etc/hostname下修改自己的机器名在/etc/hosts下将所有机器名和
kevin_vv·2020-06-27 07:46

基于docker-compose的hadoop集群搭建

非docker的版本可以参见之前的文章docker-compose.yml这个配置文件是根据bde2020文件略作调整,去掉了tag信息(可以拉取latest)和volume信息,另外也去掉了restart配置version:"3"services:namenode:image:bde2020/hadoop-namenodecontainer_name:namenodeports:-9870:98
首席IT民工·2020-06-27 03:47

Hadoop集群搭建

环境安装环境环境配置LinuxCentos6.5JavaJDK1.8HadoopHadoop2.7.3节点配置创建用户组groupaddhadoopuseraddhadoop-ghadoopJDK安装需要提前安装好jdk，jdk版本参考：https://wiki.apache.org/hadoop/HadoopJavaVersionsssh免密码登陆分别在三台机器生成ssh公钥和私钥ssh-key
零度沸腾_yjz·2020-06-26 23:29

大数据系列之hadoop（三、HA hadoop集群搭建）

HAhadoop集群完美搭建此博文可以堪称史上最全、宇宙最详细的HAhadoop集群搭建攻略，是本人呕心制作，亲自搭建完成后的全过程笔录。
snail_bing·2020-06-26 13:55
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他