hadoop集群搭建

大数据面试题之Hadoop集群搭建步骤

一、打开需要搭建Hadoop集群的主从节点服务器，配置好静态IP、主机名hostname、主机IP映射文件hosts、关掉防火墙二、通过远程登录工具（我用的是SecureSRT）登录到Linux系统，登录前需要在Windows系统中C:\Windows\System32\drivers\etc目录下的hosts中配置好Linux系统的ip地址和主机名，要不然远程登录工具无法连接到Linux系统三、
昨天感冒了·2018-02-27 23:45

hadoop学习笔记之hadoop集群搭建详细步骤

本次集群的搭建是在之前的伪分布集群的基础上实现的，如果没有搭建好伪分布集群，可参看之前的详细教程：hadoop学习笔记之hadoop伪分布集群搭建（一）hadoop学习笔记之hadoop伪分布集群搭建（二）hadoop学习笔记之hadoop伪分布集群搭建（三）hadoop学习笔记之hadoop伪分布集群搭建（四）hadoop学习笔记之hadoop伪分布集群搭建（五）如果按照以上的步骤成功搭建了ha
YF_Li123·2018-01-25 15:19

Hadoop集群部署实战

Hadoop集群搭建目录集群简介服务器准备环境和服务器设置JDK环境安装Hadoop安装部署启动集群测试集群简介在进行集群搭建前，我们需要大概知道搭建的集群都是些啥玩意。
我不是九爷·2018-01-24 13:36

hadoop2.9.0安装与配置 hadoop集群搭建

上一篇我们安装了Linux系统，想要搭建hadoop集群，还需要安装一些软件。比如JDK和hadoop，下面以JDK1.8和hadoop2.9.0为例介绍如何安装与配置。配置完一台Linux后只需要将这台机器复制几份后配置就完成了几群的搭建。首先还是去官网下载JDK1.8和hadoop2.9.0，我都是以tar方式安装。第一步下载压缩文件使用Xftp5将文件上传至Linux系统/usr/java下
一笑1874·2018-01-16 17:03

hadoop集群搭建（二）YARN高可用

[root@hadoop01~]#vim/usr/local/hadoop-2.7.1/etc/hadoop/yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.ha.enabledtrueyarn.resourcemanager.ha.automatic-failover.enabledt
梦的天际·2018-01-15 09:34

hadoop集群搭建及yarn集群分布式计算

hadoop集群搭建及yarn集群分布式计算启动hdfs集群并测试：1、格式化文件系统[hadoop@master01~]$hdfsnamenoad-format2、启动分布式稳步系统dfs.sh脚本[
weixin_30909575·2017-12-13 10:00

Hadoop集群搭建(HDFS和Yarn集群)

hadoop集群搭建(HDFS和Yarn集群)原创文章,未经允许不得转载1.安装hadoop2.7.4上传hadoop的安装包到服务器hadoop-2.7.4-with-centos-6.7.tar.gz
developer兴·2017-12-11 16:55

Hadoop学习

HDFS基本概念（块、fsImage、editlog、复本）NameNode（存储内容及更新）及DataNodeFsImage及EditLog复本安全模式HDFS文件操作方式文件读取文件写入压缩序列化Hadoop
Mervey·2017-12-11 14:22

Hive安装及启动异常解决

Hive的安装包和文档可以从这里获取：Hive官方文档Hive下载地址Hive源码地址2、Hive依赖于Hadoop，关于Hadoop的安装可以查看这里：Hadoop安装——启动模式，基本配置，启动方式Hadoop
he_321·2017-11-20 22:20

Hadoop集群搭建——环境配置

一、集群搭建注意问题说明1、此处集群环境搭建我使用了三台主机进行模拟，分别为：hadoop-series.bxp.comhadoop-series1.bxp.comhadoop-series2.bxp.com2、集群搭建前需要注意的问题：（1）集群中的节点的用户名登陆名和密码应当保持一致。（2）hadoop和jdk的安装目录应当保持一致。以上保持一致不是必须的，只是为了防止环境搭建过程中的不必要的
he_321·2017-11-15 10:33

centos7下完全式hadoop集群搭建

初入数仓坑，搭建hadoop集群折腾了几天险些让我崩溃，好歹是让我看到了结果：当然虽然过程坑了点耗费了相当心力，但好处是对配置的理解更明白了些，当然流程更是烂熟于心了。下面就开始总结吧：免密通信就不提了需要的话可以直接戳http://blog.csdn.net/qq_29186199/article/details/78428498。首先说下环境，我是在centos7下面安装的二进制hadoop包
Saint-at-home·2017-11-08 17:02

hadoop集群搭建-三台主机

CentOS7的配置从零开始学大数据。记录一些东西复习。在进行hadoop的搭建之前，我们需要对CentOS进行一些配置，以兼容简化hadoop的运行环境。在进行配置之前，我们进入CentOS系统，在用户界面选择NOListed？输入用户名root以及你配置的密码，默认密码为root。进入系统，选择你习惯的语言，开始你的Linux之旅。2.1.1系统配置进入系统后，右键OpeninTermiral
HotFrom·2017-11-05 11:35

hadoop集群搭建（hive、spark）

hadoop集群HA环境搭建准备工具VMware12安装包，破解序列号：5A02H-AU243-TZJ49-GTC7K-3C61Nubuntu14.04安装包(如果采用克隆或者直接复制的虚拟机，VMware需要重新生成一个mac地址)hadoop-2.7.1zookeeper-3.4.87台虚拟机虚拟机需要全部关闭防火墙，完全分布式模式也要将所有机器的防火墙关闭！否则zookeeper集群无法启动
守护者20091776·2017-11-03 22:33

HADOOP集群搭建实战（HA高可靠性模式）

一、环境安装3台服务器的搭建，为了好描述我把服务器的地址分成hadoop1、hadoop2、hadoop3,实际生产环境可以用域名来代替。注意：配置里面尽量用域名，不要用IP，因为我曾经用IP配置出现了主机服务器联系不上从者服务器集群规划：主机名hdfs主服务器，即namenodehdfs备用主服务器，也是namenodehdfs从服务器，即datanodezookeeper服务器yarn主服务器
POGITA·2017-10-24 17:20

建立在云主机上的完全分布式hadoop集群搭建

一开始我用的是公网ip来搭建的集群环境，最后遇到了namenode无法启动的问题：java.net.BindException:Cannotassignrequestedaddress;Formoredetailssee:http://wiki.apache.org/hadoop/BindException查了很多资料，最后说是ip的问题，可能是因为IP不在同一区域里，如果namenode的ip是
月光下一只赏月的猪·2017-10-18 15:36

Hadoop 简明教程

•Hadoop集群搭建对大规模分布式集群。
SeanC52111·2017-10-01 14:13

hadoop2.74+zookeeper3.4.10+hbase1.2.6完全分布式搭建

hadoop集群搭建至少3台以上节点，这里用VMware，虚拟出以5台centenOS6.5，分别为：node01~node05（hostname）1、基础配置（1）配置好每台机器ip，修改hostname
LiryZlian·2017-09-16 16:23

hadoop集群搭建-Mysql安装

##安装的版本是MySQL-5.6.22-1.el6.i686.rpm-bundle.tar其他版本安装步骤基本一致，官网进行下载##1.查看CentOS自带的mysql11.1输入：rpm-qa|grep-imysql2.将自带的mysql卸载2.1输入:rpm-e–nodepsmysql-XXXX.i6863.删除原旧版本剩余的文件rm-rf/var/lib/mysql*rm-rf/usr
qq_36711289·2017-09-05 10:22

hadoop集群搭建之hive安装

Hive只在一个节点上安装即可1.上传tar包2.解压tar-zxvfhive-0.9.0.tar.gz-C/cloud/3.安装mysql数据库（切换到root用户）（装在哪里没有限制，只有能联通hadoop集群的节点）mysql安装仅供参考，不同版本mysql有各自的安装流程rpm-qa|grepmysqlrpm-emysql-libs-5.1.66-2.el6_3.i686–nodepsrp
qq_36711289·2017-09-05 10:52

Hadoop集群搭建1Master、3Slaves

master.hadoop10.9.148.193slave1.hadoop10.9.148.190slave2.hadoop10.9.148.191slave3.hadoop10.9.148.192root123456hadoop1234561.重装系统Centos62.设置固定IPIPv4：手动地址子网掩码网关10.9.148.193255.255.255.010.9.148.1DNS：10.
拉普达男孩·2017-08-29 13:56

Hadoop集群下进行Zookeeper安装

在进行Zookeeper安装前，必须要有hadoop集群环境（hadoop集群搭建周末总结一下）和JDK环境。
Radom7·2017-08-24 17:29

云计算学习中的错误解决

Hadoop集群搭建参考网址：Hadoop单机模式和伪分布式搭建教程CentOS1etc/hosts文件如何立即生效？
张之海·2017-08-15 18:16

Hadoop入门（四）之hadoop集群搭建（一主二从）

我的Hadoop版本是hadoop-2.6.0、JDK1.7。Linux虚拟机工具：VMware、SecureCRT我们想要的效果是这样的：Master:[[email protected]]#jps2150Jps1837NodeManager1747ResourceManager1474DataNode1587SecondaryNameNodeslave1:[root@slave1~
wabishi_fly·2017-08-10 22:14

hadoop集群搭建(一)：系统安装（centos7+vmware12）

集群操作系统安装（centos7+vmware12）集群操作系统安装centos7vmware12环境说明安装克隆虚拟机环境说明操作系统CentOS-7-x86_64-DVD-1611下载地址：官网虚拟机VMwareWorkstation12Pro12.5.6安装新建虚拟机选择自定义一路自定义这里选择稍后安装处理器跟内存根据实际情况设置，个人建议一核一G就可以了我这里使用的是桥接，个人不喜欢用na
冇叶·2017-08-09 18:42

基于Hive的hadoop集群搭建详细解说

一：基于linux配置集群3台的操作要点0.配置集群前，首先要讲集群的配置图准备好hadoop102haooop103hadoop104namenode//datanodedatanodedatanodenodemanagernodemanagernodemanager(不用手动配置)/resourcemanager/jobhistory////secodarynamenode1.检查Linux配
牛大财有大才·2017-07-23 17:32

Zookeeper、hadoop集群搭建详细过程

一、概述学校安排的大数据实训课程刚结束,当时是跟着老师傻瓜式搭建的,遇到问题大多也是他帮忙解决的。然后自己开始学习一个电商项目,里面用到了集群的知识,于是得自己搭建一个集群,便于项目开发。至于他们的作用就不多少了,直接开始吧二、安装前环境准备集群规划：（安装集群之前，先规划下集群，考虑配置,ip，内存硬盘，cpu）主机名IP运行的进程liquanhong1192.168.0.1NameNode、J
成長中的小白·2017-07-17 22:34

Hadoop集群搭建之二 集群环境部署说明+SSH

一、集群软件选择及环境部署1.集群软件选择软件版本下载地址(尽量是官网)安装位置操作系统CentOS7http://101.96.10.26/isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso虚拟机中Javajdk-8u131-linux-x64.tar.gzhttp://www.oracle.com/t
金黄色的稻田·2017-07-14 19:53

ResourceManager HA 配置

陆续的把Hadoop集群部署、HDFS的HA配置完成，把ResourceManager的HA配置好之后，Hadoop集群配置也算是完整了，可以满足小型中型生产环境Hadoop集群搭建的需要。
看山·2017-07-11 16:38

hadoop集群搭建

hadoop集群架构1.启动3个linux服务器IP192.168.108.135192.168.108.136192.168.108.137主机名www.hadoop1.orgwww.hadoop2.orgwww.hadoop3.org硬件信息2G内存1CPU1G内存1CPU1G内存1CPUHDFS:NameNodeDataNodeDataNodeDataNodeSecondaryNameNod
黄信程·2017-06-24 15:29

Hadoop集群搭建过程中的常见问题（二）

今天这篇文章是接上次的文章：Hadoop集群搭建过程中的常见问题（一）的续篇，在这里继续列出一些我在使用HBase的过程中遇到的一些问题：1.
Alvin_blog·2017-06-18 20:46

第一章 hadoop集群搭建

1.搭建三台机子节点说明：hadoop1:NameNode,DataNode,NodeManager,SecondaryNameNode,ResourceManagerhadoop2:                   DataNode,NodeManagerhadoop3:                   DataNode,NodeManager2.配置三台环境（Linux文章有介绍）1）
superboyLM·2017-06-16 15:00

腾讯云hadoop集群搭建步骤，namenode/datanode启动问题

腾讯云hadoop集群搭建步骤及注意的相关问题步骤：防火墙处理/关闭防火墙【仅在服务器安全级别要求不高的环境下进行】配置完全分布式hadoop集群namenode/datanode启动问题1.防火墙处理最直接的方式
u012507864·2017-06-13 15:00

Hadoop集群搭建

Hadoop集群搭建准备工作ssh免登陆防火墙关闭分别创建hadoop、hdfs、yarn、mapred四个用户，并将hdfs、yarn、mapred三个用户添加到hadoop用户组中集群规划三个节点分别为
z1093776496·2017-06-06 22:00

hadoop集群搭建问题集锦

1.集群启动后，各DataNode成功启动但是在查询LiveNodes时与实际数量（3个）不符查看日志所示错误：2017-06-0616:35:08,850ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode:InitializationfailedforBlockpoolBP-749503087-220.192.10.13-1488958653
sunggff·2017-06-06 17:00

Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误...

25.集群搭建25.1HADOOP集群搭建25.1.1集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有
weixin_34348111·2017-05-29 02:00

CentOS7配置免密码登陆

最近在学习hadoop集群搭建时配置ssh免登录时按照网上的教程死活就是不能实现免登录。由于是在虚拟机里搭建的因此怀疑是不是和虚拟机的网络配置有关，然后在这个方向折腾半天仍然无济于事。
liaoguolingxian·2017-04-18 23:04

hadoop集群搭建

1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=itcast###1.2修改IP两种方式：第一种：通过Linux图形界面进行修改（强烈推荐）进入Linux图形界面->右键点击右上方的两个小电脑->点击Editconnections->选中当前网络Systemeth0->点击edi
yushiwh·2017-03-27 09:49

HADOOP集群搭建_apache官方源码方式搭建

一：准备工作1：安装好CentOS-6.6-x86_64-bin-DVD1.iso(本人安装了三个节点，详情见前文，不过网络模式需要修改为桥接模式）2：修改配置文件，linux系统命令行方式启动（实际生产中都是改方式，没有可视化界面）vi/etc/inittab#Defaultrunlevel.Therunlevelsusedare:#0-halt(DoNOTsetinitdefaulttothi
清纯玉面可爱小郎君·2017-02-16 07:13

Hadoop之Hbase------>Hbase集群搭建

一、环境准备1.zookeeper集群已经成功搭建------->zookeeper集群搭建2.hadoop集群已经成功搭建------->hadoop集群搭建3.hbase安装包下载地址：http:/
小虹尘·2017-01-03 09:33

hadoop集群搭建中的各种问题

集群规划192.168.152.129djt1namenodedatanodezookeeperresourcemanager192.168.152.130djt2namenodedatanodezookeeperresourcemanager192.168.152.131djt3namenodedatanodezookeeper一、集群时间同步问题首先修改时区为/Asia/Shanghai的，然
apple5962·2016-12-22 09:00

ZooKeeper 、HBase集群搭建

引言接着上一篇Hadoop集群搭建，继续搭建ZooKeeper和HBase集群。
molaifeng·2016-10-27 14:35

Hadoop集群搭建

Linux版本Centos6.5(64位)Hadoop版本Hadoop2.7.3其他所需软件java(1.7+)[安装、配置，参考http://blog.csdn.net/molaifeng/article/details/50160929]ssh[安装、配置，参考http://blog.csdn.net/molaifeng/article/details/51684086]vim[安装，yumi
molaifeng·2016-10-24 10:20

Hadoop集群搭建过程中DataNode与TaskTracker节点的问题

在Hadoop集群搭建的过程中,我们总会发现在slaves文件中的主机名既是DataNode也是TaskTracker，这是为什么呢？
a2011480169·2016-10-23 10:00

Hadoop集群搭建示意图即相应配置文件汇总

核心内容:1、Hadoop1.1.2伪分布(或集群)搭建核心配置文件2、Hadoop2.4.1伪分布(或集群无HA)搭建核心配置文件3、Hadoop2.4.1+HA集群搭建核心配置文件1、Hadoop1.1.2伪分布(或集群)搭建核心配置文件hadoop1.1.2伪分布(集群)搭建 前期准备(略) 安装hadoop1.1.2 1、解压缩 2、修改配置文件 -------------------
a2011480169·2016-10-22 16:00

Hadoop-2.7.3集群搭建中遇到的问题总结

0前言：1）Hadoop集群搭建参照前一篇博文Hadoop集群安装配置教程2）集群有三个节点：Master、Slave1、Slave2，其中Master只作namenode，其余两个从节点做datanode1
scuter_victor·2016-09-21 14:47

Hadoop集群搭建

目的本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。先决条件确保在你集群中的每个节点上都安装了所有必需软件。获取Hadoop软件包。安装安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为Job
iceworldvip·2016-09-17 21:06

Hbase1.2.2集群+Hadoop集群搭建

阅读更多HBase安装HBase的安装也有三种模式：单机模式、伪分布模式和完全分布式模式，在这里只介绍完全分布模式。前提是Hadoop集群和Zookeeper已经安装完毕，并能正确运行。第一步：下载安装包，解压到合适位置，并将权限分配给hadoop用户（运行hadoop的账户）这里下载的是hbase-1.2.2，Hadoop集群使用的是2.7.2，将其解压到/usr/local下并重命名为hbas
fengshulin·2016-08-08 18:00

Hadoop集群搭建详细步骤（2.6.0）

本文记录在3台物理机上搭建Hadoop2.6.0的详细步骤及碰到的问题解决。默认使用root账号操作，实际中建议使用专用的hadoop用户账号。1.环境机器：物理机3台，ip分别为192.168.1.130、192.168.1.132、192.168.1.134操作系统：CentOS6.6Java：1.7Hadoop:2.6.0请确保JDK已安装，使用java-version确认。hosts配置配
Lust-Ring·2016-07-12 22:05

Hadoop基础入门以及Hadoop集群搭建

HADOOPwhatishadoopHadoop是用于存储数据和商用硬件集群运行应用程序的开源软件框架，它提供了海量存储任何类型的数据，极大的处理能力和处理几乎无限的并发任务或作业的能力。WhatarethebenefitsofHadoopHadoop博得广大人群眼球的主要原因是它能够存储和处理大两数据的能力，可以支持任何类型的数据，计算快；随着数据量和品种的不断增加，特别是社交媒体和物联网行业，
太湖春春·2016-06-07 11:20

hadoop集群搭建HDFS、HA、 YARN

hadoop2.0已经发布了很多稳定版本，增加了很多特性，比如HDFSHA、YARN等。最新的hadoop-2.7.2又增加了YARNHA1、环境准备修改主机名、IP地址。这些在之前博客有提过就不再写了。配置IP地址和主机名映射关系。sudovi/etc/hosts集群规划：主机名IP安装的软件运行的进程spark01192.168.2.201jdk、hadoopNameNode、DFSZKFai
u013821825·2016-05-12 10:00
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他