hadoop集群搭建

Linux下Hadoop集群的搭建(1)—重新编译Hadoop

当然学习也是要一步一步的，在学习Hadoop集群搭建之前我们先学习一下怎样在自己的机器上编译出适合自己机器的Hadoop，这一篇我们就来学习怎么重新编译Hadoop搭建环境：CentOS
高寒竹林·2020-09-16 05:22

大数据平台核心技术-实验记录

大数据平台核心技术-实验记录一、前言二、实验内容实验一：Hadoop集群搭建实验二：使用MapReduce实现倒排索引三、实验过程记录2.1安装准备2.2Hadoop集群搭建1、安装文件上传工具2、JDK
月色很柔·2020-09-15 05:24

Hadoop集群搭建【web端不显示从节点问题】

系统：CentOS7环境：jdk8版本：hadoop-2.7.7结构hadoop01namedata、nodedatahadoop02nodedatahadoop03nodedata配置hadoop-2.7.7/etc/hadoop/hadoop-env.shexportJAVA_HOME=/opt/app/jdk1.8.0_221//这里是我的jdk安装目录配置hadoop-2.7.7/etc/
Kjctar·2020-09-15 05:57

大数据高频面试题-Hadoop相关总结

4.2Hadoop相关总结4.2.1Hadoop常用端口号4.2.2Hadoop配置文件以及简单的Hadoop集群搭建4.2.3HDFS读流程和写流程4.2.4MapReduce的Shuffle过程及Hadoop
Mr.WiG·2020-09-14 16:03

hadoop启动后某些节点未启动，hadoop主节点无法启动datanode DataNode

项目场景：hadoop集群搭建，主节点hadoop01无法启动datanode要注意的是：它们同时也都是DataNode节点。
文殊师利法王子·2020-09-14 13:30

hadoop集群搭建--伪分布式

前情提要。我们搭建了单节点也就是本地hadoop集群。我直接以此为基础扩展到伪分布式集群目录一、hadoop伪分布式操作系统软件要求三、配置详情1.安装虚拟机和配置网络2.上传jdk和hadoop安装VMwaretools设置共享文件夹3.安装jdk和hadoop解压jdk和hadoop创建软链接4.配置环境变量配置hadoop配置文件1.hadoop-env.sh2.croe-site.xml3
MengShi_·2020-09-14 10:41

最简单的-flume-ng-集群搭建

hadoop集群搭建方案hive单机搭建方案hbase集群搭建方案storm集群搭建方案flume集群搭建方案spark3集群搭建方案机器：10.211.55.67master10.211.55.68slave110.211.55.69slave2
夜幕.思年华·2020-09-13 19:51

大数据实操篇 No.2-Hadoop集群搭建

第1章集群规划Hadoop100Hadoop101Hadoop102NameNode√DataNode√√√SecondaryNameNode√ResourceManager√NodeManager√√√第2章下载安装到官网下载文件，解压到服务器上，此处略。第3章准备环境3.1配置ssh无密登录在/home/zihao/.ssh目录下（即~/.ssh）执行ssh-keygen-trsa连续三下回车
pezynd·2020-09-13 18:23

Flume-ng 高可用搭建-与测试

前提：1)五台虚拟机（三台也可以）2)flume单节点测试并学会3)hadoop集群搭建完成FlumeNG集群，架构图Flume的存储可以支持多种，这里只列举了HDFS角色分配名称HOST角色Agent1chun1WebServerAgent2chun2WebServerAgent3chun3WebServerCollector1chun4AgentMstr1Collector2chun5Agen
春_·2020-09-13 18:56

Hadoop Map/Reduce教程

Hadoop集群搭建对大规模分布式集群。
我是小M的粉丝·2020-09-13 13:37

hadoop集群搭建及zookeep的高可用

一、安装配置hadoop添加hadoop用户，设置密码[root@server1~]#useradd-u800hadoop[root@server1~]#lshadoop-2.7.3.tar.gzjdk-7u79-linux-x64.tar.gz[root@server1~]#passwdhadoopChangingpasswordforuserhadoop.Newpassword:BADPASS
qq_42241932·2020-09-13 12:33

Hadoop 相关命令说明

版本信息:Centos7+Hadoop2.7.2以下命令在Hadoop集群搭建一文里会有涉及，现将相关基本命令使用方法汇总如下。
siberiawolf61·2020-09-13 09:03

【集群搭建专题】——Hadoop集群搭建

Hadoop基础——HDFS——存储数据NameNode存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNodeDataNode在本地文件系统存储文件块数据，以及块数据的校验和。基本单位是块(block)，默认128M。SecondaryNameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照H
GodSchool·2020-09-12 21:53

Hadoop 集群 傻瓜式搭建手记 （一） 软件准备

主要参考资料当然是官方文档了：Hadoop集群搭建：http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.htmlHadoop快速入门
fox-_-·2020-09-12 19:11

hadoop集群搭建（docker）

背景目前在一家快递公司工作，因项目需要，对大数据平台做个深入的了解。工欲利其器必先利其器，在网上找了许多教程，然后自己搭建一个本地的环境并记录下来，增加一些印象。环境搭建1）Ubuntudockerpullubuntu:16.04dockerimagesdockerrun-tiubuntu:16.04系统运行后，安装一些小工具#aptupdate//weget#apt-getinstallwget
alx69793·2020-09-12 15:54

B站疯传！堪称最强！一整套大数据资料，白拿不谢！

视频资料01-Linux视频02-全网最全的Hadoop集群搭建视频03-深度揭秘世界级分布式文件系统HDFS架构设计04-老司机带你自研RPC05-老司机带你自研分布式文件系统06-老司机带你自
过往记忆·2020-09-12 11:39

Hadoop与Spark整合

搭建Hadoop集群搭建Hadoop集群请参考博文《Hadoop集群搭建及wordcount测试》，在此不再赘述。
czliuming·2020-09-12 08:31

本地Java代码访问hadoop集群时错误Access denied for user ??. Superuser privilege is required错误解决办法

hadoop集群搭建好之后，本地通过javaapi访问hadoop集群，java代码如下packagech4;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration
赵北北北北北·2020-09-12 03:36

解决hadoop集群搭建中的INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master/（ipv4）问题

在虚拟机环境中搭建hadoop完全分布集群，发现在HadoopResource-Managerweb界面master：8088和NameNodeHDFSWeb界面master：50070中livenodes显示为0。而slave节点中使用jps命令查看datanode和nodemanager启动正常，虚拟机之间可以相互ping通，ssh免密登录也没有问题。分析可能是端口问题因为core-site-
李广先·2020-09-12 02:09

大数据离线-Hadoop入门（下）

1.Hadoop集群搭建发行版本Hadoop发行版本分为开源社区版和商业版。社区版是指由Apache软件基金会维护的版本，是官方维护的版本体系。
xipenfei·2020-09-10 10:38

大数据学习之Hadoop集群搭建（二）

目录一、Hadoop集群规划二、配置样板节点1、虚拟机硬件信息2、本地登录配置（1）root用户登录（2）关闭防火墙（3）修改主机名和IP地址（4）配置hosts（5）创建用户设置密码（6）添加sudo权限（7）切换用户验证sudo命令（8）创建软件安装目录3、远程登录配置（1）Xshell远程登录（3）安装jdk和hadoop（4）修改hadoop配置文件（5）配置主机免密登录三、克隆样板节点搭
青衫红叶·2020-08-26 11:23

(Hadoop集群搭建) 3.Hadoop节点安装前的准备—SSH免密登录设置

上篇我们已经完成了节点的网络配置和域名解析。本篇我们将完成SSH免密登录设置。在此以前要保证每个节点都有相同的用户名，如果用户名不相同建议用超级用户创建新用户，并将该新用户加入wheel用户组以获得sudo权限（相关命令会在本文末尾给出）。~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~下面进行SSH免密登录设置：关闭防火墙（如果不关闭防火墙，无法进行SSH免密登录）a.检查
Sibyl_Lqq·2020-08-25 11:13

sqoop环境搭建与基本导入导出

sqoop用户指南：http://sqoop.apache.org/docs/1.4.4/SqoopUserGuide.htmlsqoop环境搭建（在hadoop集群搭建好的基础上）1、上传sqoop-
ZqianLOYALTY·2020-08-24 22:52

Hadoop集群搭建（三个节点）--摘要

前置准备：1、修改主机名，永久生效（不同版本方式不同）centos6修改hostname[root@centos6~]$hostname#查看当前的hostnmaenode1[root@centos6~]$vim/etc/sysconfig/network#编辑network文件修改hostname行（重启生效）[root@centos6~]$cat/etc/sysconfig/network#检
Erase Me·2020-08-23 18:56

HDFS HA搭建 （ZKFC自动故障转移）

基本集群搭建见这篇博客：hadoop集群搭建笔记在基本集群搭建上配置下述文件HA搭建配置：hdfs-site.xmldfs.replication3dfs.nameservicesmyclusterdfs.ha.namenodes.myclusternn1
.破晓.·2020-08-22 22:58

hbase+zookeeper集群搭建

（博客源址http://blog.chinaunix.net/uid-23916356-id-3255678.html）继上一篇的hadoop集群搭建的基础上，再把hbase和zookeeper（独立部署
lxf310·2020-08-22 17:25

Windows 7平台利用Vmware Workstation 11虚拟机搭建Hadoop 2.7.4基于Ubuntu kylin 14.04集群环境

本文的Hadoop集群搭建在VmwareWorkstation11之
dumbbellyang·2020-08-22 09:40

(Hadoop入门系列一)Hadoop集群搭建

Hadoop所需环境配置操作系统：Ubuntu1604-64位Hadoop版本：Apachehadoop2.6.1配置集群hostnameHadoop集群由一个master节点和一个slave节点组成：hostnameIP进程hadoop-master10.111.131.65NameNodeandJobTrackerhadoop-slave10.111.131.67DataNodeandTask
jy_arm·2020-08-21 14:25

hadoop集群搭建

Hadoop运行环境搭建1.环境准备1.修改主机名2.关闭防火墙3.创建hadoop用户4.配置hadoop用户具有root权限5.在/opt目录下创建文件夹（1）在/opt目录下创建module、soft文件夹sudomkdirmodulesudomkdirsoft（2）修改module、software文件夹的所有者sudochownhadoop:hadoopmodule/soft/2.安装J
allen398·2020-08-21 14:26

hadoop集群搭建

hadoop集群搭建1.创建虚拟机centos6.5的镜像链接：https://pan.baidu.com/s/1aNW5lWGqqoWp0vln6klJMA提取码：9r4c步骤可以去看这篇博客：https
sj天问·2020-08-20 04:59

Call From master/192.168.128.135 to master:8485 failed on connection exception: java.net.ConnectExce...

hadoop集群搭建了ha，初次启动正常，最近几天启动时偶尔发现，namenode1节点启动后一段时间（大约10几秒-半分钟左右），namenode1上namenode进程停掉，查看日志：12017-08
weixin_30321709·2020-08-18 12:06

数仓数据通道之用户行为搭建

关闭防火墙1.6配置域名映射1.7文件夹准备1.8修改windows的hosts2免密登陆2.1生成密钥2.1拷贝密钥至其它机器3安装JDK配置环境变量（jdk1.8）4编写集群分发文件脚本（分发文件）一hadoop
Master_slaves·2020-08-18 10:42

Hadoop集群搭建详解

写在前面在刚开始接触hadoop的时候，在学习了好多久，有一些不仔细导致掉了好多坑，后面搭建成功写下这篇文章希望能帮助到更多人少掉坑。我的惯例先介绍各个版本：系统环境：LinuxMint18.2（Ubuntu16.04）hadoop版本：hadoop2.7.1其次我用到了两台电脑作为集群的节点，应用如下：节点类型节点机器名称IPmastermryang192.168.27.228slavework
丶点小非·2020-08-16 22:13

Hadoop集群搭建(四)

Hadoop之zookeeper安装软件版本选用Zookeeper的3.49版本，软件包名zookeeper-3.4.9.tar.gz1、Zookeeper基本安装配置★该项的所有操作步骤使用专门用于集群的用户admin进行。★此项只在一台主机操作，然后在下一步骤进行同步安装与配置。配置环境变量vi~/.bash_profile使环境变量生效且验证source~/.bash_profileecho
浅陌''·2020-08-16 22:59

Hadoop集群搭建之虚拟机-Vmware（一）

一、Vmware虚拟机的介绍--------------------------------------------------------------------------------VMware公司简介:威睿（英语：VMware,Inc.）是一家全球著名的软件的公司，它提供云计算和硬件虚拟化的软件和服务，并号称是第一个商业化的成功的虚拟化的x86架构。公司成立于1998年，VMware的总部
weixin_33782386·2020-08-16 21:43

大数据环境搭建之Hadoop集群搭建

作者：Neshoir  Hadoop是目前市面上比较主流的开源分布式存储及分布式大数据计算框架，其具有高可靠，高可用，可扩展性强等特点，其设计允许简单的编程模型跨计算机集群处理大规模数据集，框架本身不依赖于硬件的可用性，而是利用设计在应用程序层检测和处理故障。Hadoop项目包含的组件模块有Common，HDFS，MapReduce，YARN等。HadoopCommon：一些列的核心通用接口，用于
supermapsupport·2020-08-16 20:57

基于Docker搭建Hadoop集群

原文地址：http://kiwenlau.com/2016/06/12/160612-hadoop-cluster-docker-update/一、三节点Hadoop集群搭建步骤1.下载Docker镜像
stefanie927·2020-08-16 20:43

hadoop学习笔记3：分布式搭建及测试

hadoop学习笔记3：集群/分布式搭建及测试hadoop学习笔记3集群分布式搭建及测试节点网络配置ssh无密码登陆节点Hadoop分布式配置hadoop分布式实例测试记录一下hadoop集群搭建，使用
SingleOneMan·2020-08-16 18:27

hadoop集群配置

hadoop集群搭建1.准备虚拟机4台分别为hadoop101：192.168.12.101hadoop102：192.168.12.102hadoop103：192.168.12.103hadoop104
___亮·2020-08-16 18:19

HADOOP集群搭建

集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起（也就是说需要分别部署HDFS集群和YARN集群，但是这两个集群在一个机器上部署）HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNodeYARN集群：负责海量数据运算时的资源调度，集群中的角色主要有ResourceManager/NodeManager(那map
weixin_30241919·2020-08-16 18:54

hadoop学习笔记（一）：hadoop集群搭建

hadoop集群搭建阅读目录一、准备工作：二、搭建Hadoop集群：回到顶部一、准备工作：1、环境：CentOS6.4-64bitJDK1.7-64bit基于虚拟机拷贝4个虚拟机，一个作为Master，
跨链技术践行者·2020-08-16 17:40

hadoop集群搭建

1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=itcast###1.2修改IP两种方式：第一种：通过Linux图形界面进行修改（强烈推荐）进入Linux图形界面->右键点击右上方的两个小电脑->点击Editconnections->选中当前网络Systemeth0->点击edi
weixin_34363171·2020-08-16 09:45

Hadoop开发环境搭建-Eclipse插件配置

上面的几篇文章已经详细的记录了我的Hadoop集群搭建过程，成功搭建了由一个Master和两个Slave构成的简单的Hadoop-1.2.1集群，下面通过在Eclipse中安装Hadoop插件的方法搭建
米范engineer·2020-08-16 06:41

【Hadoop集群搭建第三期】集群节点配置

【Hadoop集群搭建第一期】Ubuntu中的Hadoop及Java环境的安装和配置：https://blog.csdn.net/DXH924/article/details/103832306【Hadoop
DXH924·2020-08-15 21:59

【Hadoop集群搭建第二期】节点克隆及SSH无密码验证配置

【Hadoop集群搭建第一期】Ubuntu中的Hadoop及Java环境的安装和配置：https://blog.csdn.net/DXH924/article/details/103832306上一期完成了
DXH924·2020-08-15 21:28

Hadoop Day01

HADOOP集群搭建安装lrzsz[root@hdp01hadoop]#yum-yinstalllrzsz上传文件到hdp01：首先在/home新建文件夹[root@hdp01home]#mkdir-p
Bailulu000·2020-08-15 13:15

Hadoop(二)——分布式集群搭建

下边讲述一下我的Hadoop集群搭建过程，由于条件有限，也是在虚拟机中进
~小龙~·2020-08-15 07:13

jdk和hadoop集群对不同版本hbase的支持情况

HBaseVersionJDK7JDK82.0NotSupportedyes1.3yesyes1.2yesyes比较老的hbase版本的支持情况见下图：不同版本的hadoop对不同版本的hbase支持也不同，因此我们选择集群hadoop
xiaozhuangyumaotao·2020-08-14 22:48

CentOS7下Hadoop集群搭建

文章目录1、概念1.1、主从结构1.2、Hadoop集群角色名称2、安装前准备2.1、安装软件准备2.2、Hadoop集群服务器规划3、安装3.1解压文件3.2修改配置文件3.2.1.修改`hadoop-env.sh`配置3.2.2.修改`core-site.xml`配置3.2.3.修改`hdfs-site.xml`配置3.2.4.修改`mapred-site.xml`配置3.2.5.修改`yar
leo825...·2020-08-14 20:16

Hadoop集群搭建及运行自带的wordcount程序

slave1,slave2的配置与master1的所有配置均一致（除了静态ip不同），以下所有配置，三台主机都需配置。1.搭建环境在虚拟机中搭建hadoop集群。软件版本操作系统centOSLinux7、Windows10JDKjdk1.8.0_162Hadoophadoop-2.7.1XshellXshell6（连接集群）浏览器ChormeVMware12.5.6build-5528349集群（
JAnedun·2020-08-14 13:58
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他