Hadoop集群搭建

Hadoop3 集群新增DataNode/NodeManager节点

1、集群规划本文一些基础设置参照之前的Hadoop集群搭建的那篇博客：CentOS7环境下Hadoop3NameNodeResourceManagerHA集群搭建现需要新增一台服务器，新集群规划如下：IPHostName
青羿之羽·2020-08-14 11:41

centos7系统Hadoop集群搭建和简单使用，resource manager无法启动的问题

搭建过程：https://blog.csdn.net/pucao_cug/article/details/71698903非常详细的文章，感谢大神。根据步骤一步步来，不难，而且基本没有出错。碰到的唯一问题是装java的时候的问题，我的解决方案：https://blog.csdn.net/touziss/article/details/82859035启动hadoop以后，做个小实验熟悉一下。参考h
xcc_233·2020-08-11 23:14

伪分布式和完全分布式hadoop集群搭建

Hadoop伪分布式集群搭建：https://blog.csdn.net/qq_26907251/article/details/78819156除以上链接内的步骤，还需环境变量：1、[root@izwz939y62jl5b2edpvoqszbin]#echo$PATH/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin2、[roo
pbyang5689·2020-08-11 22:46

基于Docker的Hadoop集群搭建

基于Docker的Hadoop集群搭建本文为在阿里云服务器上基于docker的Hadoop集群搭建安装思路为安装docker->运行docker导入ubuntu镜像->运行ubuntu系统->在系统中配置好单个节点
Life_Cycle_·2020-08-11 20:09

Spark完全分布式集群搭建

和前面创建时候一样，我们还是用3台机来搭建，一台主机，两台从机，就和hadoop集群搭建时候的步骤一样；分别为每台虚拟机设置主机名：hostnamespark1hostnamespark2hos
天ヾ道℡酬勤·2020-08-11 02:44

Hadoop的安装和配置，Hadoop集群搭建

一，Hadoop的安装：vim/etc/hosts172.25.38.7server7useraddhadoopsu-hadooppwd/home/hadooptarzxfhadoop-2.7.3.tar.gztarzxfjdk-7u79-linux-x64.tar.gzln-sjdk1.7.0_79/jdkln-shadoop-2.7.3hadoopvim/home/hadoop/.bash_p
??ff·2020-08-10 21:08

hadoop集群常见问题集锦

hadoop集群常见问题集锦hadoop集群搭建、使用过程中遇到了很多，特记录下1、ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode:java.io.IOException
ptmozhu·2020-08-10 18:37

java_大数据_Hadoop_yarn_hive_sqoop

文章目录01_Hadoop集群搭建1.什么是hadoop1.1hadoop中有3个核心模块：2.HDFS整体运作机制3.搭建HDFS分布式集群3.1.需要准备多台Linux服务器3.2安装，配置，启动HDFS3.2.1
_shutter_·2020-08-10 07:47

hadoop cluster（第二篇）关闭防火墙问题

参考链接：1、http://blog.csdn.net/zhxdick/article/details/51942405（Hadoop集群搭建）2、http://blog.csdn.net/u011831754
HereIcome·2020-08-09 18:46

Hadoop集群搭建（六：HBase的安装配置）

实验目的要求目的：1、HBase的高可用完全分布模式的安装和验证要求：完成HBase的高可用完全分布模式的安装；HBase的相关服务进程能够正常的启动；HBase控制台能够正常使用；表创建、数据查询等数据库操作能够正常进行；实验环境实验环境五台独立PC式虚拟机；主机之间有有效的网络连接；每台主机内存2G以上，磁盘50G。；所有主机上安装CentOS7-64位操作系统。；所有主机已完成网络属性配置；
Eyeshort·2020-08-08 19:54

hbase集群搭建安装部署

环境介绍服务器：阿里云Centos7.4hbase版本：hbase-1.3.1-bin.tar.gz下载地址：http://archive.apache.org/dist/hbase/1.3.1/前置条件需要完成hadoop
零2一·2020-08-08 11:05

hadoop生态系统（一）——hadoop集群搭建

虚拟机三台配置hadoop集群。192.168.112.10master192.168.112.11slave1192.168.112.12slave2前提是配置好三台机器的互信和/etc/hosts文件。官网下载hadoop安装包，下载的为压缩包，直接解压可以使用。这里以hadoop-2.6.5.tar.gz为例。一、执行解压命令tar-zxvfhadoop-2.6.5.tar.gz解压出文件夹
丶大荡·2020-08-04 10:23

hadoop集群搭建详细说明

大数据领域小白搭建hadoop详细步骤说明以下是根据我们实验室的情况的说明，你可以按照自己的情况自己更改配置一、规划：1、三台主机的ip分别为192.168.100.30、192.168.100.63、192.168.100.147，统一安装centos命令行界面，统一用户名密码：root/xjtuse2、三台主机名更改为：master、slave1、slave23、三个DataNode：mast
阚大山2018·2020-08-04 07:58

Hadoop集群搭建过程及配置文件总结

1.配置文件总结总共8个配置文件，4个site的xml文件，3个环境脚本，1个slaves4个site文件：hdfs-site.xml，yarn-site.xml，mapred-site.xml，core-site.xml3个环境脚本：hadoop-env.sh，yarn-env.sh，mapred-env.sh1个slaves：slaves2.完全分布式运行模式的集群搭建过程虚拟机配置硬盘50G
G5Lorenzo·2020-08-03 22:03

搭建Hadoop2.6.4集群 Zookeeper版

集群搭建Files:hadoop集群搭建Tags:Mar10,20191.搭建前提centOS6.7集群hadoop1192.168.111.133hadoop2192.168.111.134hadoop3192.168.111.135
糟得很·2020-08-03 21:54

7.pyspark在Hadoop Yarn上运行

1.复制LICENSE.txtcp/usr/local/hadoop/LICENSE.txt~/wordcount/input2.启动所有虚拟机参考Hadoop集群搭建3.启动集群start-all.sh3
剑海风云·2020-08-03 20:03

Apache-hive2.1.1安装部署

2、Hadoop集群搭建参考:点击打开链接3、准备mysql数据库作为hive的metastore库centos安装mysql服务端：sudoyuminstallmysql-servercentos安装
坏蛋呆呆·2020-08-03 17:20

HBase环境搭建

安装Hadoop集群参照我的Hadoop集群搭建，先搭建Hadoop集群。安装HBase有了前面Hadoop的搭建之后，许多基础环境都已经完成了。此外还需额外安装NTP，因为HBase需要各个节点之间
jerry_lin3000·2020-08-03 01:06

上传本地文件到HDFS中(大数据学习2)

第一节hadoop集群搭建完成之后，现在测试是否能将本地文件上传到hadoop集群中。
在IT中穿梭旅行·2020-08-02 14:24

csv数据导入Hadoop中的HDFS

环境准备具体的环境准备及搭建流程可参考以下文章，本文不再做赘述基础环境准备：https://blog.csdn.net/supermapsupport/article/details/91443032Hadoop
supermapsupport·2020-08-02 13:54

大数据初级笔记二：Hadoop入门之Hadoop集群搭建

Hadoop集群搭建把环境全部准备好，包括编程环境。
weixin_30315723·2020-07-30 20:50

HADOOP集群搭建实战

参考《史上最详细的hadoop环境搭建》https://blog.csdn.net/hliq5399/article/details/78193113参考《单机部署》https://www.cnblogs.com/ee900222/p/hadoop_1.html参考《超详细单机版搭建hadoop环境图文解析》https://blog.csdn.net/chongxin1/article/detai
chongjiapi1753·2020-07-30 19:37

完全分布式的hadoop集群搭建-hadoop2.7.3

搭建hadoop完全分布式集群：要求安装JDK。环境：VM搭建的三个虚拟机，均采用centos-6.8-64.iso机器IP与名称对应关系如下：192.168.152.192master192.168.152.193slave1192.168.152.194slave2JDK请自行安装，SSH无密码互相访问可以参考我的文章SSH免密码互相访问，谢谢。版本：hadoop-2.7.31.配置三台机器的
sand_clock·2020-07-30 09:51

Hadoop数据迁移MaxCompute最佳实践

1.环境准备1.1Hadoop集群搭建进行数据迁移前，您需要保证自己的Hadoop集群环境正常。
煊琰·2020-07-28 20:19

hadoop集群启动脚本——解决启动hadoop集群时，效率低问题

当然，前题是搭建起来了hadoop集群，可以参考我搭建的hadoop集群1.参考zookeeper搭建2.参考hadoop集群搭建以下是针对我自己搭建的hadoop集群，编写的启动脚本#!
十点进修·2020-07-28 17:18

Linux配置ssh免密登录（大数据服务搭建必备）

比如我们在做Hadoop集群搭建的时候，它内部需要集群的机器需要相互信任，如果不配置SSH免密登录的话，就需要我们在启动Hadoop集群的时候，手动去输入机器的密码，如果集群实例数少还可以接受，但是当集群实例多的时候
wFitting·2020-07-28 15:56

hadoop（一）---安装centos

最近学hadoop集群搭建所以装Linux虚拟机centos装到吐从一开始的茫然百度到两天后的熟练。纪念一下，也许有一天别人能用得上。
lilyouyanglove·2020-07-28 02:18

Hadoop集群搭建实验(4) _HDFS Federation联邦集群部署

参考文章：https://blog.csdn.net/pengxiaozhen1111/article/details/88095914https://blog.csdn.net/wild46cat/article/details/53423472https://blog.csdn.net/qq_39532946/article/details/76461110https://my.oschina
whvcse_hlzhang·2020-07-16 06:04

hadoop集群搭建详细步骤——集群搭建

虚拟机克隆和网络环境配置该集群搭建步骤由博主亲测无误，集群搭建过程中出了任何问题都可以留言集群准备一、虚拟机克隆１、虚拟机关闭状态下右键点击虚拟机选择克隆２、选择创建完整克隆，定义虚拟机名称和路径３、点击完成等待虚拟机克隆至少克隆两台虚拟机二、克隆机网络设置１、两台克隆机分别重新生成ＭＡＣ地址具体步骤可见于上一篇的系统准备上一篇博客２、两台克隆机分别使用root账户登录并设置静态IPnano/et
学海无涯2.0·2020-07-15 16:21

hadoop集群搭建详细步骤——系统准备

64-DVD-1708.iso（具体的版本随意）、xshell、xftp该集群搭建步骤适用于：个人电脑上使用VMwhere的NAT模式搭建hadoop集群本文主要是讲述虚拟机克隆和网络环境配置的过程，hadoop
学海无涯2.0·2020-07-15 16:20

【Hadoop集群搭建】Hadoop运行模式——本地模式（附Hadoop目录结构了解）

上一篇是【Hadoop集群搭建】Hadoop运行环境配置——虚拟机准备（CentOS8）首先来了解一下Hadoop的目录结构。马赛克涂掉的是我之后产生的文件,剩下的是一个原本的干干净净的目录。
烧火棍势力登场·2020-07-15 08:20

CentOS7中jdk安装和ssh免密和Hadoop集群搭建搭建

CentOS7中jdk安装和ssh免密和Hadoop集群搭建搭建一、前提准备二、JDK安装三、ssh免密登录设置1.更改用户名2.关闭防火墙2.1方法一:2.2方法二:3.添加域名4.修改selinux
V-Suger·2020-07-15 08:23

完全分布式hadoop集群搭建

考虑到以后还会去配置，总结记录一下这几天迈过的坑。准备工作：两台笔记本，其中一台主机，一台节点。（条件限制，我只有两台）需要提前下载好的文件：VMware-workstation-full-14.1.2-8497320.exeubuntu-18.04.1-desktop-amd64.isojdk-10.0.2_linux-x64_bin.tar.gzhadoop-2.7.7.tar.gz开始搭建：
一枚cs渣渣·2020-07-15 06:19

hadoop 集群资源配置调优

我们常说打江山难，坐江山更难，hadoop集群搭建不容易，hadoop性能调优就更不简单，之前就因为*-site配置文件中的内存分配不够准确，连demo中的wordcount都运行不起来，另外在我们生产环境中
Helen_Cat·2020-07-15 03:43

大数据学习——HADOOP集群搭建

4.1HADOOP集群搭建4.1.1集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode
weixin_30609331·2020-07-15 03:30

Hadoop集群搭建

资料：zookeeper-3.4.7.tar.gz链接：http://pan.baidu.com/s/1nvNzJNb密码：8rcwhadoop-2.7.1_64bit.tar.gz链接：http://pan.baidu.com/s/1i4LVGXZ密码：z813jdk-7u55-linux-i586.tar.gz链接：http://pan.baidu.com/s/1hsnIjVe密码：zvr81
醉糊涂仙·2020-07-15 00:34

hadoop集群搭建后，不能正常启动

hadoop搭建后，通过start-dfs.sh执行后，还需要namenode节点启动后，一直卡在界面上；现象描述：1.启动namenode节点还需要输入密码2.一直卡在界面上3.各个datanode节点均已经启动，有进程显示解决方案：1.由于启动namenode的时候，还需要输入密码，这个就是原因所在2.在namenode机器上需要设置免密登录，只需要在这台机器上执行如下命令即可ssh-keyg
犀利哗啦760596103·2020-07-14 14:21

搭建Hadoop分布式文件系统HDFS、海量列式存储数据库HBase

文章内容输出来源：Java工程师高薪训练营目录hadoop集群搭建一、java环境准备二、hadoop安装hadoop下载将hadoop添加到环境变量测试是否安装成功三、集群部署规划及配置文件说明四、hadoop
范学博·2020-07-14 10:00

Hadoop集群搭建及wordcount测试

1.hadoop三种安装模式单机模式无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。伪分布式模式Hadoop守护进程运行在本地机器上，模拟一个小规模的集群。完全分布式模式Hadoop运行在一个真实的集群中，本文以hadoop-2.6.3为例讲解此模式配置。2.hadoop分布式模式配置本文
czliuming·2020-07-14 09:03

hadoop集群搭建必须用root用户吗

hadoop3种搭建方式：rpm安装和起服务都是用root权限tar.gz这种模式可以在某个用户下搭建及起服务，但是搭建后hadoop平台只能这个用户访问，除非你去除kerberossentry等权限管控组件，这样所有用户都能访问都是没有安全可言cm页面搭建也是用rootroot用户迁移到非root：因为hadoop的配置文件、环境变量都已经在root用户时完成了，所以这里就直接把root用户安装
asd1456732891·2020-07-14 07:07

Linux操作系统下搭建Hadoop、Zookeeper、Hbase、Hive集群（1）----Hadoop及Hadoop集群搭建

Linux操作系统下安装Hadoop以及集群搭建准备工作：VMware新建虚拟机（虚拟机时间需要与主机同步）在根目录下新建software目录，把jdk、hadoop、hadoop-native、hive、hbase、zookeeper、mysql和java连接数据库jar包导入software目录下将jdk、hadoop、hive、hbase、zookeeper解压到opt目录下hadoop-n
BunnyFuFu·2020-07-14 04:49

【Hadoop集群搭建】Hadoop运行环境配置——虚拟机准备（CentOS 8）

主要步骤：1.修改静态IP2.修改主机名称3.关闭防火墙4.创建具有root权限的普通用户5.安装jdk和hadoop6.关机快照克隆并配置克隆虚拟机事先准备VMwareWorkstationPro15(可变)CentOS864位(可变，但使用别的linux版本后续操作会有几处不同)Xshell6(终端模拟软件，比起直接操作虚拟机终端方便很多，具体安装和连接方法可上网学习)1.改一下静态IP首先在
烧火棍势力登场·2020-07-14 03:21

Hadoop集群搭建三 Zookeeper完全分布模式安装

Hadoop集群搭建三Zookeeper完全分布模式安装一、Zookeeper的基本安装配置此项所有操作在集群中的admin用户下进行此操作只需在一台主机操作，其余主机在下一步骤进行同步安装配置注：所需软件安装包
离人散·2020-07-14 02:42

Hadoop集群、ZooKpeeper、HBase、Hive搭建（系统centos7.0）

目录前提Hadoop集群搭建一、复制虚拟机二、修改主机名和主机列表三、配置免密登录四、修改配置文件五、Hadoop运行、查看ZooKeeper搭建一、配置ZooKeeper二、启动ZooKeeperHBase
KingWeiGG·2020-07-14 00:35

hadoop集群搭建

一.ApacheHadoop1．Hadoop介绍Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAP
nnzl3344·2020-07-14 00:26

Hadoop详解(五)——ZooKeeper详解，ZooKeeper伪分布搭建和集群搭建，Hadoop集群搭建，sqoop工具的使用

ZooKeeper简介什么是ZooKeeper？ZooKeeper是Google的Chubby一个开源的实现，是Hadoop分布式协调服务。它包含了一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命令服务等。它的结构图如下：ZooKeeper集群搭建的要求：必须要有奇数台。如果想让ZooKeeper既具有高效性，又能正常工作，只要需要3台的ZooKeeper集群。ZooKeepe
LIUXUN1993728·2020-07-14 00:54

Hadoop集群搭建

一、Linux安装安装master照常安装，重新配置net连接，先选桥接模式初始化，再选net配置网络1）cd/etc/sysconfig/network-scripts/vimifcfg-eth0里面内容是EVICE="eth0"BOOTPROTO="dhcp"HWADDR="00:0C:29:E9:FF:BC"IPV6INIT="yes"NM_CONTROLLED="yes"ONBOOT="y
Mason技术·2020-07-13 15:23

hadoop大数据01---hadoop 的安装配置

hadoop集群搭建01--hadoop的安装配置三台机器Centos7192.168.2.37计算机名称master192.168.2.38计算机名称slave1192.168.2.39计算机名称slave2
saga_gallon·2020-07-13 13:28

Spark+Hadoop集群搭建：（三）在Hadoop集群上安装Spark

Spark+Hadoop集群搭建：（三）在Hadoop集群上安装Spark1Scala安装1.1下载安装包1.2解压1.3迁移目录1.4配置环境变量1.5启动scala2安装Spark2.1下载安装包2.2
闻曦·2020-07-13 11:13

Spark+Hadoop集群搭建：（零）简介与说明

Spark+Hadoop集群搭建：（零）简介与说明1背景2主要内容3使用工具版本说明4文章列表5参考文献注：未完成，待修改1背景2主要内容利用虚拟机实现Linux操作系统上的Spark+Hadoop大数据集群
闻曦·2020-07-13 11:42
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他