Hadoop集群搭建

kafka 集群搭建

本文用以记录kafka集群安装基础环境jdk1.8zookeeper-3.4.13kafka_2.11-0.11.0.01、设置host、安装jdk和免密登录参照：hadoop集群搭建2、安装zookeeper
远方的猫dj·2022-02-08 17:00

构建大数据平台（三）Hadoop集群搭建

一、设置主机名称当四台服务器安装好之后，获得它们的IP地址，并设置主机名vi/etc/hostname修改主机名称，四台机器分别设置为：master，slave1，slave2，slave3二、设置hosts文件内容根据实际IP地址和主机名，修改/etc/hosts文件内容为：192.168.2.158master192.168.2.159slave1192.168.2.177slave2192.
Mr_ZhaiDK·2022-02-08 15:08

浅析Hadoop完全分布式集群搭建问题

目录一、Hadoop是什么二、Hadoop组成1、Hadoop1.x2、Hadoop2.x三、Hadoop集群搭建所需工具（链接如下，自行下载）四、Hadoop集群配置前期准备五、Hadoop运行环境搭建六
·2021-11-30 17:18

各大技术基础教学、实战开发教学（最新更新时间2021-11-23）

一、Hadoop大数据Hadoop集群搭建（一）——Liunx网络、主机名配置，多台虚拟机的相互连通和远程登陆Hadoop集群搭建（二）——Linux系统SSH远程双向免密登陆Hadoop集群搭建（三）
Yuan-Programmer·2021-11-16 23:41

Hadoop——MapReduce相关eclipse配置及Api调用(图文超详细版)(内含遇到错误的解决方法)

还没有搭建Hadoop成功的同学，欢迎看看我之前的文章：Hadoop集群搭建(步骤图文超详细版)目录一、前情提要二、前置条件三、上传文件至HDFS四、压缩Hadoop文件五、配置Eclipse六、HDFS
HuiSoul·2021-11-10 00:34

Hadoop——安装MySQL、Hive以及Sqoop(步骤图文超详细版)

还没有搭建Hadoop，欢迎看看我前面的一篇文章：Hadoop集群搭建(步骤图文超详细版)目录一、前置条件二、安装Mysql三、安装Hive四、安装Sqoop一、前置条件需要安装下载方法Hive-1.2.1
HuiSoul·2021-10-27 15:39

Hadoop入门三 : Hadoop集群搭建

一.Hadoop集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上在一起。HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、SecondaryNameNodeYARN集群负责海量数据运算时的资源调度，集群中的角色主要有：ResourceManager、NodeManagermapreduce是一个分布式运算编程框
·2021-10-15 17:04

Hadoop集群搭建__7.克隆虚拟机

一、虚拟机的克隆虚拟机右键>管理>克隆下一步选择克隆源创建完整克隆选择虚拟机位置克隆完成重复上述步骤创建tunabook103、tunabook104二、虚拟机配置配置网络地址tunabook102vim/etc/sysconfig/network-scripts/ifcfg-ens33#修改的内容IPADDR=192.168.10.102vim/etc/hostname#修改的内容tunaboo
EuropeanSheik·2021-10-10 22:00

全国大学生大数据技能竞赛（Spark on Yarn安装）

系列文章全国大学生大数据技能竞赛（Hadoop集群搭建）全国大学生大数据技能竞赛（数仓部署）文章目录系列文章前言资料链接SparkonYarn安装3.1安装Scala3.2安装Spark前言本篇博客根据往年全国大学生大数据技能竞赛资料搭建
鈴音.·2021-08-30 20:01

全国大学生大数据技能竞赛（数仓部署）

系列文章目录全国大学生大数据技能竞赛（Hadoop集群搭建）全国大学生大数据技能竞赛（SparkonYarn安装）文章目录系列文章目录前言资料链接数仓部署详解（一）hbase安装1.1解压缩1.2修改配置文件
鈴音.·2021-08-16 18:45

全国大学生大数据技能竞赛（Hadoop集群搭建）

系列文章全国大学生大数据技能竞赛（数仓部署）全国大学生大数据技能竞赛（SparkonYarn安装）文章目录系列文章前言资料链接用VMware练习配置前准备三台虚拟机并修改网络为桥接01本地源YUM02基础环境配置1.防火墙2.主机名与映射2.1修改主机名2.2添加映射3.时间同步3.1时区3.2时间同步协议NTP4.定时任务crontab4.1描述4.2案例：定时任务03远程登录ssh04语言环境
鈴音.·2021-08-14 14:09

新手Hadoop安装 环境搭建

内部环境的搭建四.安装ssh并配置无密码登陆1.登陆2.设置无密码登陆五.安装Java环境六.安装Hadoop七.Hadoop伪分布配置1.配置文件2.开启NameNode和DataNode守护进程八.Hadoop
·2021-08-13 11:12

Hadoop集群搭建

一.安装虚拟机环境虚拟机版本：VMwareWorkstationProLInux版本：CentOS-6.10-x86_64-bin-DVD1.iso（下载地址：https://developer.aliyun.com/mirror或者https://tuna.moe/）二.搭建集群1.集群分配两个节点：主节点（master-192.168.31.160），从节点（follower-192.168.
码戈·2021-06-22 05:10

hadoop集群搭建

1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=itcast###1.2修改IP两种方式：第一种：通过Linux图形界面进行修改（强烈推荐）进入Linux图形界面->右键点击右上方的两个小电脑->点击Editconnections->选中当前网络Systemeth0->点击edi
NickYS·2021-06-11 06:01

史上最全的单机hadoop集群搭建

零零散散两周时间，终于在单机环境下搭建起来了一个4节点的hadoop集群。在这篇文章中，我将分成如下部分进行分享使用vagrant在本地运行虚拟机使用vagrant在本地搭建多机网络Hadoop基础环境搭建Hadoop集群的简单验证HadoopHA模式搭建及验证搭建过程中遇到的问题，及解决方案1.使用vagrant在本地运行虚拟机vagrant是一个用于创建和部署虚拟化开发环境的工具，它能很方便地
aix91·2021-06-09 23:36

Hadoop集群搭建

1、准备工作准备6台虚拟机，内存1G虚拟机节点分配情况序号机器分配1Park01Zookeeper、NameNode(active)、ResourceManager(active)2Park02Zookeeper、NameNode(standby)3Park03Zookeeper、ResourceManager(standby)4Park04DataNode、NodeManager、Journal
御林君·2021-06-09 10:28

第二次课作业

Hadoop集群搭建及测试1.格式化namenode2.格式化zookeeper3.启动dfs4.启动yarn5.启动resourcemanager6.启动historyserver7.执行hadoopmapreducejob
zangalewa·2021-06-09 09:50

Hive环境搭建

基于三节点的Hadoop集群搭建Hive安装中前的准备先要搭建好hadoop集群安装中用到的软件：hive-1.1.0-cdh5.14.2.tar.gz，下载地址MySQL5.7安装MySQLhive的元数据
HideOnStream·2021-06-04 18:46

2019-11-05 Hadoop集群搭建

最近在学习大数据，在自己本地装了三个虚拟机，学习搭建hadoop集群。记录下过程，方便日后查看。1.准备工作VMware-workstation-full-12.1.0，Centos7_x64镜像，jdk_1.8.0_linux_x64,hadoop_2.7.7.虚拟机安装步骤参考：https://www.cnblogs.com/tony-hyn/p/9677902.htmljdk刚开始从Orac
90后老青年·2021-06-04 11:28

Hadoop集群搭建(一主二从)

Hadoop集群搭建(一主二从)Hadoop集群搭建Hadoop集群搭建(一主二从)前言一、VMware安装，以及jdk，Hadoop安装包二、在VMware中安装CentOS7三、XSHELL和XFTP
人生短短几个秋·2021-05-28 20:59

2021年大数据Hadoop（六）：全网最详细的Hadoop集群搭建

目录Hadoop集群搭建集群简介集群部署方式1、Standalonemode（独立模式）2、Pseudo-Distributedmode（伪分布式模式）3、Clustermode（群集模式）-单节点模式
Lansonli·2021-05-24 00:31

记一次hadoop大数据课设准备工作--hadoop集群搭建（三个结点）+Spark安装

【未完待续…】本次课设所使用的操作系统是华为的openEluer。主节点部署创建hadoop用户创建用户：sudouseradd-mhadoop-s/bin/bash设置密码，可简单设置为hadoop，按提示输入两次密码：sudopasswdhadoop密码统一设置为Aaaa1111@hadoop用户增加管理员权限，方便部署：sudoadduserhadoopsudo用hadoop用户登录su-h
wxl@·2021-05-19 19:28

ERROR cluster.StandaloneSchedulerBackend: Application has been killed. Reason: Master removed app...

hadoop集群搭建完毕，spark-standalone集群搭建结束后，能正常启动bin/spark-submit\--classorg.apache.spark.examples.SparkPi\-
心之若涯·2021-05-19 16:17

Hadoop集群搭建即HDFS基本操作

HDFS就是一个分余展的大硬盘（分布式、自动冗余、动态扩展）Hadoop目前不支持Java9最好装Java7或者Java8命令说明rpm-ivh./jdk….安装jdk，jdk默认安装路径为/usr/javarpm-qa|grepjdk验证jdk是否安装tar–xvf./hadoop-2.7.2.tar.gz直接解压hadooptar-zxvffilename.tar-C/specificdir解
XinXingAstro·2021-04-28 16:49

三、Hive搭建（不需要搭建集群）

本系列目录：一、CentOS集群搭建(1)--CentOS安装篇一、CentOS集群搭建(2)--CentOS设置篇一、CentOS集群搭建(3)二、Hadoop集群搭建三、Hive搭建（不需要搭建集群
国家一级蹦迪运动员·2021-04-27 23:06

【phoenix-部署】Docker+Nginx+Keepalived实现高可用Phoenix负载均衡

一、系统环境参考hadoop集群搭建中的“一、安装环境准备”。
粮忆雨·2021-04-25 07:12

Hadoop集群搭建：9.Hive安装及site.xml不生效的踩坑

一、Hive安装及配置1，把apache-hive-2.3.6-bin.tar.gz上传到linux的/software目录下清华大学资源包：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/2，解压apache-hive-2.3.6-bin.tar.gz到/module/目录下面：tar-zxvfapache-hive-2.3.6-bin.tar.
丶珍视当下·2021-04-21 18:43

Hadoop集群搭建及配置⑨——Hive 可靠的安装配置，远程连接MySQL

Hive安装一、安装配置Hive1.1解压hive1.2配置环境变量（master和slave1）1.3配置hive-env.sh1.4将hive复制到slave1中：1.5配置hive-site.xml（slave1）1.6Hive与Mysql通信(slave1)1.6.1maven配置下载mysql驱动器1.7解决版本冲突和jar包依赖问题(master)1.8配置hive-site.xml（
唐樽·2021-04-13 14:40

Hadoop入门(五)——Hadoop集群搭建-克隆三台虚拟机（图文步骤详解2021）

Hadoop入门(五)——Hadoop集群搭建-克隆三台虚拟机（图文步骤详解2021）系列文章传送门Hadoop入门(一)——CentOS7下载+VM上安装（手动分区）图文步骤详解(2021)Hadoop
Leokadia Rothschild·2021-03-19 23:07

Hadoop集群搭建及配置〇 —— Hadoop组件获取 & 传输文件

Hadoop组件安装获取01Hadoop各组件压缩为获取02.传输文件1.连接master虚拟机2.正在连接3.准备传输4.传输完成简单易懂，手把手带小白用VMware虚拟机安装Linuxcentos7系统Hadoop
唐樽·2021-02-10 16:18

Hadoop集群搭建及配置⑥ —— Hadoop组件安装及配置

Hadoop组件安装及配置01配置环境变量1.1配置Hadoop环境变量(三个节点)02配置Hadoop各组件2.1修改hadoop-env.sh、yarn-env.sh2.2（3）修改core-site.xml文件。2.3（4）修改yarn-site.xml文件2.4（5）修改hdfs-site.xml文件2.5（6）修改mapred-site.xml2.6（7）修改salves,设置节点文件2
唐樽·2021-02-09 22:22

Hadoop集群搭建及配置⑤ —— Zookeeper 讲解及安装

（三个节点）1.5启动ZooKeeper集群（三个节点）简单易懂，手把手带小白用VMware虚拟机安装Linuxcentos7系统Hadoop集群搭建及配置〇——Hadoop组件获取&传输文件Hadoop
唐樽·2021-02-09 17:53

Hadoop集群搭建及配置④ —— JDK简介及其安装

Hadoop集群搭建及配置④——JDK简介及其安装01JDK简介及其安装1.1删除Linux自带Java包（三个节点）1.2创建Java文件、解压java压缩包（仅master）02设置java环境变量
唐樽·2021-02-09 16:39

Hadoop集群搭建及配置③ —— 基础环境搭建

永久关闭防火墙1.4时间同步1.4.1时区一致1.4.2选择时区：tzselect1.4.3下载ntp1.5配置SSH免密码登录简单易懂，手把手带小白用VMware虚拟机安装Linuxcentos7系统Hadoop
唐樽·2021-02-08 19:44

Hadoop集群搭建及配置② —— 网络IP配置，连接网络。

网络配置文件（三个节点都要）1.3配置vmnet8虚拟网卡的ip（要根据实际主机的ip段来配置）1.4linux网络手动设置静态简单易懂，手把手带小白用VMware虚拟机安装Linuxcentos7系统Hadoop
唐樽·2021-02-08 12:13

Hadoop集群配置① —— 克隆节点

简单易懂，手把手带小白用VMware虚拟机安装Linuxcentos7系统Hadoop集群搭建及配置〇——Hadoop组件获取&传输文件Hadoop集群搭建及配置①——克隆节点Hadoop集群搭建及配置
唐樽·2021-02-08 12:45

简单易懂，手把手带小白用VMware虚拟机安装Linux centos7系统

简单易懂，手把手带小白用VMware虚拟机安装Linuxcentos7系统Hadoop集群搭建及配置〇——Hadoop组件获取&传输文件Hadoop集群搭建及配置①——克隆节点Hadoop集群搭建及配置
唐樽·2021-02-04 17:24

Hadoop集群搭建

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameN
·2021-02-01 21:01

Hadoop集群搭建

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameN
·2021-02-01 21:14

haoop搭建记录

hadoop集群搭建1.配置jdk环境jdk1.8exportJAVA_HOME=/mydata/jdk1.8.0_151exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH
dd972244d·2021-01-05 03:56

haoop搭建记录

hadoop集群搭建1.配置jdk环境jdk1.8exportJAVA_HOME=/mydata/jdk1.8.0_151exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH
dd972244d·2021-01-05 03:42

虚拟机Hadoop集群搭建5安装Hadoop

部分图片来源于黑马程序员第二步：修改配置文件（注意所有配置文件编码都要是utf-8）用ultraEdit远程编辑fs.default.namehdfs://node01:8020hadoop.tmp.dir/export/servers/hadoop-2.10.1/hadoopDatas/tempDatasio.file.buffer.size4096fs.trash.interval10080h
LiterMa·2021-01-01 22:15

大数据学习之路~Hadoop

目录Hadoop学习之路（一）理论基础和逻辑思维Hadoop学习之路（二）Hadoop发展背景Hadoop学习之路（三）Hadoop-2.7.5在CentOS-6.7上的编译Hadoop学习之路（四）Hadoop
素颜vv风之殇·2020-11-28 15:30

最新hadoop集群搭建(2020)

hadoop集群搭建一、机器准备二、安装JDK三、配置ssh免密码登录四、建立主机名和ip的映射五、安装配置hadoop1.将hadoop安装包解压到/opt/module下并配置环境变量2.配置/opt
海绵不老·2020-10-11 21:48

大数据入门级学习——Hadoop集群搭建总结（VM+centOS7）

步入大数据的第一步：必须学会搭建大数据集群的框架那么第一步必须要在linux系统上搭建Hadoop集群目录一、安装并配置虚拟机（centOS7）二、克隆出三台虚拟机三、安装及配置JDK四、安装Hadoop五、Hadoop的三种运行模式学习过程1.本地运行模式官方Grep案例过程记录官方WordCount案例过程记录2.伪分布式运行模式启动HDFS并运行MapReduce程序启动YARN并运行Map
不撸先疯。·2020-10-11 21:15

阿里云搭建Hadoop集群

1前言在讲述Hadoop集群搭建之前，首先要了解Hadoop和集群两个名词，Hadoop是由Apache基金会开发的分布式系统基础架构，简单理解就是大数据技术应用的基础。
大数据超哥·2020-10-09 13:46

无法访问50070的原因及解决方法

在Hadoop集群搭建完成后，hadoop本身自带了一个webUI访问页面，我们可以观察到一些集群的基本状况，包括磁盘容量和集群节点是否正常存活状态，Hadoop版本，可以查看hdfs的一些文件位置，副本备份情况和文件块大小等
她與風皆過客·2020-10-07 09:37

大数据平台Hadoop集群搭建

一、概念Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。HDFS是一个分布式文件系统，类似mogilefs，但又不同于mogilefs，hdfs由存放文件元数据信息的namenode和存放数据的服务器datanode组成；hdfs它不同于mogilefs，hdfs把元数据信息放在内存中，而mogilefs
Linux-1874·2020-09-28 01:00

Hadoop集群搭建之关闭防火墙（一）

一.前期准备(为了后期搭建Hadoop做准备)Hadoop需要三台虚拟机，所以要创建三台虚拟机，我将三台虚拟机分别命名为node1，node2，node3，IP分别是192.168.36.101，192.168.36.102，192.168.36.103。还需要准备相对应的jdktar包和hadooptar包，我的tar包如下二.关闭防火墙(单纯的关闭防火墙的话，只用看下方命令就可以；如果想搭建H
Merliang·2020-09-27 19:07

【Hadoop环境搭建】八.Hadoop集群模式部署

前面介绍的伪分布式是基于单个节点，而完全分布式是基于两个或两个以上节点完成Hadoop集群搭建。下面基于三个节点完成。
VI-茄子·2020-09-17 01:03
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他