Hadoop3.2.1

【大数据入门核心技术-Flume】（二）Flume安装部署

下载安装包二、安装1、解压2、修改环境变量3、修改并配置flume-env.sh文件4、验证是否安装成功一、准备工作1、基本Hadoop环境安装参考Hadoop安装【大数据入门核心技术-Hadoop】（五）Hadoop3.2.1
forest_long·2025-02-07 08:33

Hadoop3.2.1安装-单机模式和伪分布式模式

Hadoop入门篇概述Hadoop是使用Java编写的，是为了解决大数据场景下的两大问题，分布式存储和分布式处理而诞生的，包含很多组件、套件。需要运行在Linux系统下。主要包括HDFS和MapReduce两个组件。下载安装下载下载地址https://archive.apache.org/dist/hadoop/common/选择合适自己的tar.gz版本下载,该文档选择V3.2.1。Hadoop
花菜回锅肉·2025-02-04 07:13

【大数据入门核心技术-Tez】（三）Tez与Hive整合

一、准备工作1、Hadoop和Hive安装【大数据入门核心技术-Hadoop】（五）Hadoop3.2.1非高可用集群搭建【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建【
forest_long·2024-01-31 08:06

【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建

目录一、Hadoop部署的三种方式1、Standalonemode（独立模式）2、Pseudo-Distributedmode（伪分布式模式）3、Clustermode（集群模式）二、准备工作1、先完成zk高可用搭建2、/etc/hosts增加内容3、各台服务器分别创建目录4、关闭防火墙和禁用swap交换分区5、三台机器间免密6、安装jdk7、下载好hadoop安装包三、高可用配置1、配置core
forest_long·2023-12-30 18:49

Hadoop3.2.*安装

CentOS8系统安装Hadoop-3.2.1伪分布式配置Hadoop3.2.1版本的环境搭建-Java提升营-博客园[TOC]实验目的在Linux（VM15pro/CentOS8）环境下完成Hadoop
hzp666·2023-12-19 00:57

kmeans设置中心_Spark分布式机器学习源码分析：Kmeans族聚类

本文采用的组件版本为：Ubuntu19.10、Jdk1.8.0_241、Scala2.11.12、Hadoop3.2.1、Spark2.4.5，老规矩先开启一系列Hadoop、Spark服务与Spa
weixin_39699121·2023-12-15 19:27

Hadoop 3.2.1 +Hive+Hbase伪分布式集群搭建

根据实战安装步骤，详细描述hadoop3.2.1、hive3.1.2（包括mysql5.7）、zookeeper3.6、hbase2.2.4、flume1.9.0、sqoop1.4.7各组件安装步骤,记录过程中的各种坑
Ted丶·2023-01-06 11:09

Idea——Hadoop3.2.1版idea插件安装超详细版

另外本教程虽然是为Hadoop3.2.1版本安装的插件，但实际Hadoop2.Xidea插件也可以这样安装，只是修改pom中hadoop版本参数稍有不同而已。二、准备阶段下载Idea2
JiaM丶·2022-04-11 15:22

手把手教你用Centos7安装完全分布式Hadoop3.2.1

在mac的parallelsdesktop虚拟机软件里下载了三个centos7系统的虚拟机，用来搭建hadoop完全分布式集群，具体信息如下：IP地址主机名操作系统角色10.211.55.15/24masterCentos7master（namenode1）10.211.55.12/24slave1Centos7slave1（datanode1）10.211.55.14/24slave2Cento
liemozhu·2022-02-28 10:13

Hadoop3.2.1在3台Ubuntu16.04.1 上的配置

Environment3VMUbuntu16.04.1GUI1masterand2slavesInstallHostsCreate3virtualmachines.Asweneed1masterand2slaves,pleasenamethecomputersas“master-id”,“slave1-id”and“slave2-id”,suchas“master-123456”,”slave1-
等花花不开·2021-06-08 10:01

Hadoop 3.2.1‖联邦模式下突破router的性能瓶颈的实践

上两集回顾：在第一集（点击可参阅详情）中，我们通过性能故障排查解决了Hadoop2.6.0版本的瓶颈问题；在第二集（点击可参阅详情）中，我们将集群由Hadoop2.6.0版本升级到Hadoop3.2.1
·2021-03-12 01:31

数据库‖上千节点Hadoop集群升级过程分享

为了防止遇到NameNode的第二次瓶颈，我决定将当前集群由Hadoop2.6.0版本升级到Hadoop3.2.1版本，且启用联邦模式。但是在升级之后，我们还是遇到了很多意向不到的问题，虽然最终
·2021-03-12 01:59

Hadoop 3.2.1‖联邦模式下突破router的性能瓶颈的实践

上两集回顾：在第一集（点击可参阅详情）中，我们通过性能故障排查解决了Hadoop2.6.0版本的瓶颈问题；在第二集（点击可参阅详情）中，我们将集群由Hadoop2.6.0版本升级到Hadoop3.2.1
·2021-03-09 22:40

数据库‖上千节点Hadoop集群升级过程分享

为了防止遇到NameNode的第二次瓶颈，我决定将当前集群由Hadoop2.6.0版本升级到Hadoop3.2.1版本，且启用联邦模式。但是在升级之后，我们还是遇到了很多意向不到的问题，虽然最终
·2021-02-25 11:24

CentOS 7上搭建Spark3.0.1+ Hadoop3.2.1分布式集群

CentOS7上搭建Spark3.0.1+Hadoop3.2.1分布式集群VMWare安装CentOS7使用Xshell连接虚拟机集群设置安装JDK1.8SSH免密登陆安装hadoop3.2安装Spark3.0.1总结VMWare安装CentOS7推荐使用VMwareWorkstationPro16，下载安装即可。下载最新的CentOS7Minimal-2009.iso，在虚拟机安装。推荐1G运存
广大电子人·2021-01-03 19:19

mac搭建hadoop3.2.1伪分布环境

参考:mac搭建hadoop3.1.1伪分布环境(CSDN)大体的搭建过程可以参考上面的文章,写得很全面.但是有一些配置细节和我这边的不太一样,我就补充我的一些配置hadoop-env.sh配置exportJAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_261.jdk/Contents/Home我替换了电脑里原本有的jdk11,改用jdk8
chain_xx_wdm·2020-10-09 12:11

CentOS 7.x 环境下, 最详细的 apache hadoop3.2.1 集群的安装 和配置 jobhistory

文章目录1.准备2.下载hadoop包,并上传到linux(上传到第一个节点)3.进入上传目录并解压(在第一个节点上执行)4.配置环境变量(在第一个节点上执行)5.修改core-site.xml文件()6.修改hdfs-site.xml文件添加如下内容7.修改hadoop-env.sh文件8.修改mapred-site.xml文件9.修改yarn-site.xml文件10.添加工作节点修改work
红尘丶世界·2020-09-17 05:57

Hadoop3.2.1 【 HDFS 】源码分析 :FSEditLog 解析

TableofContents一.前言二.transactionId机制三.构造方法四.FSEditLog状态机4.1.initJournalsForWrite()4.2.initSharedJournalsForRead()4.3.openForWrite4.4.endCurrentLogSegment()4.5.close()五.EditLogOutputStream5.1.JournalSe
张伯毅·2020-09-11 23:21

Hadoop3.2.1 【 HDFS 】源码分析 : INode相关类/接口 解析

TableofContents一.前言二.INode相关类/接口2.1.字段属性:2.2.构造方法2.3.1.INode元信息方法2.4.INode类实现了INodeAttributes接口,清单如下:2.5.抽象类INodeWithAdditionalFields2.6.INodeDirectory类2.7.INodeFile类2.6.INodeReference类一.前言Namenode最重要
张伯毅·2020-09-11 23:21

Hadoop3.2.1 【 HDFS 】源码分析 : Namenode[非HA]启动解析

一.前言Namenode在hadoop的hdfs体系中的作用是毋庸置疑的.本文主要分析namenode的启动过程.梳理一下Namenode的逻辑关系.Namenode实体在代码实现中主要对应于三个类，即NameNode类、NameNodeRpcServer类以及FSNamesystem类。NameNodeRpcServer类用于接收和处理所有的RPC请求，FSNamesystem类负责实现Name
张伯毅·2020-09-11 23:21

Hadoop3.2.1 【 HDFS 】源码分析 : FileSystem 解析

一.前言FileSystem这个类是最常用的类,因为只要是我们想连接HDFS进行一些操作,程序的入口必定是它.接下来,我们通过FileSystem来分析一下,本地代码是如何通过FileSystem连接上hadoop并且读取数据的.二.代码示例由于我要连接的集群是一个配置HA的hadoop集群,所有我需要把core-site.xml和hdfs-site.xml文件放到resources目录中.jav
张伯毅·2020-09-11 18:17

Hadoop3.2.1 【 HDFS 】源码分析 : NameNode -format 解析

一.前言众所周知,在安装hadoop的时候,必须对hdfs的Namenode进行格式化操作.本文主要介绍格式化操作.格式化命令如下.bin/hdfsnamenode-format二.代码入口Namenode的格式化操作是:org.apache.hadoop.hdfs.server.namenode.NameNode/***/publicstaticvoidmain(Stringargv[])thr
张伯毅·2020-09-11 18:46

Hive 3.1.2安装（基于Centos7.x和Hadoop3.2.1）

Hive3.1.2安装（基于Centos7.x和Hadoop3.2.1）背景Hadoop大数据套件被应用后，进行数据处理就必须编写mapreduce代码。
闻香识代码·2020-09-11 18:13

flume与hdfs集成排雷指南

先说一下环境，flume1.9.0，hadoop3.2.1，兼容没有问题，官方文档没什么好说的，足够详细，每一项后面都附带有例子，好评。
半斤米粉闯天下·2020-08-24 16:20

CentOS7搭建Hadoop3.2.1高可用

一、虚拟机环境准备安装一台虚拟机(oraclevirtualbox);centos7安装操作系统:建议把操作系统安装到固态盘(非系统盘)服务器做一些简单的配置:(关闭防火墙,配置IP,主机名,host文件)装3台虚拟机从配置好的虚拟机直接克隆（复制）安装jdk1.8免密钥配置**1.下载OracleVMVirtualBox虚拟机**在360软件管家或腾讯管家的软件管理中直接下载安装，完全免费（不用
一棵小小柏·2020-08-23 08:45

MapReduce 集群程序之上传到Linux运行

这里是Hadoop3.2.1版本，不是官方最新，但相对稳定。注意，maven虽然可以自己进行依赖jar包管理，但如果引入的多个jar包本身版本之间不兼容，也是会出问题的。
闻香识代码·2020-08-21 23:49

Centos7安装hadoop3.2.1

如果hadoop下载链接失效，则需要自行去hadoop官网找下链接hadoop3.2.1安装1.下载https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/
SyntaxError·2020-08-20 17:12

Centos7安装hadoop3.2.1

如果hadoop下载链接失效，则需要自行去hadoop官网找下链接hadoop3.2.1安装1.下载https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/
SyntaxError·2020-08-20 17:11

1.Hadoop3.2.1 单机伪分布集群安装

Hadoop3.2.1单机伪分布集群安装一.准备环境：1台linux虚拟机(Centos7.x64位)ip为：192.168.2.100hostname为：hadoop100虚拟机基本环境配置：集群用到的所有机器都参考此流程进行配置
喝瓶冰阔乐·2020-08-20 02:25

Mac OS下搭建Hadoop3.2.1

1、参考链接汇总macOSHadoop3.1.0的安装及简单使用https://www.jianshu.com/p/2c3b04ac498dmac下编译hadoop3.0.*版本的nativelibhttps://blog.csdn.net/qq_14811559/article/details/80308434protobuf-2.5.0.tar.gz的下载与安装https://blog.csd
祁寒1002·2020-08-11 22:57

mac安装Hadoop3.2.1教程（超详细）

由于课程需要和工具限制，需要在mac上安装Hadoop，参考了网上的教程，总结了用terminal安装Hadoop3.2.1以及运行第一个Wordcount程序的过程。
liemozhu·2020-08-11 22:49

记录新手在mac下安装hadoop3.2.1的心得

**-环境**macosmojave10.14.6jdk8u241homebrew2.2.5hadoop3.2.11.安装homebrew在安装好jdk（直接到官网去下载）后，先安装homebrew。中文版网址：https://brew.sh/index_zh-cn.html按“commacd+空格”打开搜索“终端”，进入终端。将上图中的链接/usr/bin/ruby-e"$(curl-fsSLh
喜多er·2020-08-11 20:58

MAC安装Hadoop3.2.1及运行第一个程序教程（超级详细）

一.安装homebrew（已安装可跳过）在终端输入下面代码即可。ruby-e"$(curl-fsSLhttps://raw.githubusercontent.com/Homebrew/install/master/install)"二.安装jdk（已安装可跳过）注意，这里要用JAVA8或以下版本，否则后续ResourceManager和NodeManager会出问题。brewinstalljav
叶锦·2020-08-11 20:50

mac下hadoop3.2.1无法启动yarn的问题

mac下hadoop3.2.1无法启动yarn的问题学习Hadoop3.2.1在mac系统上的安装部署时，前面一切正常，通过命令start-yarn.sh启动yarn管理器后：通过命令jps查看没有NodeManager
lianyz1985·2020-08-11 20:00

Hadoop高可用安装（HA）

操作系统：CentOS-7.8Hadoop版本：3.2.1Zookeeper版本：3.4.14一、环境说明本次安装的为完全分布式高可用的Hadoop集群，本次安装使用的是Hadoop3.2.1，分别部署了
爱做梦的锤子·2020-08-11 05:29

win10环境下，hadoop3.2.1的下载和环境配置

写在文前：本文所有的资源最好从官网或者CSDN等正规渠道下载，避免让自己电脑中毒。1、JDK下载及配置（1）本文采用的是JDK1.8官网地址：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.htmlPS：下载时需要注册账户，这个就不过多赘述。（2）配置环境变量PS：PROGRA~1代替的是路径Program
aw277866304·2020-08-09 19:40

CentOS8 安装 hadoop3.2.1 完全分布式集群

上一篇：CentOS8安装Hadoop3.2.1独立模式、伪分布模式本文以root用户安装，开发测试使用。
爱多娇·2020-08-09 04:59

大数据开发一 Hadoop3.2.1 集群搭建与启动

自主学习已半年有余，特此总结Hadoop3.2.1在虚拟机(centos6.7)环境下的集群搭建启动流程（从无到有），希望能帮到同在踩坑中的读者。
47号技术工·2020-08-08 02:39

Hadoop 2.6.0升级至Hadoop 3.2.1及回滚

1、背景计划升级Hadoop版本从2.6.0-cdh5.16.1升级至Hadoop3.2.1开源社区版。列一下升级和回滚的步骤以及给遇到的问题做个记录。
Deegue·2020-08-06 11:45

Hadoop怎么使用？Hadoop 3.2.1运行测试，快速学习操作指令。

我安装的版本是Hadoop3.2.1，操作系统平台是CentOSLinux8，以下所有的操作都是在这个平台下运行的。安装的方法参考：怎么在CentOSLinux8上安装Hadoop？
9Tristone·2020-07-29 18:41

Centos7安装hadoop3.2.1

如果hadoop下载链接失效，则需要自行去hadoop官网找下链接hadoop3.2.1安装1.下载https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/
SyntaxError·2020-07-29 13:34

基于Centos7和Hadoop3.2.1安装Hive3.1.2

该系列目录见链接：基于MapReduce进行项目实践的一系列环境配置已安装环境看前文操作系统：Centos7，Windows10(可选)工具：JDK11.0.7，MySQL8，Hadoop3.2.11.MySQL数据库权限修改修改root权限，使得服务器可以远程连接：mysql>usemysqlReadingtableinformationforcompletionoftableandcolumn
Cristral·2020-07-29 00:47

ubuntu18.04虚拟环境中基于openjdk-8的hadoop3.2.1的伪分布式搭建

1.布置虚拟机系统a.本人用的虚拟机平台是VMware15Prob.我比较喜欢ubuntn18.04的界面（下载desktop版本）ubuntu18.04的国内镜像下载地址c.在虚拟机中安装ubuntu系统比较简单，而且要根据自己主机的情况进行配置，下图是我的虚拟机配置截图记得在网络适配器选项中选择NAT模式，这样可以共享主机的网络，不用再单独配置ip地址如果在虚拟机配置的时候出现“此主机支持In
twt_never404·2020-07-15 09:53

hadoop3.2.1完全分布式集群安装

版本：Centos7Haddop3.2.1JDK1.8装备工作：在安装前先要确保三台服务器之间能够ping通，已经安装了jdk，主机名的设置以及hosts文件的修改（ip和主机名映射关系），还有各主机的免密登录以及关闭防火墙。本次安装用到的三台虚拟机如下：iphostname192.168.59.101hadoop1(主机节点)192.168.59.102hadoop2（从节点）192.168.5
zzqit·2020-07-12 21:57

安装hadoop3.2.1(mac伪分布式)

一、安装从官网下载hadoop包，http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz#解压,路径为/Users/zheng/hadoop/hadoop-3.2.1$tar-zxvfhadoop-3.2.1.tar.gz#设置环境变量$vim/etc/profile#加入以下设置exportHA
9随遇而安·2020-07-12 20:52

Hadoop3.2.1 【 HDFS 】源码分析 : RPC原理 [三] 概述&原理

RPC实现其实就是分三部分,分别是协议定义&实现,Server端实现和Client实现.三个部分.下面会分别进行讲述2.协议实现2.1.定义协议其实就是根据业务需要定义一个借口协议.协议详情可以参看:Hadoop3.2.1
张伯毅·2020-07-12 19:02

Hadoop3.2.1 【 HDFS 】源码分析 : RPC原理 [七] Server端实现&源码

TableofContents一.Server端架构二.Server端创建流程三.Server组件3.1.Listener3.1.1.构建3.1.2.常量.3.1.3.构造方法3.1.3.run方法3.1.4.doAccept(key)3.2.Reader3.2.1.创建3.2.2.常量3.2.3.构造方法3.2.4run方法3.2.5.doRunLoop()3.2.6.doRead(key)3.
张伯毅·2020-07-12 19:02

Hadoop3.2.1 【 HDFS 】源码分析 : RPC实现 [一] proto接口协议

TableofContents一.概述二.接口协议概述三.接口协议详情■3.1.ClientProtocol3.1.1读数据相关方法3.1.2.写／追加写数据相关方法3.1.3.命名空间管理&系统问题与管理操作3.1.4.快照相关操作3.1.4.缓存相关■3.2.ClientDatanodeProtocol■3.5.DataTransferProtocol一.概述HadoopRPC调用使得HDFS
张伯毅·2020-07-12 19:32

【大数据】Linux下hadoop3.2.1的安装与环境的配置

花了5个小时，终于把这个hadoop环境给配置好了，太考验人的耐心了，但也确实学到不少东西。其中最大的教训就是：如果按照网络上的教程或者视频安装某项软件时，应当严格按照他所安装的软件版本号（或者说老版本）来进行安装（有时新版本安装会出现各种新安装方式与新问题）。如果说，我安装的是jdk1.8以及hadoop2.7.1大概就不会出现我下面所说的这些问题了。安装hadoop0-使用ssh进行无密码验证
沉浸致远·2020-07-12 14:11

Hadoop3.2.1 HA 高可用集群的搭建（基于Zookeeper，NameNode高可用+Yarn高可用）

配置hadoop高可用集群的原因：如果集群只有一个NameNode，若NameNode节点出现故障，那么整个集群都无法使用，也就是存在单点故障的隐患，hadoop高可用集群能够实现standbyNameNode自动切换为active。HA的架构，节点个数一般为奇数个，有两个NameNode，一台为active状态，一台为standby状态，activeNameNode对外提供服务，standbyN
Captain.Y.·2020-07-12 13:06
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他