hadoop-3.1.3

Hadoop 中的大数据技术：调优篇（3）

NameNode进程[lzl@hadoop12current]$kill-919886删除NameNode存储的数据[[email protected]]$rm-rf/opt/module/hadoop
大数据深度洞察·2024-09-03 00:33

搭建 Hadoop-3.1.3 HA 集群

本文目录1.集群部署分布规划2.Zookeepr集群安装3.HDFS-HAⅠ.配置core-site.xmlⅡ.配置hdfs-site.xmlⅢ.配置分发4.YARN-HAⅠ.配置yarn-site.xmlⅡ.配置分发4.启动前的配置5.启动HA集群Ⅰ.单独启动Ⅱ.脚本方式启动HA集群6.HA集群测试
扛麻袋的少年·2024-02-12 07:43

Hadoop-3.1.3（四）读写流程详解

读文件流程客户端向namenode发起OpenFile请求，目的是获取要下载文件的输入流。namenode收到请求会后会检查路径的合法性，以及客户端的权限。客户端发起OpenFile的同时，还会掉用GetBlockLocation。当第一次的检验通过之后，namenode会将文件的块信息(元数据)封装到输入流，交给客户端。3.4.客户端用输入流，根据元数据信息去找指定的datanode读取文件块(
_大叔_·2024-02-01 19:38

Hadoop-HA高可用

一、集群规划二、HDFS高可用官方地址在opt目录下创建一个ha文件夹，将/opt/module/下的hadoop-3.1.3拷贝到/opt/ha目录下（记得删除data和log目录）配置core-site.xmlhdfs-site.xmldfs.namenode.name.dirfile
DIY……·2024-01-14 06:28

Linux下配置伪分布式的Hadoop

hadoop3.1.3，并上传至服务器解压3编辑etc/hadoop/core-site.xmlfs.defaultFShdfs://127.0.0.1:8020hadoop.tmp.dir/usr/local/hadoop
qq_34324703·2023-12-26 05:49

怎么下载hadoop安装包，并在eclipse上引入hadoop外部依赖jar包

直接跳到博客最后面看)首先需要下载Hadoop的安装包这里我直接分享一个官网hadoop的一个版本的下载链接：http://us.mirrors.quenda.co/apache/hadoop/common/hadoop
我欲乘风归去...·2023-12-19 00:28

关于提示SLF4J: Class path contains multiple SLF4J bindings的问题解决

...........SLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/opt/software/hadoop
holywangle·2023-11-25 11:03

[yarn]yarn异常

一、运行一下算圆周率的测试代码，看下报错cd/home/data_warehouse/module/hadoop-3.1.3/share/hadoop/mapreducehadoopjarhadoop-mapreduce-examples
胖胖学编程·2023-11-08 19:41

在Linux中进行hadoop集群搭建

在公网IP为x.x.x.x、y.y.y.y和z.z.z.z并装有Centos8的服务器上进行hadoop集群搭建，都安装hadoop-3.1.3和server-jre-8u202-linux-x64。
Jerry 二河小鱼·2023-11-05 00:58

IDEA 搭建和环境变量

--next--next-finish--donotimportsettings--ok--回车--donotsend激活码获取微信关注公众号：二向位--激活教程--复制激活码--粘贴在页面上即可配置Hadoop
笨鸟先-森·2023-11-04 13:16

Hadoop启动后没有namenode进程的解决办法

hadoop-single~]#jps1792SecondaryNameNode1937Jps1650DataNode2.如何解决:先关闭hadoop：stop-all.sh删除文件夹（/opt/module/hadoop
真离谱·2023-10-19 04:49

Hadoop

HadoopHadoop安装集群部署规划hadoop-3.1.3/etc/hadoop/core-site.xmlhadoop-3.1.3/etc/hadoop/hdfs-site.xmlhadoop-
FangSai_ovo·2023-10-08 07:51

Hadoop源码阅读（三）：HDFS上传

说明：1.Hadoop版本：3.1.32.阅读工具：IDEA2023.1.23.源码获取：Indexof/dist/hadoop/core/hadoop-3.1.3(apache.org)4.工程导入：
THE WHY·2023-09-21 02:46

Hadoop源码阅读（二）：DataNode启动

说明：1.Hadoop版本：3.1.32.阅读工具：IDEA2023.1.23.源码获取：Indexof/dist/hadoop/core/hadoop-3.1.3(apache.org)4.工程导入：
THE WHY·2023-09-17 16:30

Hadoop源码阅读（一）：NameNode启动

说明：1.Hadoop版本：3.1.32.阅读工具：IDEA2023.1.23.源码获取：Indexof/dist/hadoop/core/hadoop-3.1.3(apache.org)4.工程导入：
THE WHY·2023-09-13 14:35

Hadoop分布式模式配置

hadoop环境准备：hadoop下载地址：http://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gzhadoop
鸡肋是鸡肋！·2023-09-10 08:30

windows运行saprk程序：Did not find winutils.exe、Could not locate Hadoop executable:

58WARNShell:Didnotfindwinutils.exe:{}java.io.FileNotFoundException:CouldnotlocateHadoopexecutable:D:\main\hadoop
枪枪枪·2023-08-31 03:10

4 hadoop集群配置案例

HADOOP_HOME/etc/hadoopvimcore-site.xml文件内容如下：fs.defaultFShdfs://hadoop102:8020hadoop.tmp.dir/opt/module/hadoop
水无痕simon·2023-08-28 09:48

5 群起集群

1.在启动集群之前，先配置workers,有几个节点就配置几个[atguigu@hadoop102hadoop]$vim/opt/module/hadoop-3.1.3/etc/hadoop/workers
水无痕simon·2023-08-28 09:06

centos7安装hadoop 单机版

/hadoop-3.1.3/2.配置环境变量[r
jmzcc·2023-08-24 21:59

Hadoop-3.1.3（七）YARN

YARN概述hadoop1.x中，一个Job任务使由JobTracker来分配资源和管理任务调度，虽说最终运行是在TaskTracker，但对于JobTracker来说，当大量的Job任务要分配，JobTracker也会面临忙不过来或受限的处境。hadoop2.x中，改变了JobTracker的工作机制只负责资源的调度，这样的设计方式减了JobTracker的工作负载，从而可以更专注的处理资源分配
_大叔_·2023-08-12 16:16

Hadoop学习整理

我看的课是这个，课程带着安装，搞虚拟机，很详细，推荐一波思维导图环境Hadoop102:cd/表示的是返回/cd～表示的是返回/home/fools$HADOOP_HOME配置的位置为/opt/module/hadoop
Foools·2023-07-25 07:48

hadoop 3.1.3单机版安装教程

参考网站1.大数据开发入门之hadoop单机版部署2.hadoop单机安装，小白上手最详细教程-Ali0th3.hadoop3.1.2单机模式安装配置下载地址hadoop-3.1.3正式安装1.java
YukunWen·2023-07-22 20:23

Windows下本地hadoop环境搭建

我使用的版本为hadoop-3.1.3版本，安装路径为E:\QQ\文件\2020\hadoop-3.1.3前提：先配置jdk环境变量以及hadoop的安装1、首先配置环境变量：hadoop-3.1.3的
YuuuuuYt·2023-07-22 00:07

Hadoop-3.1.3 搭建 (完全分布式)

1配置core-site.xmlfs.defaultFShdfs://hadoop01:8020hadoop.tmp.dir/usr/local/soft/hadoop/datahadoop.http.staticuser.userroot2配置hdfs-site.xmldfs.namenode.http-addresshadoop01:9870dfs.namenode.secondary.htt
BD_Marathon·2023-06-14 17:35

Hadoop高可用 HA [搭建]

1.hadoop102中的操作1.1修改配置文件core-site.xml1.2修改配置文件hdfs-site.xml1.3修改每一台机器的HADOOP_HOME的环境变量2.分发：将/opt/ha/hadoop
秋栗圆圆·2023-06-09 23:04

HBase和Hadoop的jar包冲突问题解决方案。

我们可以看到是hbase-2.2.2和hadoop-3.1.3中的slf4j-log4j12-1.7.25.jar冲突导致的问题。
Ramelon·2023-04-19 04:44

启动hdfs时报错：hadoop102：ERROR：Unable to wirte in /opt/module/hadoop-3.1.3/logs. Aborting.

启动hdfs时出现报错：hadoop102：ERROR：Unabletowirtein/opt/module/hadoop-3.1.3/logs.Aborting.如上图，在启动hdfs时，hadoop102
向南不向北·2023-04-13 11:51

Hadoop运维工具箱之HDFS集群扩容与缩容-尚硅谷大数据培训

配置白名单步骤如下：1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist和blacklist文件（1）创建白名单[atguigu
尚硅谷铁粉·2023-04-12 11:37

第4章、HDFS_集群的扩容和缩容

配置白名单步骤如下1）在NameNode节点上的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist（白名单）和blacklist（黑名单）文件（1）创建白名单
驾驭精神领域·2023-04-12 11:06

Hadoop调优手册(4)——HDFS集群扩容及缩容

同一个主机节点不能同时配置在白名单和黑名单中*步骤（1）在目录/opt/module/hadoop-3.1.3/etc/hadoop下，创建文件whitelist和blacklist（文件名称可自定义）
MartinGQ·2023-04-12 11:34

大数据框架升级

5.1Hadoop3.1.35.1.1安装安装方式同旧版本5.1.2配置文件core-site.xmlfs.defaultFShdfs://bigdata1:9820hadoop.tmp.dir/opt/module/hadoop
CJ21·2023-04-08 09:48

HDFS—集群扩容及缩容

配置白名单步骤：1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist和blacklist文件a.创建白名单[atguigu@
守猪_待兔·2023-04-05 18:49

HDFS故障排除-NameNode故障处理

NameNode2）故障模拟（1）kill-9NameNode进程[atguigu@hadoop102current]$kill-91310（2）删除NameNode存储的数据（/opt/module/hadoop
守猪_待兔·2023-04-05 18:49

hadoop启动时 Error: JAVA_HOME is not set and could not be found.（已解决）

2、否则修改文件（注意自己的目录）vim/opt/module/hadoop-3.1.3/etc/hadoop/hadoop-env.sh修改如下，（注意自己java的安装目录）
Ramelon·2023-04-03 09:16

启动hadoop时出现ERROR: JAVA_HOME is not set and could not be found.解决办法

因为写错了系统环境变量/etc/profile.d/my_hadoop.sh中的命令，导致很多命令失效，恢复后启用hadoop时出现了这个错误，原因是/opt/module/hadoop-3.1.3/etc
雷神乐乐·2023-04-03 09:40

8.Hadoop的HA(高可用)模式集群搭建

本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论，我会及时更新）搭建环境：hadoop-3.1.3
学习BigData·2023-04-02 05:56

30 分钟手工搭建 HDFS + Hive 环境

JDK:jdk-8u161-linux-x64.tar.gz下载hadoop3.1.3:http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop
taojy123·2023-04-01 22:26

Yarn新建队列分支并运行应用

目录新建队列分支分发配置文件刷新队列在新队列运行任务新建队列分支编辑capacity-scheduler.xmlcd/opt/module/hadoop-3.1.3/etc/hadoopvimcapacity-scheduler.xml
一抹鱼肚白·2023-04-01 04:06

第四章 Hadoop运行模式

目录1、本地运行模式（了解）1.1在hadoop-3.1.3文件下面创建一个wcinput文件夹1.2在wcinput文件下创建一个word.txt文件1.3回到Hadoop目录/opt/module/
Hubert_xx·2023-03-30 03:04

Hadoop 完全分布式搭建（超详细）

JDK1.82.解压文件3.配置环境变量4.配置Hadoop-env.sh文件5.配置Hadoop重要文件6.配置workers/slaves文件7.文件分发8.启动集群前言：本文中使用的Hadoop版本为hadoop
月亮给我抄代码·2023-03-23 02:55

flink-cdc写入hudi，使用hive或者spark-sql统计分析hudi的数据

一、环境准备：flink1.12.2_2.11hudi-0.9.0(master分支)spark-2.4.5、hadoop-3.1.3、hive-3.1.2(选择的是阿里云emr-2.4.5)二、flink-cdc
明喆_sama·2023-03-19 11:55

hadoop生产调优之HDFS—集群扩容及缩容和服务器间数据均衡

配置白名单步骤如下：1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist和blacklist文件（1）创建白名单[atguigu
tianyi6_6·2023-03-14 22:37

退役服务器

步骤：1）编辑/opt/module/hadoop-3.1.3/etc/hadoop目录下的blacklist文件[atguigu@hadoop102hadoop]vimblacklist添加如下主机名称
守猪_待兔·2023-03-14 22:59

HDFS黑名单退役服务器

黑名单配置步骤如下：1）编辑/opt/module/hadoop-3.1.3/etc/hadoop目录下的blacklist文件添加如下主机名称（要退役的节点）hadoop105注意：如果黑名单中没有配置
一抹鱼肚白·2023-03-14 22:20

Hadoop基础环境搭建完整版

Hadoop基础环境搭建（转载尚硅谷）说明个人学习记录基于虚拟机搭建，需要提前准备虚拟机环境搭建版本：hadoop-3.1.3搭建HDFS和yarn提前准备Hadoop安装包：hadoop-3.1.3.
黄开A·2023-03-09 10:40

Hadoop系列三之运行模式

具体可参考官方网站：http://hadoop.apache.org/1.本地运行模式1.1官方Grep案例（1）在hadoop-3.1.3目录下面创建一个input文件夹cd/opt/module/hadoop
Luckyman_zz·2023-01-30 15:52

bin/hive 启动报错：Operation category READ is not supported in state standby

nohbasein(/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/module/jdk1.8.0_212/bin:/opt/module/ha/hadoop
IT小强哥·2023-01-24 17:20

hadoop运行模式

一、本地模式单机运行，数据存储到linux本地例子：1、创建输入文件，数据内容（1）在hadoop-3.1.3文件下面创建一个input文件夹[[email protected]
汤·橘子·2022-12-21 16:51

Hadoop运行模式（本地运行模式）

本地运行模式：1）创建在hadoop-3.1.3文件下面创建一个wcinput文件夹[at@h
守猪_待兔·2022-12-21 16:21
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他