Hadoop安装

Hadoop集群启动没有Datanode

可能造成的原因：频繁的格式化namenode环境：VMWARE+Centos7+Hadoop3.1.1解决：进入到你hadoop安装目录里面的/data/dfs文件夹中cd/opt/module/hadoop
程序员在线炒粉·2025-06-05 14:45

手把手教你搭建 Hadoop Namenode 高可用集群（HA）

路径一致性：所有节点的Hadoop安装路径、数据目录需完全一致。端口冲突：检查9820、9870、8485等端口是否被占用。ZooKeeper集群：确保ZK集群稳定运行，至少3个节点避免脑裂。
线条1·2025-05-21 12:27

Hadoop初始化不成功，Start-all报错

使用root配置的hadoop并启动会出现报错解决方法：在Hadoop安装目录下找到sbin文件夹在里面修改四个文件1、对于start-dfs.sh和stop-dfs.sh文件，添加下列参数：#!
Swingzzz·2025-05-13 04:14

Spark集群搭建（Hadoop+Spark+Zookeeper+HBase）

目录硬件准备与软件版本说明配置基础环境安装Java安装Hadoop安装Spark安装Python安装Scala安装SBT安装Zookeeper安装HBase安装Pycharm编写集群启动与关闭脚本用户管理界面补充硬件准备与软件版本说明
wahoo0301·2025-05-12 09:11

配置集群-编写hadoop启动停止脚本

/bin/bash#设置Hadoop安装目录HADOOP_HOME="/path/to/your/hadoop"#启动HDFS$HADOOP_HOME/sbin/s
Aaaa小嫒同学·2025-05-04 08:29

Hadoop 集群扩容新增节点操作文档

Hadoop集群扩容新增节点操作文档一、前期准备1.环境检查（所有新节点）确保JDK安装：java-version确保Hadoop安装：hadoopversion添加主机名映射（所有节点）：cat>>/
菜鸟、上路·2025-04-24 09:54

Ubuntu安装Hadoop3.1.3教程

Ubuntu16.0464位作为系统环境前期准备进入终端，输入命令创建新用户为Hadoopsudouseradd-mhadoop-s/bin/bash使用命令设置密码，这里“Hadoop”表示用户名为Hadoop
敲码到头秃·2025-04-20 03:44

Hadoop安装

Hadoop的安装方式有三种，分别是单机模式，伪分布式模式，分布式模式。单机模式：单机模式：Hadoop默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单Java进程，方便进行调试。伪分布式模式：Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点既作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。分布式
Cindy_0124·2025-03-24 19:59

在虚拟机上安装Hadoop

进入到Hadoop安装包路径下，cd/opt/software/，再解压安装文件到/opt/module下，对应的命令是:tar-zxvfhadoop-.1.3
杜清卿·2025-03-22 07:58

CentOS 7系统中hadoop的安装和环境配置

1.创建Hadoop安装解压路径：mkdir-p/usr/hadoop2.进入路径：cd/usr/hadoop3.下载安装包（我这里用的是阿里云镜像压缩包）：wgethttps://mirrors.aliyun.com
代码小张z·2025-03-21 01:15

Hadoop的运行模式

完全分布式运行模式4、区别与总结Hadoop有三种可以运行的模式：本地运行模式、伪分布式运行模式和完全分布式运行模式1、本地运行模式本地运行模式无需任何守护进程，单机运行，所有的程序都运行在同一个JVM上执行Hadoop
对许·2025-03-10 09:35

【大数据入门核心技术-Flume】（二）Flume安装部署

目录一、准备工作1、基本Hadoop环境安装2、下载安装包二、安装1、解压2、修改环境变量3、修改并配置flume-env.sh文件4、验证是否安装成功一、准备工作1、基本Hadoop环境安装参考Hadoop
forest_long·2025-02-07 08:33

云计算：从基础架构原理到最佳实践之：云计算大数据分析与处理

2.1云计算简介2.2云计算特点3.大数据的定义与特点3.1大数据定义3.2大数据特点4.大数据分类、存储和处理技术4.1大数据分类4.2大数据存储和处理技术5.Hadoop-Cloud组件选型5.1Hadoop
AI天才研究院·2025-02-05 20:18

Hadoop HDFS 安装详细步骤

Hadoop安装详细步骤安装前分别在master、slave1、slave2三台机器的root用户下的主目录下创建目录bigdata，即执行下面的命令：mkdir~/bigdataHadoop安装包下载检查
碟中碟山·2025-02-05 07:16

《Hadoop系列》Docker安装Hadoop

文章目录Docker安装Hadoop1安装docker1.1添加docker到yum源1.2安装docker2安装Hadoop2.1使用docker自带的hadoop安装2.2免密操作2.2.1master
DATA数据猿·2024-08-31 12:16

【笔记】HDFS基础笔记

启动hadoop命令（未配环境变量）：进入hadoop安装目录输入.
哇咔咔哇咔·2024-03-20 04:12

macos安装local模式spark

文章目录配置说明安装hadoop安装Spark测试安装成功配置说明Scala-3.18+Spark-3.5.0Hadoop-3.3.6安装hadoop从这里下载相应版本的hadoop下载后解压，配置系统环境变量
SparklingTheo·2024-02-09 08:52

Hadoop搭建（完全分布式）

bigdata-masterbigdata-slave1bigdata-salve2NameNodeNodeManagerNodeManagerSecondaryNameNodeDataNodeDataNodeResourceManagerNodeManagerDataNode目录一、jdk安装：二、hadoop
莫噶·2024-02-08 04:14

现成Hadoop安装和配置，图文手把手交你

为了可以更加快速的可以使用Hadoop，便写了这篇文章，想尝试自己配置一下的可以参考从零开始配置Hadoop，图文手把手教你，定位错误资源1.两台已经配置好的hadoop2.xshell+Vmware链接：https://pan.baidu.com/s/1oX35G8CVCOzVqmtjdwrfzQ?pwd=3biz提取码：3biz--来自百度网盘超级会员V4的分享两台虚拟机用户名和密码均为roo
叫我小唐就好了·2024-02-08 03:56

CentOS7搭建Hadoop集群

集群环境搭建（3台）-CSDN博客2、配置虚拟机之间免密登录，参考：CentOS7集群配置免密登录-CSDN博客3、虚拟机分别安装jdk，参考：CentOS7集群安装JDK1.8-CSDN博客4、下载Hadoop
在下区区俗物·2024-02-07 12:57

linux安装hadoop详细步骤（伪分布式）

一.准备好hdk和hadoop安装文件，上传到linux二.安装jdk，我之前博客有专门写过安装jdk步骤，这里就不重复了，有需要的小伙伴可以去翻翻之前的三.安装hadoop1.解压hadooptar-zxvfhadoop
红烧柯基·2024-02-06 08:28

Hadoop环境搭建

2.2VM网络设置2.3安装CentOS7系统2.4master主机进行网络配置2.5同步时间2.6Xshell6的安装与使用2.7关闭防火墙2.8设置主机名2.9hosts设置2.10安装JDK2.11Hadoop
业里村牛欢喜·2024-02-02 07:24

解决There are 0 datanode(s) running and no node(s) are excluded in this operation.

出现上述问题可能是格式化两次hadoop，导致没有datanode解决方法1：重启linux,再使用start-dfs.sh和start-yarn.sh重启一下hadoop解决办法2：找到hadoop安装目录下
有一束阳光叫温暖·2024-01-31 23:56

IDEA中Hadoop的环境配置

没有配置HadoopHome：在Windows下解压一份Hadoop安装包Hadoop使用log4j进行日志输出，明显没有配置log4j再次运行，显示了作业的运行情况
hhhhhhhhhhhnb·2024-01-31 12:36

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP

HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER.原因是Hadoop
W_yhhh·2024-01-31 08:44

大数据[1] -- 安装hadoop

文章目录Hadoop安装以及配置一、安装1.安装SSH，设置SSH无密码登录2.安装jdk3.安装Hadoop二、配置三、其他配置四、出现的问题五参考文章Hadoop安装以及配置一、安装1.安装SSH，
天下一般·2024-01-31 08:06

Hadoop搭建集群中输入hdfs namenode -format格式化节点时，提示：hdfs command not found 解决办法

/sbin方法2:进入/etc/profile文件中添加hadoop的安装路径sudovim/etc/profile添加：exportHADOOP_HOME=本机的hadoop安装路径exportPATH
drhrht·2024-01-31 08:05

Hadoop中hdfs-default.xml的位置

在hadoop安装包中hadoop-2.7.2\share\hadoop\hdfs\hadoop-hdfs-2.7.jar里面
BugEveryday·2024-01-31 08:31

搭建vmware虚拟化平台的基础配置，以及Hadoop平台的搭建

vmwareworkstationscentos.isohadoop3.3.0mobaxterm/xshell/pietty/winscpjdk的tar包第一步：安装centos操作系统第二步：克隆虚拟机（也可以在hadoop
rootwiki·2024-01-30 13:18

hadoop安装遇到的一些障碍

一.start-dfs.sh（开启不成功）原因：1.dadoop文件所属者与执行时登陆者不一致（权限不足）报错：WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER.Startingnamenodeson[centos7]centos7:Pe
GetIdea·2024-01-26 18:30

基于CentOS7 Hadoop-2.7.2伪分布式部署

1、基本环境Linux版本：CentOS7.0JDK版本：jdk-7u79-linux-x64.tar.gzHadoop版本：hadoop-2.7.2.tar.gzjdk以及Hadoop安装在/usr目录下
程序员小H·2024-01-25 07:23

部署Hadoop集群

在node1节点执行，以root身份1：在VMware虚拟机集群上部署HDFS集群1）准备好hadoop安装包；目前最新3.3.4；了解：2）上传解压hadoop①：上传hadoop到node1节点；②
%HelloWorld%·2024-01-24 13:27

Hadoop安装配置HBase

1、文件准备http://archive.apache.org/dist/hbase/1.3.1/下载hbase-1.3.1-bin.tar.gz并上传到虚拟机/root目录下。2、安装切换目录[root@hadoop00~]#cd/usr/local新建文件夹[root@hadoop00local]#mkdirhbase解压文件[root@hadoop00local]#tarzxvf/root/
m0_69595107·2024-01-24 06:10

Linux修改hadoop配置文件及启动hadoop集群详细步骤

目录一、配置Hadoop环境1.查看Hadoop解压位置2.配置环境变量3.编辑环境变量4.重启环境变量5.查看Hadoop版本，查看成功就表示Hadoop安装成功了二、修改配置文件1.检查三台虚拟机：
CatalinaCatherine·2024-01-21 05:45

hadoop dfs web页面访问增加鉴权

生成密码//hadoop安装目录下创建secret目录，存放密码mkdir-p/home/test/hadoop-3.2.2/secret//创建密码文件touchhadoop-http-auth-s
花菜回锅肉·2024-01-19 21:10

记录学习Spark+Kafka构建实时分析Dashboard案例中遇到的问题（一）安装

目录推荐环境系统和软件安装安装Ubuntu分辨率问题虚拟机桥接模式连不上网Hadoop安装Ubuntu16.04下用aria2下载百度网盘大文件其他在安装hadoop时遇到的问题hadoop用法小结单机模式伪分布式
白令屿·2024-01-16 13:53

Hadoop/Spark安装

单机安装Hadoop安装Javasudoapt-getinstalldefault-jdkjava-version2.设置Hadoop用户和组sudoaddgrouphadoopsudoadduser-
周倜吉·2024-01-13 03:40

Hadoop安装遇到的一些问题

image.pngimage.png解决选择CentOs.vmx无反应问题：image.png打开之后，选择Poweron之后，选择Imovedit：第一次点mved，以后点copiedroot登陆，密码：hadoop修改时间，选择时区打开一个终端查看ip查看主机名、防火墙状态在桌面中打开的终端，以root权限运行，否则一些文件没有修改权限
博弈史密斯·2024-01-11 07:30

YARN 配置文件 capacity-scheduler.xml 参数解读

capacity-scheduler.xml文件中配置了yarn资源调度器运行中的各项参数，位于hadoop安装目录/hadoop-2.7.2/etc/hadoop目录下。打开后可以看到默认配置。
我很ruo·2024-01-10 08:49

《数据采集与预处理环境》实验环境安装

文章目录1.安装Python及第三方库2.jupyternotebook安装3.jdk安装4.MySQL安装1.在根目录下创建文件my.ini2.初始化3.安装服务4.启动服务5.登录6.配置环境变量5.hadoop
活下去.·2024-01-06 14:10

1.大数据概述

目录概述hadoophadoop模块hadoop发行版apache社区版本CDP(CDH+HDP)其它云产商框架选择hadoop安装结束概述先了解几个常用的网站apache官网hadoop官网hadoopgithubhttps
流月up·2024-01-05 23:00

【2023】hadoop基础介绍

操作HDFS分布式文件存储NameNode元数据数据读写流程YARN和MapReduceMapReduce：分布式计算YARN：资源管控调度YARN架构提交任务到**YARN中运行**Hadoop组成hadoop
方渐鸿·2024-01-02 03:26

Linux Hadoop安装

Hadoop下载地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
神游御风·2024-01-01 14:08

VitulBox中Ubuntu虚拟机安装JAVA环境——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项

提示：以下操作是在虚拟机hadoop用户下操作的，并为安装java环境作准备一、更新APT为了确保Hadoop安装过程顺利进行，建议用hadoop用户登录Linux系统后打开一个终端，执行下面命令更新APT
Stitch .·2023-12-31 20:41

【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建

Clustermode（集群模式）二、准备工作1、先完成zk高可用搭建2、/etc/hosts增加内容3、各台服务器分别创建目录4、关闭防火墙和禁用swap交换分区5、三台机器间免密6、安装jdk7、下载好hadoop
forest_long·2023-12-30 18:49

Hadoop开发环境搭建

文章目录第1关：配置开发环境-JavaJDK的配置第2关：配置开发环境-Hadoop安装与伪分布式集群搭建hadoop-env.sh配置yarn-env.sh配置core-site.xml配置hdfs-site.xml
柔雾·2023-12-30 09:42

Hadoop安装笔记2单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

紧接着上一篇博客：Hadoop安装笔记1：Hadoop安装笔记1单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理-CSDN
Stitch .·2023-12-29 02:00

Hadoop安装笔记_单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

将下发的ds_db01.sql数据库文件放置mysql中12、编写Scala代码，使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info。字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前日期的前一天日期（分区字段格式为yyyyMMdd）。使用hivecli执行showpartitio
Stitch .·2023-12-28 12:32

10.hadoop安装（全分布式安装）

全分布式首先必须有jdk安装，这里不再概述，参考4首先如果有不同就修改注意要改为disabled关闭防火墙iptable首先要免秘钥主节点要分发秘钥51020303540
文茶君·2023-12-26 20:43

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.

HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER.原因是Hadoop
玖玖1704·2023-12-24 12:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他