hadoop配置

CentOS7搭建伪分布式Hadoop（全过程2023）

关闭防火墙3.修改主机名为*master*，并重启虚拟机vi/etc/hostname4.修改主机名与ip映射5.设置SSH免密登录6.安装配置java环境----------------------正式Hadoop
~晚风微凉~·2023-10-19 01:23

Linux搭建伪分布式Hadoop

1.利用Xshell把hadoop包放在opt目录下,切换到opt目录下进行查看2.创建hadoop260文件夹，解压Hadoop包到soft/hadoop260目录下3.切换到hadoop配置文件目录下进行配置
kyle01589·2023-10-19 01:20

ubuntu16.04 spark连接hadoop配置

1.spark配置historyserver2.hadoop配置yarn3.hadoop添加配置cd/usr/share/hadoop/hadoop-2.7.7/etc/hadoop配置yarn-site.xmlsudovimyarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-service
WJXZ·2023-10-18 13:05

Hadoop+Hive三节点集群环境搭建

etc/hosts在后面添加ip地址和主机名的映射配置多台服务器间的免密登录可以参考：https://blog.csdn.net/u010698107/article/details/119079821Hadoop
赤雁麟·2023-10-15 17:27

解决：hadoop无法访问50070端口

前置整个环境下JDK正常，hadoop配置文件正常，各个守护进程正常启动，防火墙已关闭，但是启动后无法从浏览器中访问50070。
燕山北·2023-10-07 23:09

大数据面试题

sort1.2Hadoop1.2.1Hadoop常用端口号hadoop2.xhadoop3.x访问HDFS端口500709870访问MR执行情况端口80888088历史服务器1988819888客户端访问集群端口900080201.2.2Hadoop
_画一方禁地·2023-10-04 20:48

Hadoop启动后jps发现没有DateNode解决办法

多次使用Hadoopnamenode-format格式化节点后DateNode丢失找到hadoop配置文件core-site.xml查找tmp路径进入该路径，使用rm-rfdata删除data文件再次使用
马龙强_·2023-10-04 14:56

Hadoop的HA高可用搭建

profileexportHADOOP_HOME=/root/hadoopexportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin重启生效source/etc/profile查看安装成功hadoop
我像影子一样·2023-10-03 07:49

Hadoop集群安装部署

目录Hadoop集群安装部署1、集群环境准备2、建立免密通道3、集群时间同步4、jdk1.8安装5、hadoop安装部署6、Hadoop配置文件配置7、格式化操作8、启动hadoop集群启动HDFS集群
Wangsh@·2023-09-28 02:50

虚拟机搭建Hadoop集群环境-CentOS篇

环境安装虚拟机环境准备虚拟机克隆修改虚拟机IP修改主机名创建普通用户重启虚拟机使用Xshell远程访问集群搭建安装JDK安装Hadoop关闭防火墙其它节点虚拟机克隆配置SSH无密钥登录编写文件集群分发脚本修改Hadoop
书隐辞·2023-09-22 02:16

大数据学习1.5-单机Hadoop

修改信息如下(这里第三位一定是自己的IP每个人都不一样)192.168.216.140hadoop01192.168.216.141hadoop02192.168.216.142hadoop033.修改Hadoop
汉卿HanQ·2023-09-19 07:28

hbase 集群搭建

下载/解压hbase1.3、修改配置文件1.3.1、hbase-env.sh1.3.2、hbase-site.xml1.3.3、regionservers1.3.4、backup-masters1.4、hadoop
.道不虚行·2023-09-18 18:10

第6章 MapReduce应用开发-管理配置

1、多环境配置切换开发时，如果需要经常在本地运行与集群运行间切换，可以编写多个hadoop配置文件，每个文件包含每个环境的连接设置，运行时指定使用哪一个配置文件，可以把这些文件集中放置在安装目录树之外。
主君_05c4·2023-09-18 16:48

Shell脚本一次性安装JDK&MySql&Hadoop&Hive&Zeepelin&Zookeeper&Hbase&Sqoop

目录前言一、安装前的准备二、shell安装MySQL三、shell安装&配置1.删除重复文件&配置2.解压安装包&重命名&授权3.配置环境变量4.Hadoop配置5.Hive配置6.Zeppelin配置
NightFall丶·2023-09-17 23:13

Hadoop生态圈（八）- HDFS动态节点管理

目录前言1.背景2.动态扩容、节点上线2.1新机器基础环境准备2.1.1主机名、IP2.1.2Hosts映射2.1.3防火墙2.1.4SSH免密登录2.1.5JDK环境配置2.2Hadoop配置2.2.1DataNode
大Null·2023-09-07 00:22

HDFS 集群动态节点管理

目录一、动态扩容、节点上线1.1背景1.2扩容步骤1.2.1新机器基础环境准备1.2.2Hadoop配置1.2.3手动启动DataNode进程1.2.4Web页面查看情况1.2.5DataNode负载均衡服务二
Stars.Sky·2023-09-07 00:51

hadoop配置环境变量

打开配置文件vim~/.bash_profile添加环境变量#hadoopexportHADOOP_HOME=/Users/shawn/Documents/hadoopexportHADOOP_INSTALL=$HADOOP_HOMEexportHADOOP_MAPRED_HOME=$HADOOP_HOMEexportHADOOP_COMMON_HOME=$HADOOP_HOMEexportHAD
潇豪·2023-09-06 04:23

云服务器搭建Hadoop集群

云服务器搭建Hadoop集群一、配置服务器1.创建普通用户2.安装Java环境3.安装hadoop4.网络配置5.hadoop配置6.执行分布式实例一、配置服务器1.创建普通用户说明：由于root环境下操作比较危险
Edge_Code·2023-09-06 03:16

Hadoop 3.2.4 集群搭建详细图文教程

3.2服务器基础环境准备3.2.1环境初始化3.2.2ssh免密登录（在hadoop01上执行）3.2.3各个节点上安装JDK1.8环境3.3安装Hadoop3.4Hadoop安装包目录结构3.5编辑Hadoop
Stars.Sky·2023-09-02 07:01

Linux中的JDK和Hadoop的安装与配置

文章目录一、更改权限二、JDK安装三、JDK配置四、Hadoop安装五、Hadoop配置一、更改权限1.使用su命令切换至root用户2.更改文件权限为7773.编辑文件并添加test权限二、JDK安装
T³3·2023-09-01 07:29

0201hdfs集群部署-hadoop-大数据学习

文章目录1前言2集群规划3hadoop安装包上传与安装3.1上传解压4hadoop配置5从节点同步和环境变量配置6创建用户7集群启动8问题集8.1InvalidURIforNameNodeaddress
gaog2zh·2023-08-28 06:31

NameNode 处理线程配置（心跳并发）

在Hadoop配置文件hdfs-site.xml中添加如下配置项：默认为10线程dfs.namenode.handler.co
月亮给我抄代码·2023-08-25 22:46

hadoop配置文件详解系列（二）-hdfs-site.xml篇

上一篇介绍了core-site.xml的配置，本篇继续介绍hdfs-site.xml的配置。属性名称属性值描述hadoop.hdfs.configuration.version1配置文件的版本dfs.namenode.rpc-address处理所有客户端请求的RPC地址，若在HA场景中，可能有多个namenode，就把名称ID添加到进来。该属性的格式为nn-host1:rpc-port。dfs.n
码说AI·2023-08-20 21:10

Hadoop/Hive-学习笔记【中级篇】

目录参考文章hadoop配置文件详解core-site.xml篇hdfs-site.xml篇参考文章目的链接hadoop配置文件hadoop配置文件详解系列（一）-core-site.xml篇-程序员姜小白
R&Y·2023-07-29 12:16

推荐系统环境搭建

推荐系统环境搭建一、Hadoop伪分布式搭建1、环境配置1.1、配置jdk1.2、修改主机名2、安装Hadoop2.1、上传并解压Hadoop2.2、免密配置2.3、配置Hadoop配置文件2.4、启动伪集群二
zznnniuu·2023-07-28 16:08

-Ddfs.checksum.combine.mode=COMPOSITE_CRC参数解析

-Ddfs.checksum.combine.mode=COMPOSITE_CRC-Ddfs.checksum.combine.mode=COMPOSITE_CRC是一个Hadoop配置参数，用于指定HDFS
墨卿风竹·2023-07-26 02:28

Hadoop简介以及集群搭建详细过程

Hadoop简介以及集群搭建详细过程hadoop集群简介hadoop部署模式Hadoop集群安装1.集群角色规划2.服务器基础环境准备3.上传安装包hadoop安装包目录结构5.编辑hadoop配置文件
fiveym·2023-07-23 15:35

Hadoop+Spark Windows系统环境搭建

HADOOP_HOME%\binSpark环境变量配置：SPARK_HOME：D:\ProgramData\BigData\Spark\spark-2.2.0Path：%SPARK_HOME%\bin修改hadoop
marklin·2023-07-22 00:36

windows10 搭建hadoop环境，并且使用hadoop命令

hadoop环境创建1.八、window搭建spark+IDEA开发环境按照步骤安装完2.windows下安装和配置hadoop配置环境变量，注意JAVA_HOME路径，修改后，重启电脑，不重启容易报错
选择和努力哪一个重要·2023-07-18 14:48

配置spark

tar-zxvfspark-3.0.0-bin-hadoop3.2.tgz-C/opt/modulecd/opt/modulemvspark-3.0.0-bin-hadoop3.2spark-yarn修改hadoop
好记性＋烂笔头·2023-07-18 09:49

hadoop安装教程（一次填完所有的坑）

02hadoop安装2.1下载与安装Step1:下载安装包Step2:上传并解压cd/datatar-zxvfhadoop-2.7.7.tar.gz2.2hadoop配置Step1:修改hadoop安装目录
only°夏至besos·2023-06-23 19:27

再见以前说再见 大数据计算框架复习

hadoop配置文件（如：core-site.xml、hdfs-site.xml）在${HADOOP_HOME}/etc/hadoop目录下.
亖嘁·2023-06-22 12:02

【Hadoop】大数据开发环境配置

大数据开发环境配置文章目录【Hadoop】大数据开发环境配置1设置静态ip2设置主机名3关闭防火墙4ssh免密码登录5JDK配置6hadoop安装并配置6.1集群节点之间时间同步6.2SSH免密码登录完善6.3hadoop
chaoql·2023-06-19 15:22

Spark on Yarn环境搭建

解压文件修改文件名配置环境变量修改hadoop配置文件/opt/hadoop/etc/hadoop/yarn-site.xml修改conf/spark-env.sh，添加JAVA_HOME和YARN_CONF_DIR
open_test01·2023-06-17 05:00

hadoop配置

提前下载好hadoop的tar包上传安装包到hadoop01解压到指定目录tar-zxvf/bigdata/soft/hadoop-3.3.3.tar.gz-C/bigdata/server/创建软链接cd/bigdata/serverln-shadoop-3.3.3/hadoop常见的Hadoop软件目录说明目录作用说明bin/Hadoop最基本的管理脚本和使用脚本hdfs:文件上传命令hado
你很棒滴·2023-06-16 17:23

Hadoop配置之 开启不了 8088、19888端口

8088端口（一般）对应Hadoop集群监控的ResourceManager19888端口（一般）对应MapReduceJobHistoryServer问题描述：分别执行start-dfs.shstart-yarn.shmr-jobhistory-damon.sh后发现只能在浏览器中打开master:50070，而8088、19888端口对应的网页打不开问题分析：执行netstat-ntlp发现没
飞花落雨·2023-06-16 12:54

k8s 配置hadoop集群，nfs作为存储

目录一、简介二、nfs服务&nfs-provisioner配置1、k8S服务器需安装nfs客户端2、nfs服务端安装配置3、使用nfs-provisioner动态创建PV（文件已修改）三、hadoop配置文件
疯飙的蜗牛·2023-06-15 01:38

【大数据】Hadoop高可用集群搭建

知识目录一、写在前面二、Zookeeper安装✨三、Hadoop配置✨四、HadoopHA自动模式✨五、HA脚本分享✨七、结语一、写在前面大家好！
初心%·2023-06-11 09:30

机器学习的一些常见算法介绍【线性回归，岭回归，套索回归，弹性网络】

系列优秀文章目录在vmbox里面安装Ubuntu16.04并且配置jdk以及Hadoop配置的教程【附带操作步骤】_张小鱼༒的博客-CSDN博客centos7配置静态网络常见问题归纳_张小鱼༒的博客-CSDN
张小鱼༒·2023-06-09 11:00

【云计算】VMware虚拟机完成在Docker部署Hadoop集群并发布在阿里云和DockerHub

目录1.环境准备2.安装docker3.在Docker中安装centos7ps:解决Docker中CentOS镜像无法使用systemd的问题4.Docker中centos7的java和hadoop配置
艾伦拜尔AllenBayer·2023-06-09 10:41

spark相关理论

集群的搭建【上篇】_ubuntu搭建zookeeper集群ubuntu虚拟机下搭建zookeeper集群，安装jdk压缩包，搭建Hadoop集群与spark集群的搭建【下篇】spark里面配置jdk后的编程与Hadoop
张小鱼༒·2023-06-09 00:17

Windows xp 在VMware虚拟机上面安装的详细步骤

系列精品文章目录在vmbox里面安装Ubuntu16.04并且配置jdk以及Hadoop配置的教程【附带操作步骤】_张小鱼༒的博客-CSDN博客centos7配置静态网络常见问题归纳_centos7网络问题
张小鱼༒·2023-06-09 00:16

CentOS-7下搭建Hadoop环境

CentOS-7下搭建Hadoop环境前言安装包版本ssh免密登录环境搭建1.修改网络配置信息2.关闭防火墙3.时间同步4.设置主机名5.hosts设置6.ssh配置JAVA安装Hadoop配置文件1.
音尾漾·2023-06-08 19:24

【大数据基石】Hadoop环境搭建

文章目录前言配置hosts关闭防火墙配置SSH免密下载Hadoop解压Hadoop到指定目录添加环境变量修改Hadoop配置文件core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlworkershadoop-env.sh
第七人格·2023-06-08 19:42

IDEA配置本地开发环境连接远程集群访问Hdfs，Spark SQL访问Hive

摘要：IDEA，Spark，Hive，HdfsIDEA配置访问hdfsIDEA本地环境需要配置pom.xml依赖配置hadoop-clientresources集群hadoop配置文件hdfs-site.xml
xiaogp·2023-04-20 13:13

完全分布式部署Hadoop

基本流程：准备3台客户机（关闭防火墙、静态ip、主机名称）安装jdk配置环境变量安装hadoop配置环境变量ssh免密登录（注意，也需要给本机设立免密）配置集群启动测试集群一、集群分发脚本xsync1.
静宸丶水默含声·2023-04-19 08:59

hadoop集群配置-总结

[TOC]hadoop集群hadoop3.2分为单点，集群，伪集群hadoop配置hadoop/etc/hadoop/下的xml配置环境变量的配置hadoop安全模式用户可以通过hdfsdfsadmin-safemodevalue
chia奇亚币·2023-04-18 19:27

【Hadoop全分布式环境搭建】

ntpd服务及关闭开机自启所有非ntpd时间服务器节点在master节点上进行hadoop的配置上传hadoop安装包，解压到相应的hadoop安装配置环境，并配置环境变量创建hadoop的tmp目录修改hadoop
pblh123·2023-04-18 05:41

解决 org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String；I)Z

String;I)Z本地运行mapreduce出现如下报错的原因是因为hadoop是运行在服务器操作系统上的需要安装windows支持winutils.exe和hadoop.dll方法一：如果已经为本地hadoop
李昊哲小课·2023-04-16 22:37

查看HDFS状态

学习hadoop时会遇到的问题首先，进入50070端口：192.168.110.128:50070其次，如下图，点击Utilities下Browsethefilesystem最后，如果hadoop配置没有问题的话
桑榆嗯·2023-04-15 10:25
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他