hadoop配置

Hbase的简单使用示例

Hadoop配置：HBas
傲雪凌霜，松柏长青·2024-09-09 11:40

hadoop配置免密登录

1.生成密钥ssh-keygen-trsa所有节点都要执行2.所有节点执行ssh-copy-id-i~/.ssh/id_rsa.pub用户名1@主机名1ssh-copy-id-i~/.ssh/id_rsa.pub用户名2@主机名2ssh-copy-id-i~/.ssh/id_rsa.pub用户名3@主机名33.目录授权chmod700~/.sshchmod600~/.ssh/authorized_
我干开发那十年·2024-03-24 07:25

Hadoop手把手逐级搭建 第二阶段: Hadoop完全分布式(full)

前置步骤:1).第一阶段：Hadoop单机伪分布(single)0.步骤概述1).克隆4台虚拟机2).为完全分布式配置ssh免密3).将hadoop配置修改为完全分布式4).启动完全分布式集群5).在完全分布式集群上测试
郑大能·2024-02-15 04:07

Hadoop单机环境搭建

Hadoop单机环境搭建一、jdk环境二、IP地址和主机名映射三、生成公私钥授权四、下载解压Hadoop五、配置Hadoop环境变量六、修改Hadoop配置文件七、关闭防火墙八、初始化九、启动十、Yarn
三暮辰·2024-02-02 23:42

Iceberg从入门到精通系列之二十一：Spark集成Iceberg

从入门到精通系列之二十一：Spark集成Iceberg一、在Spark3中使用Iceberg二、添加目录三、创建表四、写五、读六、Catalogs七、目录配置八、使用目录九、替换会话目录十、使用目录特定的Hadoop
最笨的羊羊·2024-02-02 12:20

Ubuntu22.04三台虚拟机Hadoop集群安装和搭建（全面详细的过程）

虚拟机Ubuntu22.04Hadoop集群安装和搭建（全面详细的过程）环境配置安装安装JDK安装Hadoop三台虚拟机设置克隆三台虚拟机设置静态IP修改虚拟机hostssh免密登录关闭防火墙Hadoop
WuRobb·2024-01-28 06:41

hadoop集群规划部署

Hadoop配置文件分两类：默认配置文件和自定义配置文件。
Snower_2022·2024-01-25 12:43

大数据平台组件日常运维操作说明（Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat）

Hadoop日常运维操作说明hdfs生产环境hadoop为30台服务器组成的集群，统一安装配置，版本号为2.7.7部署路径：/opt/hadoop启动用户：hadoop配置文件：/opt/hadoop/
love6a6·2024-01-25 07:12

hadoop-hdfs-API

处理hadoop配置文件及系统环境1.将hadoop所有jar包（除了..以外）添进hadoop/lib文件夹备用。2.将linux的hadoop/bin导出覆盖windows的hadoop/bin。
有七段变化·2024-01-22 15:43

Linux修改hadoop配置文件及启动hadoop集群详细步骤

目录一、配置Hadoop环境1.查看Hadoop解压位置2.配置环境变量3.编辑环境变量4.重启环境变量5.查看Hadoop版本，查看成功就表示Hadoop安装成功了二、修改配置文件1.检查三台虚拟机：2.切换到配置文件目录3.修改hadoop-env.sh文件4.修改core-site.xml文件5.修改mapred-site.xml文件6.修改hdfs-site.xml文件7.修改yarn-s
CatalinaCatherine·2024-01-21 05:45

linux上面hadoop配置集群

要在Linux上配置Hadoop集群，需要按照以下步骤进行操作：安装JavaDevelopmentKit(JDK)：首先，确保您的Linux系统上已经安装了JDK。可以通过运行以下命令来检查是否已经安装了JDK：java-version如果返回了Java的版本信息，则表示已经安装了JDK。如果没有安装，请根据您使用的Linux发行版，安装相应的JDK。下载和解压Hadoop：前往ApacheHad
酷爱码·2024-01-21 05:14

Hadoop配置文件加载

1.hadoop使用org.apache.hadoop.conf.Configuration类来加载配置文件2.一般我们在写客户端程序等需要连接hadoop集群时，需要自己准备好core-site.xml和hdfs-site.xml文件，然后使用Configuration类的addResource(xxx)方法来加载以上两个配置文件，下面就来解析下，假如自己不主动加载以上两个配置文件时，Confi
sf_www·2024-01-20 11:52

Hive数据导出的四种方法

Hive使用hadoop配置变量fs.
冬瓜的编程笔记·2024-01-17 08:31

任务5：安装并配置Hadoop

任务描述知识点：掌握Hadoop集群的搭建重点：掌握Linux基础命令在Linux系统下使用命令安装Hadoop集群内容：安装配置Hadoop集群配置Hadoop环境变量修改Hadoop配置文件部署Hadoop
Dija-bl·2024-01-15 22:21

(十八)大数据学习之HA

.保证服务器时间相同date-s2019-04-21把所有机器时间设置成00:00:00二.HadoopHA1.HDFSHA/usr/local/hadoop-2.8.4/etc/hadoop下是所有hadoop
Movle·2024-01-11 08:43

【spark】基于Spark的电影推荐系统+[详细代码及配置]

Hadoop2.8.5Hive2.1.0Spark1.6.3Kafka2.10_0.8.21MariaDB(Mysql)5.5.64Scala2.10.6Java1.8.0_25Zookeeper3.4.12Hadoop
BIG*BOSS·2024-01-10 06:25

物理机搭建hive

一、修改Hadoop配置修改core-site.xml配置yarn-site.xml分发文件，然后重启集群二、Hive解压安装上传文件添加hive环境便量，source生效启动高可用集群，启动hive三
DIY……·2024-01-09 06:45

【Hadoop】集群配置之主要配置文件（hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml...）

Hadoop配置文件模板core-site.xmlhadoop-env.shhdfs-site.xmlyarn-env-shyarn-site.xmlmapred-site.xmlslavesHadoop
不怕娜·2024-01-02 10:27

Docker 学习笔记

每一个机器都要部署环境（Redis，Es，Hadoop）费时费力发布一个项目（jar+（RedisMysqljdkes））项目能不能都带上环境安装打包之前在服务器配置一个应用的环境RedisMysqljdkESHadoop
IT小学僧·2023-12-23 14:19

在自己电脑配置cdh 版 hadoop 提交mr job客户端

pan.baidu.com/s/1iHm5M-gGZRWLKbzVjbYJmA密码:q9nv2.hadoop解压到自己本地电脑上mac/optwindowD盘3.将测试服务器的hadoop的配置文件复制到自己的hadoop
Helen_Cat·2023-12-23 04:51

Windows下安装hadoop

文章目录1.第一步：下载安装包2.第二步：解压下载的压缩包3.第三步：为hadoop配置环境变量4.第四步：验证是否安装成功5.如果还不能成功，则看看用户名是否含有空格或特殊符号1.第一步：下载安装包到官网去下载安装包
ElegantCodingWH·2023-12-19 00:28

Hadoop Single Node Cluster的安装

HadoopSingleNodeCluster的安装安装JDK查看java-version更新本地软件包安装JDK查看java安装位置设置SSH无密码登录安装hadoop下载安装设置hadoop环境变量修改hadoop
艾醒(AiXing-w)·2023-12-18 16:50

Scala-初学

HIVE也可以使用hadoop配置的压缩方法对中间结果或最终数据进行压缩1importscala.io.Sourcescala>vallines=Source.fromFile(“/usr/local/
Logan_addoil·2023-12-14 19:07

1-Hadoop原理与技术

选项:AdatanodeBslavesCyarn-site.xmlDcore-site.xml答案：B------------------------------题目2：Hadoop配置文件所在目录是哪个
阿伊同学·2023-12-05 06:06

Ubuntu安装hadoop并做单机测试

usr/local里面并更改名字为hadoop方便后续配置#解压sudotar-zxvfhadoop-2.7.7.tar.gz#更名sudomvhadoop-2.7.7.tar.gzhadoop3.为hadoop
MA木易YA·2023-12-03 20:37

大数据基础设施搭建 - Sqoop

上传压缩包官网：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/简介：Hadoop和关系数据库之间传输数据部署节点：在Hadoop集群的任意节点部署都可以，因为Hadoop
m0_46218511·2023-12-01 19:52

flink写入带kerberos认证的kudu connector

文章目录前言一、介绍二、先来看kudujavaapi认证kerberos1.首先需要进行kerberos的验证（需要将相应用户的keytab文件引入本地）2.依赖3.引入hadoop配置文件4.获取客户端
重生之我在异世界打工·2023-11-30 22:03

HDFS概述

文章目录一、HDFS概述1.什么是HDFS2.HDFS基本架构3.搭建[HDFS]4.安装hadoop5.hadoop配置文件的配置etc/hadoop6.namenode的格式化7.启动hadoop守护进程
~chun·2023-11-30 20:11

spark on yarn模式安装部署

1）修改hadoop配置文件yarn-site.xml,添加如下内容：[root@mzz11opt]$viyarn-site.xmlyarn.nodemanager.pmem-check-enabledfalseyarn.nodemanager.vmem-check-enabledfalse2
乖乖猪001·2023-11-30 03:56

搭建Spark伪分布式

验证虚拟机是否能免密登录本机（三）下载与Spark版本匹配的Hadoop安装包（四）上传Hadoop安装包（五）将Hadoop安装包解压到指定目录（六）查看Hadoop目录1、查看Hadoop安装目录2、查看Hadoop
jzy2024·2023-11-30 02:00

大数据处理实验（三）HDFS基本操作实验

HDFS基本操作实验1、Hadoop配置环境变量2、列出当前目录下的文件3、级联创建一个文件夹，类似这样一个目录：/mybook/input4、上传文件至HDFS5、从HDFS上下载文件6、查看HDFS
吱唔朱_·2023-11-28 16:43

【SpringBoot+HBase 】快速入门

基础命令1.2表的基本操作1.3表的数据增删改查指令1.3.1HBase数据模型1.3.2表的增删改查指令1.3.3过滤器条件查询二、JavaAPI操作Hbase2.1Maven依赖2.2复制HBase和Hadoop
豆腐脑lr·2023-11-26 06:39

【Hadoop】安装部署-完全分布式搭建

文章目录前言一、部署需要的软件二、Hadoop配置环境1.配置网络环境关闭防火墙2.安装jdk和hadoop2.1配置jdk环境变量2.2配置Hadoop环境变量三、准备三台虚拟机1.修改主机名与IP映射
db_lmr_2071·2023-11-23 22:05

伪分布式系列 - 第一篇 - hadoop-3.2.0环境搭建

目录Hadoop的三种运行模式单机模式伪分布式模式全分布式集群模式环境准备系统环境ssh免密码连接防火墙关闭jdk安装配置相关环境变量配置安装包下载Hadoop配置解压hadoop文件配置linux环境配置启动服务格式化
rolin-刘瑞·2023-11-23 15:21

hadoop 日志聚集功能配置 hadoop(十一)

图更加直观1.首先需要配置历史服务器配置，才可以配置日志聚集功能：hadoop配置历史服务器开启历史服务器查看hadoop(十)-CSDN博客2.配置了三台服务器，hadoop22,hadoop23,hadoop243
不努力就种地~·2023-11-21 11:43

hadoop 大数据集群环境配置 配置hadoop配置文件 hadoop(七)

1.虚拟机的三台机器分别以hdfs存储,mapreduce计算，yarn调度三个方面进行集群配置hadoop版本3.3.4官网：Hadoop–ApacheHadoop3.3.6jdk1.8三台机器尾号为：22，23，24。（没有用hadoop102,103,104,我改为了hadoop22，hadoop23，hadoop24）2.配置22机器core-site.xmlcd$HADOOP_HOME/
不努力就种地~·2023-11-14 21:42

[WSL] 安装hive3.1.2成功后, 使用datagrip连接失败

org.apache.hadoop.ipc.RemoteException:User:xxxisnotallowedtoimpersonateanonymous下载driver-hive-jdbc-3.1.2-standalone解决修改hadoop
言之。·2023-11-14 15:56

23年hadoop单机版+hive

文章目录说明分享环境信息安装jdkhadoop配置core-site.xmlmysqlhive安装配置hive-site.xml配置hive-env初始化mysql数据库启动验证hive命令hiveserver2
羽落风起·2023-11-12 01:36

Hadoop配置文件_mapred-default.xml

mapreduce.jobtracker.jobhistory.locationIfjobtrackerisstaticthehistoryfilesarestoredinthissinglewellknownplace.IfNovalueissethere,bydefault,itisinthelocalfilesystemat${hadoop.log.dir}/history.mapreduc
达达呀·2023-11-11 03:30

Hadoop实战 一 WordCount

Hadoop实战一WordCount准备工作启动虚拟机HadoopWindowsHadoop环境配置准备数据文本修改Mavenpom文件Hadoop配置文件编码环节Mapper文件Reduce文件Mian
Tzyy皮皮·2023-11-10 20:18

hadoop配置

服务规划gz上传文件，解压文件，创建软连接cdetc修改workers文件配置hadoop-env.sh，这个文件作用主要是Hadoop运行的环境变量exportJAVA_HOME=/export/server/jdkexportHADOOP_HOME=/export/server/hadoopexportHADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexportH
弦之森·2023-11-07 04:57

Iceberg数据湖的Table、Catalog、Hadoop配置Configuration

目录1.Configuration1.1tableproperties1.1.1Readproperties1.1.2Writeproperties1.1.3Tablebehaviorproperties1.1.4Reservedtableproperties1.1.4Compatibilityflags1.2Catalogproperties1.2.1Lockcatalogproperties1
Bulut0907·2023-11-05 23:52

Centos8中Hadoop3.3.1安装详细过程（含图文）

hadoop用户二、安装SSH、配置SSH无密码登录三、卸载jdk环境四、安装新的java版本五、安装Hadoop3六、配置hadoop环境变量七、Hadoop伪分布式配置1、Hadoop环境变量设置2、Hadoop
wat-999·2023-11-05 23:17

hadoop配置文件自检查(解决常见报错问题,超级详细！)

本篇文章主要的内容就是检查配置文件，还有一些常见的报错问题解决方法，希望能够帮助到大家。一、以下是大家可能会遇到的常见问题：1.是否遗漏了前置准备的相关操作配置？2.是否遗的将文件夹(Hadoop安装文件夹，/data数据文件夹)chown授权到hadoop用户这个操作3.是否遗忘了格式化hadoop这一步(hadoopnamenode-format)4.是否是以root用户格式化hadoop5.
syst1m'·2023-11-04 11:55

Flink问题总结

FlinkException:Failedtovalidateanyoftheconfigureddirectoriestomoniflink1.9关联hadoop配置需要上传flink-shaded-hadoop
勇者1108·2023-10-30 04:16

flink on k8s 访问hive hadoop

1.13及以后的版本好像有一些改动，hadoop配置文件目录好像有一定改动，需要自己确认一下flinkonk8s的APP模式下flinkonk8s的APP模式下，读取hadoop需要先添加依赖jar包，
Yaphets丶混世大魔王·2023-10-26 12:09

Hadoop伪分布式集群安装笔记

用于配置ip地址3、/etc/hosts设置IP地址与主机名映射，（类似解析域名）4、/etc/profile用于配置环境变量（用于当前机器全局用户）5、/etc/bashrc配置环境变量只用于当前用户在Hadoop
quguanghui1998·2023-10-24 16:11

windows本地搭建mmlspark分布式机器平台流程

文章目录windows本地搭建mmlspark分布式机器平台流程安装环境pyspark环境spark环境java环境hadoop环境1.修改hadoop配置文件下的jdk地址为自己的实际地址2.修改bin
安替-AnTi·2023-10-24 14:36

CentOS7搭建伪分布式Hadoop（全过程2023）

关闭防火墙3.修改主机名为*master*，并重启虚拟机vi/etc/hostname4.修改主机名与ip映射5.设置SSH免密登录6.安装配置java环境----------------------正式Hadoop
~晚风微凉~·2023-10-19 01:23

Linux搭建伪分布式Hadoop

1.利用Xshell把hadoop包放在opt目录下,切换到opt目录下进行查看2.创建hadoop260文件夹，解压Hadoop包到soft/hadoop260目录下3.切换到hadoop配置文件目录下进行配置
kyle01589·2023-10-19 01:20
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他