hadoop3.1.3

实时数据湖：Flink CDC流式写入Hudi

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜1.环境准备•Flink1.12.2_2.11•Hudi0.9.0-SNAPSHOT(master分支)•Spark2.4.5、Hadoop3.1.3
王知无(import_bigdata)·2024-02-02 12:01

安装Hadoop：Hadoop的单机模式、伪分布式模式——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项

这篇笔记适合于原生Hadoop3.1.3，主要参考了官方安装教程，步骤详细，辅以适当说明
Stitch .·2024-01-01 10:09

Zookeeper集群搭建

系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装（单机、伪分布）Hadoop集群搭建HBase2.2.2安装（单机、伪分布）Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt·2023-12-31 08:53

Hadoop安装笔记2单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

紧接着上一篇博客：Hadoop安装笔记1：Hadoop安装笔记1单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理-CSDN
Stitch .·2023-12-29 02:00

Hadoop安装笔记_单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

将下发的ds_db01.sql数据库文件放置mysql中12、编写Scala代码，使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info。字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前日期的前一天日期（分区字段格式为yyyyMMdd）。使用hivecli执行showpartitio
Stitch .·2023-12-28 12:32

Linux下配置伪分布式的Hadoop

伪分布式的意思就是集群只有一台服务器1安装jdk1.8，注意，jdk版本太高会导致hadoop无法正常启动和运行2下载hadoop3.1.3，并上传至服务器解压3编辑etc/hadoop/core-site.xmlfs.defaultFShdfs
qq_34324703·2023-12-26 05:49

用户行为分析遇到的问题-ubantu16,hadoop3.1.3

用户行为分析传送门我的版本ubantu16hadoop3.1.3habse2.2.2hive3.1.3zookeeper3.8.3sqoop1.46/1.47我sqoop把MySQL数据往hbase导数据时候有问题重磅：大数据课程实验案例：网站用户行为分析（免费共享）用户行为分析-小数据集-CSDNApp手把手教你做厦门大学用户行为分析-小数据集-操作视频：https://b23.tv/yJ94T
To Shine·2023-12-20 08:49

Windows10安装Hadoop3.1.3环境

Windows10安装Hadoop3.1.3环境文章目录1.安装包下载1.1.hadoop官网下载1.2下载winutils1.3安装文件2.配置安装2.1安装配置JDK环境2.2解压hadoop压缩包
大飞哥～BigFei·2023-12-18 07:29

Flume学习笔记：01-Flume的安装与简单入门示例

文章目录概述Flume的基础架构AgentSourceSinkChannelEventFlume的安装与配置环境准备下载flume的安装包解压安装包删除guava-11.0.2.jar，以兼容hadoop3.1.3
wangzhongyudie·2023-11-27 06:30

一、Hadoop3.1.3集群搭建

一、集群规划hadoop01(209.2)hadoop02(209.3)hadoop03(209.4)HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerResourceManagerNodeManagerNodeManagerNameNode和SecondaryNameNode不要放在同一台服务器上二、创建用户u
Dream答案·2023-11-14 00:18

windows下安装hadoop3.1.3(详细)

windows下安装hadoop3.1.3(详细)最近公司有个采集日志到oss的任务，需要用到hdfs的环境做个透传，因为我们的要采集的日志分布在好几十个单独的服务器其中有linux，又有windows
潘小磊·2023-11-13 14:01

最新的Hadoop与HBase版本兼容性

HBase的版本一定要和Hadoop的版本保持兼容，不能随意选择如HBase2.2.2和Hadoop3.1.3兼容最新的Hadoop与HBase版本兼容性如下表截图来自http://hbase.apache.org
iijik55·2023-11-09 08:07

大数据学习hadoop3.1.3——Flume相关数据流监控Ganglia的安装与部署--测试

1、Ganglia的安装与部署1、集群里都需要安装gangliasudoyuminstall-yepel-release2、在101安装web,meta和monitorsudoyum-yinstallganglia-gmetadganglia-webganglia-gmond3、在102、103安装monitorsudoyum-yinstallganglia-gmondGanglia由gmond、
Carson_xcb·2023-10-21 07:40

Hadoop3教程（二十三）：Yarn的三大调度器

）FIFO调度器（130）容量调度器特点资源分配算法（131）公平调度器特点缺额的定义队列资源分配方式基于FIFO策略基于Fair策略资源分配算法DRF策略参考文献（129）FIFO调度器教程使用的是Hadoop3.1.3
经年藏殊·2023-10-19 23:25

云服务器搭建伪分布式hadoop实现远程连接

云服务器搭建伪分布式hadoop实现远程连接环境配置概述本文章基于腾讯云服务器环境进行安装部署hadoop3.1.3伪分布式环境，前提是默认服务器已经配置好了JDK和SSH免密安装配置1.下载压缩包可以去官网下载
日出青山在·2023-10-19 01:23

记Hadoop3.1.3安装排错之ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.

问题：ERROR:butthereisnoYARN_RESOURCEMANAGER_USERdefined.Abortingoperation.原因：没有配置好YARN_RESOURCEMANAGER_USER变量解决方案：vim$HADOOP_HOME/etc/hadoop/hadoop_env.sh添加#exportYARN_RESOURCEMANAGER_USER=root退出后再sourc
贞贞星球球王·2023-10-16 18:51

HDFS操作方法和基础编程

（一）完成相关的HDFS的基本shell命令0.命令基础①执行命令启动Hadoop（版本是Hadoop3.1.3）。
半濠春水·2023-10-05 05:14

各种环境安装

Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)_厦大数据库实验室博客(xmu.edu.cn)Ubuntu修改字体、调整缩放_ubuntu
哲哲816·2023-09-26 02:38

windows上Hadoop的安装和使用

到github.com网站（https://github.com/s911415/apache-hadoop-3.1.3-winutils）下载与Hadoop3.1.3配套的winutils。
瑾寰·2023-08-28 12:52

数仓4.0笔记——用户行为数据采集四

bin.tar.gz-C/opt/module/[zhang@hadoop102module]$mvapache-flume-1.9.0-bin/flume将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop3.1.3
丝丝呀·2023-08-24 17:24

一百五十九、Kettle——Kettle9.2通过配置Hadoop clusters连接Hadoop3.1.3（踩坑亲测、附流程截图）

一、目的由于kettle的任务需要用到Hadoop（HDFS），所以就要连接Hadoop服务。之前使用的是kettle9.3，由于在kettle新官网以及博客百度等渠道实在找不到shims的驱动包，无奈换成了kettle9.2，kettle9.2的安装包里自带了shims的驱动包，不需要额外下载，挺好！二、各工具版本（一）kettle9.2.0kettle9.2.0安装包网盘链接，请看鄙人拙作ht
天地风雷水火山泽·2023-08-18 05:46

记Hadoop3.1.3安装排错之ERROR: Cannot set priority of datanode process

错误：ERROR:Cannotsetpriorityofdatanodeprocessxxx修复方式：1.主要原因是权限不够，hadoop无法在$HADOOP_HOME/data/dfs/name中进行创建文件夹2.sudochmod-R777$HADOOP_HOME/data/dfs/name后哦即可
贞贞星球球王·2023-08-15 12:43

windows安装hadoop3.1.3教程

一、下载hadoop1.官网下载：ApacheHadoophttps://hadoop.apache.org/release/3.1.3.html2.百度云下载：链接：https://pan.baidu.com/s/1f28w-CIg7M2pViVp7Nj0tQ提取码：g4un二、下载winutils(hadoop在window运行的工具)1.百度云下载：链接：https://pan.baidu.
这人很懒没留下什么·2023-08-11 08:02

HDFS 写流程源码分析

HDFS写流程源码分析一、客户端（一）文件创建及Pipeline构建阶段（二）数据写入（三）输出流关闭二、NameNode端（一）create环境为hadoop3.1.3一、客户端以下代码创建并写入文件
冲鸭hhh·2023-06-24 08:45

CentOS7.5安装配置JDK1.8.0和Hadoop3.1.3

安装JKD使用Xftp将jkd和hadoop压缩包传送到虚拟机Hadoop102中的"/opt/software"路径下发现传输失败在虚拟机中输入chmod777/opt/software再次尝试传送文件，传送成功输入sudotar-zxvfjdk-8u212-linux-x64.tar.gz-C/opt/module/将jdk压缩包解压至"/opt/module/"目录下输入cd/etc/pro
寒叶飘逸_·2023-06-13 02:21

Ubuntu常见基本问题

系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装（单机、伪分布）Hadoop集群搭建HBase2.2.2安装（单机、伪分布）Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt·2023-06-09 00:30

Spark安装和编程实践（Spark2.4.0）

系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装（单机、伪分布）Hadoop集群搭建HBase2.2.2安装（单机、伪分布）Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt·2023-06-08 20:41

Spark集群搭建

系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装（单机、伪分布）Hadoop集群搭建HBase2.2.2安装（单机、伪分布）Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt·2023-06-08 20:41

HBase集群搭建

系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装（单机、伪分布）Hadoop集群搭建HBase2.2.2安装（单机、伪分布）Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt·2023-06-08 20:40

Hadoop集群搭建

系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装（单机、伪分布）Hadoop集群搭建HBase2.2.2安装（单机、伪分布）Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt·2023-06-08 20:05

HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.S

Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient在跟着尚硅谷数仓4.0视频学习的时候，所有都是按照视频中配置，hadoop版本为hadoop3.1.3
宁然也·2023-06-07 10:08

Java实现hdfs的8个api操作

Java实现hdfs的8个api操作一、预处理准备1.配置本地hadoop3.1.3目录文件2.配置环境变量二、Maven项目依赖三、Java源代码四、api操作的实现1.实现前的准备2.创建hdfs上的路径
三月枫火·2023-04-19 14:35

30 分钟手工搭建 HDFS + Hive 环境

0下载软件下载JDK:jdk-8u161-linux-x64.tar.gz下载hadoop3.1.3:http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/
taojy123·2023-04-01 22:26

Ububtu18.04安装Hadoop3.1.3全分布集群-持续更新问题集

Ububtu18.04安装Hadoop3.1.3全分布集群摘要Ububtu18.04安装1.选择NAT网络2.关闭防火墙3.SSH连接4.配置静态IP4.使用hadoop用户5.设置主机名6.配置/etc
IT从业者张某某·2023-03-31 14:09

大数据-安装 Hadoop3.1.3 详细教程-单机/伪分布式配置(Centos)

Centos7安装Hadoop3.1.3详细教程前言00需准备01需掌握一、准备工作00环境01创建hadoop用户02修改hadoop用户权限03切换为hadoop用户04更新源05检查SSH服务06
安悦悦ya·2023-03-28 19:47

大数据监控平台-Prometheus监控Hadoop3.1.3

简介本篇主要是使用jmx配合Prometheus监控大数据平台前提链接：https://pan.baidu.com/s/1c6nsjOKw4-a_Wqr82l0QhQ提取码：yyds--来自百度网盘超级会员V5的分享先安装好PrometheusFlink(Pometheus监控)_顶尖高手养成计划的博客-CSDN博客_${env:max_log_file_number:-10}prometheus
顶尖高手养成计划·2023-03-23 19:22

大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)

大数据-安装Hadoop3.1.3详细教程-伪分布式配置(Centos7)**相关资源：**https://musetransfer.com/s/q43oznf6f（有效期至2023年3月16日）｜【Muse
跪下，大胆刁民·2023-03-22 17:57

Hadoop 3.1.3 分布式集群搭建，超详细，保姆级教程

Hadoop3.1.3分布式集群搭建，超详细，保姆级教程1.环境准备2jdk1.8安装2.1卸载虚拟机自带的JDK2.2安装JDK1.83.在hadoop102安装Hadoop集群3.1集群安装准备3.2
姜之糖·2023-03-22 17:25

hadoop3.x-尚硅谷笔记1（入门与背景知识）

20220114-20220115听的课，P1-P17尚硅谷大数据Hadoop3.x（入门搭建+安装调优）_哔哩哔哩_bilibili课前背景课程改变：hadoop3.1.3主要变化内容yarn调度器与调度算法集群搭建完毕后的压测
还我的鸭脖！·2023-03-09 11:43

HDFS编程实践（Hadoop3.1.3）

目录1,在学习HDFS编程实践前，我们需要启动Hadoop（版本是Hadoop3.1.3）。
一 乐·2023-01-30 15:53

Hadoop集群安装配置教程

Hadoop集群安装配置教程目录Hadoop集群安装配置教程1、环境2、创建hadoop用户(两节点同步进行)3、安装SSH、配置SSH无密码登陆4、安装Java环境(两节点同步进行)5、安装Hadoop3.1.3
退役小学生呀·2023-01-30 15:52

Hadoop集群搭建配置教程

Hadoop3.1.3集群搭建前言集群规划集群搭建具体步骤1、下载`hadoop-3.1.3.tar.gz`2、上传并解压3、配置`path`变量4、修改配置文件4.1修改文件`hadoop-env.sh
笑看风云路·2023-01-11 11:52

大数据技术——MapReduce词频统计

注：参考林子雨老师教程，具体请见MapReduce编程实践(Hadoop3.1.3)_厦大数据库实验室博客一.实验目的1.理解Hadoop中MapReduce模块的处理逻辑｡2.熟悉MapReduce编程
一只考研党·2023-01-03 10:18

hbase配置和安装以及已经遇到的一些坑

https://mirrors.cnnic.cn/apache/hbase/2.3.5/我安装的是hadoop3.1.3版本，之后我安装了hbase2.4.x版本，hostname:60010启动不了，
かくabcd·2022-12-07 09:12

Hadoop3.1.3完全分布式安装（Centos7.x）

目录一、环境准备二、JDK的安装三、安装haddoop四、配置hadoop配置文件五、将jdk、hadoop分发到slave1、slave2节点六、hdfs格式化七、环境变量配置八、集群启动九、进程查看十、WEBUI查看一、环境准备节点名称【主机名】IPmaster170.158.10.101slave1170.158.10.102slave2170.158.10.103关闭防火墙#在root用户
Hedgehog·2022-09-27 16:04

完全分布式hadoop3.1.3集群搭建

文章目录一、搭建集群1.1架构信息1.2配置文件1.3修改自定义配置文件1.4分发配置文件二、启动hadoop集群2.1启动hdfs2.1.1添加workers节点2.1.2格式化namenode2.1.3启动集群2.2启动yarn一、搭建集群1.1架构信息各组件和机器间的对应关系如下表hadoop100hadoop101hadoop102HDFSNameNodeDataNodeDataNodeS
归海十八刀·2022-09-27 16:33

在hadoop3.1.3使用Flume上传日志文件至hdfs时出错解决方法

问题一：在hadoop3.1.3上使用Flume上传日志文件至hdfs时有可能会出现错误如下图：该错误的原因是flume中的guava-11.0.2.jar版本较低。
hunter95671·2022-09-21 11:42

BUG解决 | Hadoop集群下启动Spark On Yarn 报错问题及解决 版本兼容问题 Hadoop3.1.3 与Spark3.0.0

参考博文运行环境Hadoop3.1.3Spark3.0.0JDK8问题描述在集群yarn完全开启的情况下执行命令./spark-shell--masteryarn报错解决措施首先关闭集群，接着在hadoop目录下的/etc/hadoop/yarn-site.xml配置文件中添加以下内容：yarn.nodemanager.pmem-check-enabledfalseyarn.nodemanager
尤你·2022-03-23 21:41

HDFS编程实践（Hadoop3.3.1）

Hadoop伪分布式下去进行HDFS的编程实践准备工作：vm15.5hadoop3.3.1eclipse-java-2021-09-R-linux-gtk-x86_64参考：林子雨：HDFS编程实践（Hadoop3.1.3
阿洋太爱大数据·2021-10-08 20:20

2021-06-09

学期考查方式考查（设计）姓名何泽浩学号201806110094专业计科1802成绩指导教师吉立建一、实验平台搭建1、安装LinuxUbuntuKylin16.04（因数据集较大，建议内存为3G）2、安装Hadoop3.1.3
weixin_48070439·2021-06-10 00:19
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他