hadoop3.x

大数据第一步-Mac安装Hadoop3

1.安装工作1.1准备工作前提是把jJDK8安装好，hadoop3.x最低需要jdk8。
渣渣洒泪成长记·2023-07-18 14:29

Hadoop初始配置

本文章基于尚硅谷Hadoop3.x视频进行总结，仅作为学习交流使用视频链接如下：20_尚硅谷_Hadoop_入门_IP和主机名称配置_哔哩哔哩_bilibili目录第一部分.IP和主机名称配置1.VM网络配置
ZRSAI·2023-07-18 07:18

Hadoop集群配置及运行

本文章基于尚硅谷Hadoop3.x视频进行总结，仅作为学习交流使用视频链接如下：30_尚硅谷_Hadoop_入门_集群配置_哔哩哔哩_bilibili集群配置整体思路1.切换到/opt/module/hadoop
ZRSAI·2023-07-18 07:18

大数据之Hadoop3.x模板虚拟机配置图解

文章目录安装包准备一、VMware安装二、Centos安装2.1配置电脑2.1.1进入VMware2.1.2自定义新的虚拟机2.1.3解决虚拟机的兼容性2.1.4选择虚拟机的操作系统2.1.5选择CPU的个数2.1.6选择上网方式2.1.7选择磁盘的类型2.1.8选择磁盘的种类2.1.9选择虚拟机的磁盘大小2.1.10虚拟机文件的存放位置2.1.11电脑配置完毕2.2安装系统centos2.2.1
YOLO数据集工作室·2023-07-16 20:54

【Hadoop 01】简介

1Hadoop简介Hadoop适合海量数据分布式存储和分布式计算Hadoop3.x的细节优化：Java改为支持8及以上HDFS支持纠删码HDFS支持多NameNodeMR任务级本地优化多重服务默认端口变更
不菜不菜·2023-07-14 11:56

Hadoop3.X 高可用架构配置

一、简介hadoop是Apache基金会的一个顶级项目，最早期版本是十多年前发布的，随着飞速的迭代更新，2019年已经更新到了3.1.2版本。网络上大多数都是旧版本的配置，本文却是最新版本的hadoop的配置方法。本文以hadoop3.1.2为例，讲述如何从零开始搭建好hadoop集群。高可用介绍单NameNode的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，Name
拼命三郎-石秀·2023-04-14 03:43

尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】

视频地址：尚硅谷大数据Hadoop教程（Hadoop3.x安装搭建到集群调优）尚硅谷大数据技术Hadoop教程-笔记01【大数据概论】尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】尚硅谷大数据技术
延锋L·2023-04-09 07:45

Hadoop3.x入门-搭建3节点分布式集群

1.前言本文档适用于Hadoop3.x版本分布式测试集群搭建。
-小末·2023-04-07 13:52

尚硅谷大数据技术Hadoop教程-笔记04【Hadoop-MapReduce】

视频地址：尚硅谷大数据Hadoop教程（Hadoop3.x安装搭建到集群调优）尚硅谷大数据技术Hadoop教程-笔记01【大数据概论】尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】尚硅谷大数据技术
延锋L·2023-04-06 14:43

Hadoop组成及各组件架构概述

Hadoop3.x在组成上没有变化2.HDFS架构概述HadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统。（1）NameNode（nn）：
小吴学数据·2023-04-04 11:00

Hadoop目录

阅读导航1、课程视频教程来源：尚硅谷大数据Hadoop教程（Hadoop3.x安装搭建到集群调优）教程视频地址：https://www.bilibili.com/video/BV1Qp4y1n7EN课程视频代码
大数据之负·2023-04-03 23:15

尚硅谷大数据技术Hadoop教程-笔记06【Hadoop-生产调优手册】

视频地址：尚硅谷大数据Hadoop教程（Hadoop3.x安装搭建到集群调优）尚硅谷大数据技术Hadoop教程-笔记01【大数据概论】尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】尚硅谷大数据技术
延锋L·2023-04-03 23:32

大数据Hadoop2.x与Hadoop3.x相比较有哪些变化

在这篇文章中，我们将讨论Hadoop2.x与Hadoop3.x之间的比较。Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop2程序，Hadoop2和Hadoop3有什么区别？
IT自学妹·2023-04-03 11:56

hadoop启动报错:there is no HDFS_NAMENODE_USER defined_Error JAVA_HOME is not set and could not be found

纯手动搭建hadoop3.x集群记录004_群起集群并测试_解决启动中问题_并补充Linux环境---大数据之Hadoop3.x工作笔记0167这里hadoop启动报错:thereisnoHDFS_NAMENODE_USERdefined
脑瓜凉·2023-04-03 09:57

大数据-Linux下hadoop集群的配置及搭建

介绍：（1）版本是hadoop3.X版本。（2）JDK选择的是jdk1.8版本。（3）由于是用于学习的，所以搭建的是最小的集群（3台机器）。
数据微醺·2023-04-02 13:36

第六课 大数据技术之Hadoop3.x的源码解析

第六课大数据技术之Hadoop3.x的源码解析文章目录第六课大数据技术之Hadoop3.x的源码解析第一节RPC通信原理解析第二节NameNode启动源码解析第三节DataNode启动源码解析第四节HDFS
道教儒佛电磁波·2023-03-30 13:12

Hadoop3.x集群安装教程

一、Hadoop3.x介绍Hadoop是用Java语言实现的，允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理的框架。
文景大大·2023-03-18 10:11

Hadoop3.x纠删码（Erasure Coding）

Hadoop3.x引入了纠删码，采用计算的方式，可以节省约50％左右的存储空间。
一抹鱼肚白·2023-03-14 22:58

hdfs.DataStreamer: Exception in createBlockOutputStream blk_1073741891_1096java.io.IOException: Got

目录一、异常产生过程二、解决方案三、思考原因今天在配置Hadoop3.x纠删码（ErasureCoding）时，发生了以下报错，[[email protected]]$hadoopfs-put1
一抹鱼肚白·2023-03-14 22:58

Hadoop3.x源码编译打包实验记录

学会编译Hadoop非常有必要，Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库(NativeLibraries)的概念。说白了，就是Hadoop的某些功能，必须通过JNT来协调Java类文件和Native代码生成的库文件一起才能工作。linux系统要运行Native代码，首先要将Native编译成目标CPU架构的[.so]文件。而不同的处理器架构
文景大大·2023-03-12 08:40

hadoop3.x-尚硅谷笔记1（入门与背景知识）

20220114-20220115听的课，P1-P17尚硅谷大数据Hadoop3.x（入门搭建+安装调优）_哔哩哔哩_bilibili课前背景课程改变：hadoop3.1.3主要变化内容yarn调度器与调度算法集群搭建完毕后的压测
还我的鸭脖！·2023-03-09 11:43

【大数据】第二章：搭建Hadoop集群（送尚硅谷大数据笔记）

尚硅谷Hadoop3.x官方文档大全免费下载搭建集群没什么好讲的，跟着视频和笔记出不了什么问题。唯一遇到的问题就是安装好VmWare后打不开，发现是老师给的VmWare版本不适配本机的WIN11。
DragonZhuCn·2023-02-06 19:03

大数据基石-Hadoop3.x学习教程-Hadoop产品了解与快速上手

大数据基石-HadoopHadoop3.x版本全系列教程===楼兰===文章目录一、关于Hadoop1、关于Hadoop产品2、Hadoop课程内容3、Hadoop的主要组件二、Hadoop环境搭建以及快速上手1、Linux环境搭建2、Hadoop集群搭建3、Hadoop快速上手三、上手总结一、关于Hadoop1、关于Hadoop产品首先，关于Hadoop的重要性对于Hadoop的重要性，再怎么强
roykingw·2023-01-30 15:49

Hadoop3.x学习教程（二）

Hadoop3.x学习教程（二）1.完全分布式运行模式（开发重点）1.1、编写集群分发脚本1.2、SSH免密登陆配置1.3、集群配置1.4、群起集群1.完全分布式运行模式（开发重点）1.1、编写集群分发脚本
90后的包子·2023-01-30 15:49

hadoop3.x学习教程(一)

高效性：在MapReduce的思想下，Hadoop是并行工作的，加快任务处理速度高容错性：能够自动将失败的任务重新分配1.2、Hadoop3.x组成Hadoop3.x组成和2.x没有区别，内置组件分别
90后的包子·2023-01-30 15:19

尚硅谷hadoop3.x集群配置笔记及常见错误解决方式

1.搭建集群准备工作总体流程准备3台客户机（关闭防火墙、静态IP、主机名称）安装JDK配置环境变量安装Hadoop配置环境变量配置集群单点启动配置ssh群起并测试集群一、模板虚拟机的搭建配置要求：IP地址192.168.10.100**、主机名称hadoop100、内存4G、**硬盘50G（内存硬盘大小根据电脑配置自行更改）关于是否安装桌面：未安装桌面的版本需要要执行以下命令,用于配置工具包集合，
trincao·2023-01-30 14:44

大数据之hadoop3入门到精通

hadoop3.x搭建学习Hadoop概述什么是hadoop？1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。
放学-别走·2023-01-30 14:43

Hadoop3.x组件YARN入门

一、什么是YARNHadoopYARN是一种新的Hadoop资源管理器，虽然是Hadoop的组件，但是它被设计成一个通用的资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。YARN的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大的好处。二、为什么需要YARN在Hadoop1.x时代，资源管理和任务的调度工作是MapReduce承担的，到了Hadoop2.x，这两个功能才被从
文景大大·2023-01-28 23:56

Hive安装和使用 centos7

版本说明javajdk1.8haoop3.2.2hive3.1.2目前hive官网是支持hadoop3.x版本的，hive版本要3.x。不然安装没法使用。
笔墨新城·2023-01-12 21:35

hadoop3.X学习笔记进阶篇-MapReduce

MapReduce概述MapReduce框架原理MapReduce内核源码解析Hadoop数据压缩MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。1.2MapR
404 Not Bug·2023-01-03 09:07

Hadoop3.x组件MapReduce入门

一、什么是MapReduceHadoopMapReduce，以下简称MR，是一个分布式计算框架，可以用于轻松编写分布式应用程序，使得这些程序能以可靠的、容错的、并行的方式在分布式集群机器上处理大规模的数据。MR同时还是一种编程思想，是一种编程模型。其核心思想就是“先分再合，分而治之”，就是把一个复杂的问题，按照一定的分解方法将其分为等价的规模较小的若干简单问题，然后分别求解这些简单问题，最后把这些
文景大大·2022-12-30 11:15

Hive3.1.2+大数据引擎Tez0.9.2安装部署到使用测试（踩坑详情）

现在复盘一下，以下是我的版本号框架版本号Hadoop3.1.3Hive3.1.2Tez0.10.1能看到这篇文章的，说明各位也能知道tez是干啥的，这里就不介绍了，直接开始安装我们可以在官网看到，Hadoop3
后来X大数据·2022-12-29 13:04

hadoop3.x学习（一）--安装与环境配置

一、hadoop的组成hadoop1.x：Commons、HDFS（数据存储）、MapReduce（资源调度+计算）hadoop2.x:Commons、HDFS（数据存储）、MapReduce（计算）、Yarn(资源调度)1.1HDFS分布式存储文件系统。分为NameNode和DataNodeNameNode：管理元数据，负责监控DataNode状态，存储在内存。DataNode:负责存储具体的数
letg·2022-12-17 19:55

windows下安装spark + hadoop + pyspark

选择版本spark依赖的是hadoop和Javaspark、hadoop和python的适配hadoop2.x都是基于java7开发的hadoop3.x是基于java8开发的https://spark.apache.org
青碧凝霜·2022-12-15 11:08

大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）

文章目录一、大数据概论二、Hadoop概述三、Hadoop运行环境搭建（开发重点）3.1模板虚拟机环境准备3.2克隆虚拟机3.3在hadoop102安装JDK3.4在hadoop102安装Hadoop3.5Hadoop目录结构四、Hadoop运行模式4.1本地运行模式（官方WordCount）4.2完全分布式运行模式（开发重点）4.2.1虚拟机准备4.2.2编写集群分发脚本xsync4.2.3SS
虚神公子·2022-11-26 09:00

Hadoop学习5-4：Hadoop3.x新特性——纠删码（擦除编码）

1基本概念2纠删码操作2.1纠删码策略查看2.2纠删码策略设置2.3纠删码策略测试1基本概念  HDFS为擦除编码(EC)提供了支持，以更有效地存储数据。与默认三个副本机制相比，EC策略可以节省约50%的存储空间  但不可忽略的是编解码的运算会消耗CPU资源。纠删码的编解码性能对其在HDFS中的应用起着至关重要的作用，如果不利用硬件方面的优化就很难得到理想的性能。英特尔的智能存储加速库（ISA-L
愿你被这个世界温暖相待·2022-11-24 07:35

CentOS 7配置Hadoop3.X环境 附部分原理说明

需要工具：VMware,jdk,centOS7,hadoop，Mobaxterm(或其他终端如Xshell)Ⅰ.准备工作：虚拟机安装CentOS操作系统(Linux)官网链接：TheCentOSProjectVMware虚拟机自行下载CentOS安装建议选用以下安装方式：图形化界面更直观后续方便VMtools等工具使用(复制粘贴文本等主机交互命令)桌面模式下设置root直接登录：CentOS7自动
noobiee·2022-10-30 02:00

Hadoop 3.x（生产调优手册）----【Hadoop综合调优】

Hadoop3.x（生产调优手册）----【Hadoop综合调优】1.Hadoop小文件优化方法1.Hadoop小文件弊端2.Hadoop小文件解决方法2.测试MapReduce计算性能3.企业开发场景案例
在人间负债^·2022-10-28 20:00

Hadoop 3.x（生产调优手册）----【HDFS--故障排除】

Hadoop3.x（生产调优手册）----【HDFS--故障排除】1.NameNode故障处理1.需求2.故障模拟3.问题解决2.集群安全模式&磁盘修复1.安全模式2.进入安全模式场景3.退出安全模式条件
在人间负债^·2022-10-28 20:59

Hadoop 3.x（生产调优手册）----【MapReduce、Hadoop-Yarn生产经验】

Hadoop3.x（生产调优手册）----【MapReduce、Hadoop-Yarn生产经验】1.MapReduce跑的慢的原因2.MapReduce常用调优参数3.MapReduce数据倾斜问题4.
在人间负债^·2022-10-28 20:59

第四课 大数据技术之Hadoop3.x的YARN

第四课大数据技术之Hadoop3.x的YARN文章目录第四课大数据技术之Hadoop3.x的YARN第一节Yarn资源调度器1.1Yarn基础架构1.2YARN的工作机制1.3作业提交全过程1.4Yarn
道教儒佛电磁波·2022-10-18 15:10

Hadoop 3.x（MapReduce）----【MapReduce 框架原理 二】

Hadoop3.x（MapReduce）----【MapReduce框架原理二】1.MapReduce工作流程2.Shuffle机制1.Shuffle机制2.Partition分区1.问题引出2.默认Partition
在人间负债^·2022-10-13 10:49

Hadoop 3.x（MapReduce）----【MapReduce 框架原理 一】

Hadoop3.x（MapReduce）----【MapReduce框架原理一】1.切片与MapTask并行度决定机制2.Job提交流程源码和切片源码详解3.FileInputFormat切片机制1.切片机制
在人间负债^·2022-10-13 10:18

Hadoop 3.x（MapReduce）----【Hadoop 序列化】

Hadoop3.x（MapReduce）----【Hadoop序列化】1.序列化概述1.什么是序列化2.为什么要序列化3.为什么不用Java的序列化4.Hadoop序列化特点：2.自定义bean对象实现序列化接口
在人间负债^·2022-10-13 10:18

Hadoop 3.x（MapReduce）----【MapReduce 概述】

Hadoop3.x（MapReduce）----【MapReduce概述】1.MapReduce定义2.MapReduce优缺点1.优点2.缺点3.MapReduce核心思想4.MapReduce进程5
在人间负债^·2022-10-13 09:40

Hadoop 3.x 新特性概述

Hadoop3.x中增强了很多特性，在Hadoop3.x中，不再允许使用jdk1.7，要求jdk1.8以上版本。
悠然予夏·2022-10-12 11:40

windows hadoop3.x idea二次开发环境搭建

效果图源码下载地址hadoop地址碰到的第一个问题解决方法碰到的第二个问题解决方案:碰到的第三个问题这个就需要安装（这个我会上传到百度云里稍后发布，这个也是某个大佬里视频发的）链接：https://pan.baidu.com/s/1zWFcAOKV5wCv_n70iRjHyw提取码：f4fo具体配置是在编译windows版本中的这个问的那个安装完后然后进入到缺包的子模块下的proto目录下，执行转
自由的棉花·2022-10-12 10:01

1.Hadoop3.x 环境搭建

文章目录Hadoop3.x环境搭建流程一:虚拟机软件安装流程二:模板虚拟机系统硬件配置流程三:模板虚拟机系统软件配置流程四:模板虚拟机系统网络配置流程五:模板虚拟机与主机互传配置流程六:模板虚拟机所需环境配置流程七
白猫与下午茶·2022-10-12 10:10

hadoop3.x ha搭建

第一步搭建三节点的hdfs，没有故障转移功能1.下载相关jar包：hadoop-3.3.0.tar.gz，apache-zookeeper-3.7.0-bin.tar.gz，spark-3.2.0-bin-hadoop3.2.tgz（后续使用）2.虚拟机安装java环境，如果是yum安装openjdk，那么只有jre环境，没有jdk，此时还需要下载java-1.X.X-openjdk-devel这
香港记者mo·2022-09-19 14:09

Hadoop 3.x【大数据概念】

Hadoop3.x【大数据概念】1.大数据概念2.大数据特点（4V）3.大数据应用场景4.大数据发展前景5.大数据部分间业务流程分析6.大数据部门内组织结构1.大数据概念大数据（BigData）：指无法在一定时间范围内用常规软件工具进行捕捉
在人间负债^·2022-09-03 07:45
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他