Hadoop集群

《黑马程序员》分布式内存计算Flink环境部署

分布式内存计算Flink环境部署注意本小节的操作，基于：大数据集群（Hadoop生态）安装部署环节中所构建的Hadoop集群如果没有Hadoop集群，请参阅前置内容，部署好环境。
懒羊羊夸夸~·2023-10-19 05:15

Linux学习笔记——分布式内存计算Flink环境部署

我们将基于Hadoop集群，部署FlinkStandalone集群。Spark更加
kxttmx·2023-10-19 05:11

Hadoop集群启动后，缺少namenode或datanode进程

简述：NameNode是HDFS的主节点，是负责管理整个HDFS集群的，相当于一个团队的老大,若没有启动，则不会进入web界面等。问题描述：使用start-dfs.sh启动集群，然后使用jps查看进程时发现没有namenode或没有datanode。但是SecondaryNameNode、ResourceManager、NodeManage等。分析：namenode进程没有启动。在运行Hadoop
y215204·2023-10-19 04:21

Hadoop之MapReduce基本简介

MapReduce的基本概念1.1基本概念Mapreduce是一个分布式运算程序的编程框架，主要用于hadoop的数据分析应用，是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop
下一秒，待续·2023-10-19 04:19

Hadoop集群配置运行

文章目录前期准备配置JDK环境Hadoop安装配置hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlworkersHadoop
Icy Hunter·2023-10-19 04:18

Hadoop学习之MapReduce

MapReduce的核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，然后并发运行在一个hadoop集群上。
斩丶空·2023-10-19 04:47

hadoop集群启动master节点jps后没有namenode解决方案

hadoop集群启动jps后没有namenode启动集群jps后出现：1.关闭集群stop-all.sh2.切换到hadoop的目录下将logs与tmp文件与内容删除并创建新的logscd/usr/local
1dress·2023-10-19 04:17

Hadoop集群当中主节点的NameNode进程启动不成功

原因：是因为多次格式化NameNode的原因，每次格式化NameNode的时候，hadoop集群就会产生一个新的集群ID，导致了NameNode和DataNode的集群ID不一致，所以导致运行start-all.sh
浩林ovo·2023-10-19 04:47

多次重新初始化hadoop namenode -format后，DataNode或NameNode没有启动

多次重新初始化hadoopnamenode-format后，DataNode或NameNode没有启动在搭建完hadoop集群后，需要对主节点进行初始化（格式化）其本质是清理和做一些准备工作，因为此时的
Oraer_·2023-10-19 04:47

启动hadoop集群没有SecondaryNode和DataNode和NameNode的解决方案

目录一.没有SecondaryNode的解决方案二.没有DataNode的解决方案三.没有NameNode的解决方案进行以下操作时别忘记先关闭Hadoop集群一.没有SecondaryNode的解决方案启动
不染_是非·2023-10-19 04:13

Hadoop集群启动但是没有datanode/namenode的情况

文章目录前言检查配置文件检查ssh免密重复初始化总结前言Hadoop集群我们是用三台笔记本电脑装了Ubuntu虚拟机然后进行集群的搭建。
Icy Hunter·2023-10-19 04:41

虚拟机搭建伪分布式Hadoop集群

虚拟机搭建自己的仿分布式集群linux-hadoop文件配置搭建前提目录结构安装jdk，下载hadoop，我的版本为2.9.2（较稳定的版本）配置环境变量然后source/etc/profile刷新一下同步集群时间设置每个主机的主机名（类下）修改主机名映射配置ssh免密登录关闭防火墙修改Hadoop主要配置文件hadoop-env.shcore-site.xmlfs.defaultFS:默认HDF
xiao_feng098·2023-10-19 01:29

搭建伪分布式hadoop集群操作步骤

搭建hadoop的伪分布式（hdfs，mapreduce，yarn配置在同一服务器上）（1）配置hdsf（a）配置：hadoop-env.sh修改JAVA_HOME路径：exportJAVA_HOME=jdk的路径（b）配置：core-site.xmlfs.defaultFShdfs://hadoop201:9000hadoop.tmp.dir/opt/module/hadoop-2.7.2/da
一棵小小柏·2023-10-19 01:27

搭建伪分布式Hadoop集群

搭建伪分布式Hadoop集群1.安装虚拟机、Centos、Xshell1.1虚拟机安装及使用2.网络设置3.jdk配置4.搭建伪分布式Hadoop集群5.搭建分布式Hadoop集群1.安装虚拟机、Centos
想去见见你·2023-10-19 01:53

搭建伪分布式hadoop系统

-7-x86_64操作系统安装（3）MobaXterm_Installer_v11.1远程登陆工具安装3、Hadoop环境搭建4、Hadoop环境测试5、问题解决二、软件准备选择在虚拟机中搭建伪分布式hadoop
arnoldmp·2023-10-19 01:48

腾讯云搭建伪分布式Hadoop集群

所谓伪分布式模式，就是一种单机模式。实际情况中只有一个节点（主机），适合于学习，但不适用于实际的开发环境。这也是官方提供的模式之一。具体的配置过程也可以参照https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html环境：腾讯云服务器一台（单核2G内存，50G硬盘，1M带宽）Ub
Manfestain·2023-10-19 01:47

Hadoop 伪集群

hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html版本：2.9.0目标先决条件支持的平台所需软件安装软件下载准备启动Hadoop
金刚_30bf·2023-10-18 18:04

Hadoop on docker

一、这只是一个步骤说明，旨在教大家怎么在docker上搭建hadoop集群以及附着于hadoop的其他环境（hive,pig,hbase,spark……）。
帅哥家的猫·2023-10-18 00:39

Hadoop集群资源管理器-YARN

1.YARN简介ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。用户可以将各种服务框架部署在YARN上，由YARN进行统一地管理和资源分配。2.YARN架构
shangjg3·2023-10-17 19:59

Hadoop分布式计算框架-MapReduce

编写好的程序可以提交到Hadoop集群上用于并行处理大规模的数据集。MapReduce作业通过将输入的数据集拆分为独立的块，这些块由`map`以并行的方式处理，框架对`map
shangjg3·2023-10-17 19:29

Hadoop集群_HDFS初探之旅

1、HDFS简介HDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（LargeDataSet）的应用处理带来了很多便利。Hadoo
weixin_30466421·2023-10-17 15:51

CentOS系统下的Hadoop集群（第8期）_HDFS初探之旅

Hadoop集群（第8期）_HDFS初探之旅1、HDFS简介HDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的
Wang_Zhenwei·2023-10-17 15:20

Hadoop集群（第8期）_HDFS初探之旅

1、HDFS简介HDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（LargeDataSet）的应用处理带来了很多便利。Hadoo
浮生(FS)·2023-10-17 15:49

Hadoop 配置 Kerberos 认证

1、安装Kerberos服务器和客户端1.1规划服务端：bigdata3客户端（Hadoop集群）：bigdata0bigdata1bigdata2192.168.50.7bigdata0.example.combigdata0192.168.50.8bigdata1
非理性地界生物·2023-10-16 06:39

基于Hadoop安装Hive

文章目录一、安装准备工作二、安装三、启动和测试一、安装准备工作1、安装HIve前得安装好Hadoop集群，不会安装的去我前面文章找2、安装包准备3、在Hadoop的namenode节点服务器安装即可链接
"小王"·2023-10-15 17:54

大数据框架之Hadoop：MapReduce（一）MapReduce概述

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
yiluohan0307·2023-10-15 13:26

Hadoop三大组件之MapReduce

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。MapReduce提供了2个编程接口，
不忘初欣丶·2023-10-15 13:56

大数据之Hadoop(MapReduce): MapReduce概述

定义2:MapReduce优缺点优点缺点1:MapReduce定义MapReduce是一个分布式运算程序的编程框架，将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行再一个hadoop
浊酒南街·2023-10-15 13:25

伪分布式Hadoop集群搭建

Hadoop：前提：jdk安装好、Hadoop解压好，并且配置好环境变量vi/etc/profileexportJAVA_HOME=jdk具体安装目录exportHADOOP_HOME=hadoop具体安装目录exportPATH=$PATH:$JAVA_HOME/bin:HADOOP_HOME/bin:HADOOP_HOME/sbinsource/etc/profilejava-versionh
陆墨宁·2023-10-15 12:02

大数据学习(9)-hadoop集群计算速度影响因素

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博>主哦Hadoop集群的计算速度会受到多种因素的影响，以下是一些可能导致计算速度变化的原因
viperrrrrrr·2023-10-14 22:31

Hadoop--万恶NameNode各种起不来！！！

每次用到Hadoop集群时NameNode总有各种各样奇奇怪怪的问题启动不了或者hdfs用9870端口访问不了！！！
樱桃气质丸·2023-10-14 18:30

不新鲜的集群重新格式化namenode，用hdfs namenode -format报错

是必须要做的事情，这一步叫格式化namenode，format英文本身的意思就是格式化格式化namenode的目的：HDFS需要格式化的过程来创建存放元数据（image，editlog）的目录我在安装hadoop
崔凯洋·2023-10-14 18:46

【大数据】hadoop安装部署（学习笔记）

一、集群组成概述Hadoop集群包括两个集群：HDFS集群、YARN集群两个集群逻辑上分离、通常物理上在一起两个集群都是标准的主从架构集群HDFS集群（分布式存储）：主角色：NameNode从角色：DataNode
rexhao_wmh·2023-10-14 08:44

Hadoop集群搭建

[配置/etc/hosts]添加新用户useraddhadooppasswdhadoopjava环境scp-r/usr/lib/java/jdktarget:/usr/lib/java/jdkvim~/.bashrc[JAVA_HOME][JRE_HOME][CLASSPATH][PATH]source~/.bashrc安装Hadoophadoop-env.sh:JAVA_HOMEcore-sit
快点学·2023-10-14 06:54

大数据Hadoop集群搭建-04安装配置HDFS

Hadoop集群搭建-03编译安装hadoopHadoop集群搭建-02安装配置ZookeeperHadoop集群搭建-01前期准备HDFS是配合Hadoop使用的分布式文件系统，分为namenode:
叫我懒猫·2023-10-14 04:32

Hive安装部署

一、简介Hive官网二、搭建准备Hadoop集群(必须搭建完)，Hadoop搭建Hive安装(注意切换用户hadoop)下载Hivecd/home/hadoop/softwgethttps://dlcdn.apache.org
鋆坤·2023-10-14 03:04

周末杂谈：关于Hadoop集群中，其创建文件的touch命令和touchz命令有什么区别？以及在什么样的情况下创建文件使用不同的命令。

touch命令案例：使用touch来在当前路径下创建一个文件，命名为file.txthadoopfs-touch/file.txttouchz命令案例：使用touchz来在当前路径下创建一个文件，命名为file.txthadoopfs-touchz/file.txt同touch命令与touchz命令都用于创建一个空文件。异touch命令将在指定路径下创建一个空文件，如果该文件不存在，则创建一个新文
放下华子我只抽RuiKe5·2023-10-14 01:31

走进Flink

可伸缩的、容错的流处理引擎，它支持批处理和流处理，并提供了丰富的API和库，是实时数据处理的理想选择由Java和Scala实现的，所以所有组件都会运行在Java虚拟机【单个JVM也可以】上不需要依赖于hadoop
、小H·2023-10-13 20:18

apache atlas 案例_元数据治理 Apache Atlas

ApacheAtlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力
CelioHsu·2023-10-13 18:47

Apache Atlas元数据 最全资料

第1章介绍atlas是apache下的大数据的元数据管理和数据治理平台，是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎
丨Apricity丨·2023-10-13 18:46

Hadoop生态系统的元数据管理和数据治理平台--Atlas 学习

最近在规划数据治理的功能，所以研究了一下ApacheAltasAtlas介绍Atlas是apache下的大数据的元数据管理和数据治理平台，是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop
m0_67401660·2023-10-13 18:16

Hadoop的元数据治理--Apache Atlas0.8

Hadoop的元数据治理--ApacheAtlasApacheAtlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎
大跃ET·2023-10-13 18:15

hive小文件合并机制_Hive小文件合并迁移

因为两个Hadoop集群都开启了kerberos身份认证，直接进行数据迁移不太好实现，所以需要先将A集群的数据下载到本地，再迁移到B集群本地，最后从B本地上传到B集群的Hive库里。
辰予·2023-10-13 08:56

大数据学习(6)-hive底层原理Mapreduce

乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博>主哦MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop
viperrrrrrr·2023-10-13 07:47

从零开始搭建hadoop集群（二）虚拟机网络和文件配置+虚拟机克隆

一、虚拟机环境准备。1.安装一下vim，自带的vi不太好用，也可以不装。yum-yinstallvim。[root@hadoop102~]#yum-yinstall vim2.打开下面的目录，修改静态IP。保证三者IP相同，即第2步，第3步，第4步，很重要，如果网络有问题，ping不通主机，shell连不上等原因就是因为这个，有问题私聊博主，博主之后也会写一篇网络ping不通的博客。[root@h
枫锦旧曾谙·2023-10-12 05:16

Hadoop集群启动从节点没有DataNode

目录一、问题背景二、解决思路三、解决办法：一、问题背景之前启动hadoop集群的时候都没有问题，今天启动hadoop集群的时候，从节点的DataNode没有启动起来。
小-枝-丫·2023-10-12 05:44

Hadoop分布式集群搭建教程

目录前言环境准备一、创建虚拟机二、虚拟机网络配置三、克隆虚拟机四、Linux系统配置五、Hadoop的部署配置六、Hadoop集群的启动前言大数据课程需要搭建Hadoop分布式集群，在这里记录一下搭建过程环境准备搭建
韭菜盖饭·2023-10-12 05:12

hadoop-3.1.0启动hadoop集群时还有可能可能会报如下错误

[root@localhostsbin]#start-all.shStartingnamenodeson[hadoop]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR:butthereisnoHDFS_NAMENODE_USERdefined.Abortingoperation.StartingdatanodesERROR:Attempting
回忆de天空·2023-10-11 16:40

Hive实战(03)-深入了解Hive JDBC：在大数据世界中实现数据交互

在大数据领域，Hive作为一种数据仓库解决方案，为用户提供了一种SQL接口来查询和分析存储在Hadoop集群中的数据。
JavaEdge.·2023-10-11 12:23

Hadoop+Zookeeper+HA错题总结（一）

题目3：下列哪项通常是hadoop集群运行时的最主要瓶颈？
十七✧ᐦ̤·2023-10-11 06:08
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他