hadoop集群

最详细的大数据之Hadoop分布式系统架构解析！没有之一！

其最底部是HadoopDistributedFileSystem（HDFS），它存储Hadoop集群中所有存储节点上的文件。
大数据学习01·2023-08-23 18:22

Hadoop支持LZO压缩

以下是在Hadoop中使用LZO压缩的一般步骤：安装LZO库和工具：首先，需要在Hadoop集群的所有节点上安装LZO压缩库和工具。你可以从LZO官方网站或发行版的软件包管理器中获
贾斯汀玛尔斯·2023-08-23 07:32

hibench 对CDH5.13.1进行基准测试（测试项目hadoop\spark\)HDFS作HA高可靠性

使用CDH5.13.1部署了HADOOP集群之后，需要进行基准性能测试。一、hibench安装1.安装位置要求。因为是全量安装，其中有SPARK的测试（SPARK2.0）。
weixin_30262255·2023-08-23 00:44

有道云笔记bug整理hadoop集群启动但不能访问50070

这是前年搭建集群遇到的问题，特此在输出，以便于自己这种错误要长记住搭建Hadoop伪集群时，HDFS文件系统成功格式化，节点启动了，jps也有显示，但http://IP:50070就是访问不了。就是防火墙没有关闭。防火墙命令要注意分centos版本伪集群搭建采用的是CentOS7.0，而CentOS7.0默认使用的是firewall作为防火墙，可以改为iptables。Firewall：syste
纯野生程序员·2023-08-23 00:10

Ambari2.7+HDP3.0安装(基于Centos7)

1.Ambari简介ApacheAmbari项目旨在通过开发用于配置，管理和监视ApacheHadoop集群的软件来简化Hadoop管理。
小宇0926·2023-08-22 04:50

大数据hadoop 新手快速入门经典视频教程

视频下载地址：http://demo.liuy88.cn/jp1185.html第一天hadoop的基本概念伪分布式hadoop集群安装hdfsmapreduce演示01-hadoop职位需求状况.avi02
艾希MR·2023-08-22 03:20

Hadoop小结（下）

HDFS集群HDFS集群是建立在Hadoop集群之上的，由于HDFS是Hadoop最主要的守护进程，所以HDFS集群的配置过程是Hadoop集群配置过程的代表。
Zain Lau·2023-08-21 07:00

Hadoop集群运维相关笔记 hdfs参数设置调优等

文章目录1.HDFS1.1DataNode服务经常僵死描述分析解决1.2DataNode因数据盘损坏重启失败描述分析解决1.3优化HadoopBalancer平衡的速度2.HBASE2.1master服务无法启动errororinterruptwhilesplittinglogs描述分析解决Ref本篇博客将持续更新一些遇到过的Hadoop大数据集群的问题，包括HBASEHDFS的常见问题及相关的解
小鹅鹅·2023-08-20 21:08

hdoop面试题6 后面的面试题各公司面试题,算法数据结构相关面试题 后面没看 阿善有用...

配置环境变量d)修改host文件域名e)安装ssh配置无密码登录f)解压hadoopg)配置hadoopconf下面的配置文件h)Hadoopnamenode-format格式化i)Start启动2.列出hadoop
okbin1991·2023-08-19 14:24

hadoop2的集群数据将副本存储在hadoop3

在Hadoop集群中，HDFS副本是分布式存储的，会存储在不同的节点上。
荣晓·2023-08-19 10:48

Hadoop 重启流程

因原有配置密钥目录有误，需要重启Hadoop集群3个节点，Hadoop版本3.3.21、Zookeeper分别在3个节点重新启动/opt/apache-zookeeper-3.7.0-bin/bin/zkServer.shstart2
wangqiaowq·2023-08-17 14:38

CnetOS7 搭建Sqoop-1.4.7(Hadoop3.0.3+HBase+Hive+zookeeper)

1、Centos7搭建Hadoop集群参考文章地址：https://blog.csdn.net/zhouzhiwengang/article/details/945499642、CentOS7搭建HBase
在奋斗的大道·2023-08-17 09:59

实战：使用Docker部署Hadoop集群

文章目录Hadoop简介Hadoop优势Hadoop应用场景docker与docker-compose安装Hadoop集群搭建环境变量docker-compose环境文件树结构编排并运行容器运行wordcount
小沈同学呀·2023-08-17 03:32

【hadoop】windows上hadoop环境的搭建步骤

一般我们都会将hadoop集群部署在服务器上，但是作为一个资深搬砖人，我们本地环境也需要一个开发hadoop的开发环境。
小沈同学呀·2023-08-17 03:01

linux公钥 还需要密码,centos配置ssh免密码登录后仍要输入密码的解决方法

前言在搭建Linux集群服务的时候，主服务器需要启动从服务器的服务，如果通过手动启动，集群内服务器几台还好，要是像阿里1000台的云梯Hadoop集群的话，轨迹启动一次集群就得几个工程师一两天时间，是不是很恐怖
橘子说柠檬你好甜·2023-08-15 16:19

Hbase 错误：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 解决方案

项目场景：提示：Hadoop集群版本为3.2.2、Hbase集群版本为2.3.6、Zookeeper集群版本为3.6.3问题描述：在使用Hbase命令时，出现以下：ERROR:org.apache.hadoop.hbase.PleaseHoldException
freedom_Mr·2023-08-15 11:26

构建Hadoop集群实验

（1）在#后输入cd/home/命令，进入home目录下，在#后输入viDockerfile命令，创建并编辑一个Dockerfile文件，示例代码如下：[root@xxxhome]#viDockerfile按i（小写）键，进入编辑模式，将以下代码输入至Dockerfile文件当中。示例代码如下：FROMcentosMAINTAINERzingADDjdk-7u79-linux-x64.tar.gz
舜岳·2023-08-15 02:21

05-Hadoop集群部署(普通用户)

Hadoop集群部署（普通用户）Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。
书香恋仁心·2023-08-14 12:51

在Deepin(深度)操作系统上使用docker在idea中搭建一个简单的Hadoop集群(一)

在Deepin(深度)操作系统上使用docker在idea中搭建一个简单的Hadoop集群(一)**本文将使用详细的描述和代码来展示Deepin系统下,一个包含master(主节点)+两个slave(工作节点
叶青舟·2023-08-14 12:35

大数据开发基础-环境配置篇-Hadoop集群安装

鼠鼠接下来将更新一系列自己在学习大数据开发过程中收集的资源、和自己的总结、以及面经答案、LeetCode刷题分析题解。首先是大数据开发基础篇环境搭建、组件面试题等其次是更新大数据开发面经的java面试基础最后更新一个大数据开发离线数仓的实战项目，自己写入简历的项目。关注不迷路，学习要进步！！！！！！集群规划node01node02node03角色主节点从节点从节点NameNode√DataNode
葡萄成熟时_·2023-08-14 01:19

2018-12-01 大数据学习

一开始以为是zk集群和hadoop集群的ip地址问题，因为这个集群是部署在阿里云上的，所以会有内部ip和公网ip的转换，以前在旧公司用openstack搭大数据测试集
Bitson·2023-08-13 04:38

虚拟机CentOs7配置网络 （NAT模式）

前言：创建三台虚拟机，先后配置网络IP地址，这里虚拟机的版本的是CentOS7本文适合Hadoop集群网络配置，如果电脑换了网络连不上虚拟机，以及虚拟机ping不通外网，都可以参照一下操作如需了解NAT
weixin_52593633·2023-08-12 12:34

hadoop集群的安装

1、CDH软件版本重新进行编译1、编译hadoop的原因，需要对hadoop安装包中添加以下C程序库2、编译环境的准备2.1：准备Linux环境准备一台linux环境，内存4G或以上，硬盘40G或以上，我这里使用的是Centos6.964位的操作系统2.2：虚拟机联网，关闭防火墙，关闭selinux关闭防火墙命令：serveriptablesstopchkconfigiptablesoff关闭se
我还不够强·2023-08-11 16:28

Docker安装Hadoop分布式集群

一、准备环境dockersearchhadoopdockerpullsequenceiq/hadoop-dockerdockerimages二、Hadoop集群搭建1.运行hadoop102容器dockerrun
qq_14910065·2023-08-11 11:00

Hbase伪分布式搭建与完全分布式搭建

2、完全分布式搭建前提：Hadoop集群正常运行zookeeper集群正常运行配置流程配置regionservers
南宫萧言·2023-08-11 08:23

大数据学习之Hadoop——02Hadoop集群安装

欢迎关注我的CSDN:https://blog.csdn.net/bingque6535一.Hadoop伪分布式安装：1.自身免秘钥(前提):$ssh-keygen-trsa-P''-f~/.ssh/id_rsa$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keysimage在这里插入图片描述2.安装hadoop：解压hadoop安装包tarxfhadoop-2
Jiang锋时刻·2023-08-11 03:28

hadoop滚动重启脚本

背景再使用开源版本hadoop集群时，有配置参数修改时，需要人工修改并重启节点让配置生效，因此这里这里写了个脚本实现自动滚动重启。脚本：注意：不同版本的hadoop#!
ThomasgGx·2023-08-10 18:51

PySpark之Python版本如何选择(详细版)

问题背景公司目前有两套Spark集群和一套Hadoop集群用来做数据相关的存储和计算。Hadoop的版本是2.7，Spark两套集群，一个是2.1.0版本，一个是2.4.3版本。
eaglecolin·2023-08-10 18:36

hadoop集群：HDFS读写流程图与HDFS元数据管理机制

hadoop集群：HDFS读写流程图与HDFS元数据管理机制1，HDFS读流程客户端通过DistributedFileSystem向NameNode请求下载文件。
扎道·2023-08-09 08:52

Hadoop理论及实践-HDFS读写数据流程（参考Hadoop官网）

NameNode（主节点）：NameNode是Hadoop集群中的一个核心组件，它负责管理文件系统的命名空间和元数据。
Matrix70·2023-08-09 08:18

Ambari架构源码解析【转载】

Ambari架构源码解析1.Ambari介绍ApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控。
岁月的眸·2023-08-09 01:31

HBase Shell 操作

1、基本操作1.1、进入HBase客户端命令行前提是先启动hadoop集群和zookeeper集群。
让线程再跑一会·2023-08-09 01:00

Hadoop集群启动常见错误

错误一：配置文件错误解决方案：检查配置文件，修改错误。重新分发（同步）常见错误二：重复格式化DataNodeNameNode在格式化时如果发现下面的提示说明重复格式化了datanode和namenode的集群id不一致重复格式化解决方案：1.将所有节点重启（杀死所有节点的服务-NN,DN,RM）2.删除三台节点中的data,logs,/tmp/*3.重新格式化4.启动集群脚本：一键同步到所有集群#
redstone618·2023-08-08 15:30

CDH6.3.2 启用Kerberos 认证

用户需要能够可靠地“识别”自己，然后在整个Hadoop集群中传播该身份。完成此操作后，这些用户可以访问资源（例如文件或目录）或与集群交互（如运行MapReduce作业）。
格格巫 MMQ!!·2023-08-08 13:24

离线数仓之Kerberos基本使用及问题记录

离线数仓之Kerberos基本使用及问题记录文章目录离线数仓之Kerberos基本使用及问题记录0.写在前面1.Kerberos基本使用0.启动Kerberos相关服务1.安全模式下启动Hadoop集群
WHYBIGDATA·2023-08-08 13:54

hadoop Java API 比较python 下的hadoop streaming

javaapi来运行mapreduce程序1首先需要搭建一个hadoop集群。
sadamu0912·2023-08-08 11:23

（十四）大数据实战——hadoop集群一键式高可用实现自动故障转移与故障初始化恢复

前言本节内容延续前面几节内容，综合性的实现hadoop集群的高可用以及hadoop集群故障初始化的恢复，通过一个脚本，实现整个集群的高可用启停与状态观测。
北溟溟·2023-08-08 07:57

Docker Hadoop、Spark、Kafka、Zookeeper等集群服务搭建

目录Docker搭建Hadoop集群（Docker&Hadoop&HDFS&Yarn&Cluster）Docker搭建Myrocks实例（Docker&Mysql&Rocksdb）Docker搭建Kafka
boonya·2023-08-07 12:01

Hive常见面试题

它提供了类似于SQL的查询语言（HiveQL），使用户能够使用SQL语句来查询和分析大规模存储在Hadoop集群上的数据。
Matthew117·2023-08-06 06:13

（十三）大数据实战——hadoop集群之YARN高可用实现自动故障转移

前言本节内容是关于hadoop集群下yarn服务的高可用搭建，以及其发生故障转移的处理，同样需要依赖zookeeper集群的实现，实现该集群搭建时，我们要预先保证zookeeper集群是启动状态。
北溟溟·2023-08-06 00:57

（十二）大数据实战——hadoop集群之HDFS高可用自动故障转移

前言本节内容主要介绍一下hadoop集群下实现HDFS高可用的自动故障转移，HDFS高可用的自动故障转移主要通过zookeeper实现故障的监控和主节点的切换。
北溟溟·2023-08-06 00:26

python自动化部署hadoop集群_大数据集群的自动化运维实现思路

原标题：大数据集群的自动化运维实现思路|作者简介王晓伟知数堂《大数据实战就业》课程讲师六年大数据相关工作经验清华大学软件工程硕士曾就职于网易、搜狗等互联网企业从事大数据及数据仓库的开发管理工作拥有丰富的数据平台建设、及Hadoop生态系统组件优化经验|王老师往期公开课及试听视频：1、第1期课程刚结课(正式课试听视频:https://pan.baidu.com/s/1yfgL5g7FGfjnhas1
weixin_39869959·2023-08-04 19:11

Spark RDD详解

它可以通过YARN或Spark的Standalone在Hadoop集群中运行，并且可以处理HDFS、Hbase、Cassandra、Hive和任何HadoopInputFormat中的数据。
丿沐染烟忱丶·2023-08-04 18:03

mongo-hadoop集成

当hadoop集群需要借助mongodb的数据进行辅助分析时，为了快速实施我们需要将hive集成mongodb1.下载jar包，放到hive节点的第三方包/etc/hive/auxlib目录下(这个目录通过
csdn-延·2023-08-03 20:52

Hadoop集群报错/bin/bash: /bin/java: No such file or directory

在终端运行/bin/java无法运行，所以需要给它创建个软连接，使其指向真正的jdk目录ln-saba就是源文件，当我们进入b时实际进入的是a所以我们只需要在终端执行ln-s/opt/module/jdk1.8/bin/java/bin/java，然后在集群上的每台电脑上都执行相同命令就行
csding11·2023-08-02 13:05

所有集群启动的命令

所有集群启动的命令查询所有节点启动Hadoop集群(Yarn模式)关闭Hadoop集群Spark（local模式）启动Spark集群standalone模式(不用了)关闭standalone模式HA下的
不懂开发的程序猿·2023-08-02 08:34

Ubuntu上安装Hadoop集群

所以这篇文章我们就来介绍一下如何在Ubuntu上搭建Hadoop集群。准备阶段三台在同一局域网内的Linux机器或者虚拟机。配置好Host文件，让三台机器可以通过主机名进行访问。
名字想好没·2023-08-01 23:38

Zookeeper

Zookeeper1.简介最初了解它是在研究生期间，搭建过Hadoop集群，它用于为分布式集群提供一致性服务。它的核心是：类似树形文件系统、通知机制。下面先介绍几个小概念。
粪逗er·2023-08-01 15:12

Hive/Spark/Yarn: User Not Found 错误和 Kerberos / AD / OpenLDAP 之间的关系与解释

类似的问题大多发生在启动了Kerberos的Hadoop集群上，或者集群集成了WindowsAD或OpenLDAP后。本文，我们把这个问题梳理清楚并给出解决方法。
　Laurence·2023-07-31 11:53

VMware搭建Hadoop集群 for Windows（完整详细，实测可用）

目录一、VMware虚拟机安装（1）虚拟机创建及配置（2）创建工作文件夹二、克隆虚拟机三、配置虚拟机的网络（1）虚拟网络配置（2）配置虚拟机主机名（3）配置虚拟机hosts（4）配置DNS、网关等（5）reboot重启虚拟机四、配置SSH服务（1）确认ssh进程（2）生成秘钥（3）秘钥拷贝五、JDK安装（1）把JDK安装包传输到虚拟机（2）把JDK安装包解压到/export/software/（3
沙滩de流沙·2023-07-30 06:01
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他