hdfs集群搭建

Hadoop 1 ~ Hadoop 3 的发展史

Hadoop1的核心设计就是HDFS(HadoopDistributedFileSystem)和Map
大数据狂人·2023-12-03 14:34

大数据开发：HDFS Erasure Coding机制

Hadoop的分布式文件系统HDFS，其冗余备份机制，确保了数据存储的容错，但是同时也增加了冗余存储成本。今天的大数据开发分享，我们就来讲讲HDFSErasureCoding机制。
成都加米谷大数据·2023-12-03 14:29

Hbase与Hive的区别与联系

Hive，通过元数据来描述HDFS上的结构化文本数据。因此，严格地讲，Hive并非数据库，主要是让开发人员能够通过SQL(HQL语
阿乐_822e·2023-12-03 12:13

二、ZooKeeper集群搭建

解压2.3第三步：修改配置文件2.4第四步：添加myid配置2.5第五步：安装包分发并修改myid的值2.6第六步：三台机器启动zookeeper服务2.7配置Path环境变量1、概述Zookeeper集群搭建指的是
geek@z·2023-12-03 09:52

Zabbix HA高可用集群搭建

ZabbixHA高可用集群搭建ZabbixHA高可用集群搭建一、Zabbix高可用集群（ZabbixHA）二、部署Zabbix高可用集群1、两个服务端配置1.1主节点ZabbixServer配置1.2备节点
KK小草莓·2023-12-03 06:38

ZooKeeper集群搭建

一.zookeeper官网http://zookeeper.apache.org/releases.html下载稳定版本v3.6.3：https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz介绍：ZooKeeper集群中的所有机器通过一个Leader选举过程来选
时光故事·2023-12-03 05:54

zookeeper实操课程Acl 访问权限控制，命令行测试

阅读本文之前，请先阅读----zookeeper单机伪集群搭建简单记录（实操课程系列）。
香至-人生万事须自为，跬步江山即寥廓。·2023-12-03 00:02

ZooKeeper的分布式锁---客户端命令行测试（实操课程）

阅读本文之前，请先阅读----zookeeper单机伪集群搭建简单记录（实操课程系列）。
香至-人生万事须自为，跬步江山即寥廓。·2023-12-03 00:00

Hive----基本概念

3、本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上4.Hive的优缺点优点1)操作接口采用类
Hi杯酒故人·2023-12-02 21:21

Hadoop架构---HDFS补充知识点---三个模式/机制

1.安全模式在安全模式下不允许HDFS客户端进行任何修改文件的操作,包括上传文件，删除文件等操作。
Yan_bigdata·2023-12-02 19:29

Hive环境准备[重点学习]

1.前提启动hadoop集群hadoop在统一虚拟机中已经配置了环境变量启动hdfs和yarn集群命令:start-all.sh[root@node1/]#start-all.sh启动mr历史服务命令:
Yan_bigdata·2023-12-02 19:59

Hadoop进阶学习---HDFS分布式文件存储系统

1.hdfs分布式文件存储的特点分布式存储:一次写入,多次读取HDFS文件系统可存储超大文件,时效性较差.HDFS基友硬件故障检测和自动快速恢复功能.HDFS为数据存储提供很强的扩展能力.HDFS存储一般为一次写入
Yan_bigdata·2023-12-02 19:59

推荐系统lambda架构学习笔记之Hadoop、HDFS、YARN&MapReduce（三）

HadoopHadoop介绍Hadoop名字的由来作者：DougcuttingHadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名Hadoop的概念:Apache™Hadoop®是一个开源的,可靠的(reliable),可扩展的(scalable)分布式计算框架允许使用简单的编程模型跨计算机集群分布式处理大型数据集可扩展:从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储可
吃一口桃酥·2023-12-02 19:50

Hadoop之MapReduce学习笔记（一）

1、mapreduce整体工作机制介绍回顾第HDFS第一天单词统计实例（HDFS版wordcount）：统计HDFS的/wordcount/input/a.txt文件中的每个单词出现的次数——wordcount
weixin_30752377·2023-12-02 19:50

hadoop学习笔记——NO.4_HADOOP集群搭建与使用初步

HADOOP集群搭建与使用初步HADOOP集群搭建集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有
蔡茂昌·2023-12-02 19:20

Hdoop学习笔记（HDP）-Part.20 安装Flume

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:46

Hdoop学习笔记（HDP）-Part.17 安装Spark2

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:45

Hdoop学习笔记（HDP）-Part.18 安装Flink

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:45

Hdoop学习笔记（HDP）-Part.11 安装Kerberos

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:15

Hdoop学习笔记（HDP）-Part.12 安装HDFS

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:15

Hdoop学习笔记（HDP）-Part.19 安装Kafka

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:15

Hdoop学习笔记（HDP）-Part.10 创建集群

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:14

Hdoop学习笔记（HDP）-Part.09 安装OpenLDAP

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:44

Hdoop学习笔记（HDP）-Part.02 核心组件原理

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:14

Hdoop学习笔记（HDP）-Part.05 Yum源配置

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:14

Hdoop学习笔记（HDP）-Part.07 安装MySQL

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:14

Hdoop学习笔记（HDP）-Part.08 部署Ambari集群

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:14

Hadoop Core - HDFS, MapReduce, YARN

HadoopCore-HDFS,MapReduce,YARN参加拉勾教育大数据训练营课程笔记引用：《Hadoop-TheDefinitiveGuide,4thEdition》,《拉勾导师笔记》简介大数据特性
DataPeak·2023-12-02 19:13

Hdoop学习笔记（HDP）-Part.03 资源规划

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:43

Hdoop学习笔记（HDP）-Part.06 安装OracleJDK

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:43

Hdoop学习笔记（HDP）-Part.04 基础环境配置

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 18:40

HDFS JAVA API的应用

(简答题)使用HDFS的JAVAAPI进行编程：（1）获取自己HDFS集群下的所有文件和目录；//获取自己HDFS集群下的所有文件和目录；importorg.apache.hadoop.conf.Configuration
星星失眠️·2023-12-02 16:28

HIVE SQL 、Hive MR参数设置

1、知识点回顾hive数据库是hdfs上的文件夹，表也是文件夹，表里的数据是文件hive建表createtable表名(字段1类型1,字段2类型2……)rowformatdelimitedfieldsterminatedby
故里良田·2023-12-02 15:39

RocketMQ集群搭建

目标：熟悉RocketMQ的各模块搭建流程，部署一个测试集群。1个nameserver，两个master。环境：两台虚拟机，java环境，mvn虚拟机1启动一个nameserver+1个broker。虚拟机2启动一个broker。主要参考：https://rocketmq.apache.org/docs/quick-start/主要操作命令上面文档中都有虚拟机1启动broker命令：nohupsh
运动书生·2023-12-02 13:34

hbase thrift2 jar包冲突导致启动失败问题排查记录

1、启动命令${HBASE_HOME}/bin/hbase-daemon.shstartthrift22、异常情况hbase-root-thrift2-hdfs-test07.yingzi.com.out
Java小田·2023-12-02 12:53

java: 通过URL读取hadoop HDFS

packagetju;importorg.apache.hadoop.fs.FsUrlStreamHandlerFactory;importorg.apache.hadoop.io.IOUtils;importjava.io.InputStream;importjava.net.MalformedURLException;importjava.net.URL;importjava.net.URLS
amadeus_liu2·2023-12-02 11:28

hadoop:通过Configuration读取hdfs

packagetju;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FSDataInputStream;importorg.apache.hadoop.fs.FSDataOutputStream;importorg.apache.hadoop.fs.FileSystem;importorg.apache.
amadeus_liu2·2023-12-02 11:28

【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive

hive1.增量导入的第一种实现方法2.另一种方法是时间字段3.dataX脚本三、利用Python自动生成Datax的json脚本1.创建mysql和hive数据库2.修改python脚本里面的密码(2处)和hdfs
程序终结者·2023-12-02 10:22

Hive中parquet压缩格式分区表的跨集群迁移记录

文章目录环境与需求集群环境需求描述操作步骤STEP1STEP2STEP3STEP4STEP5STEP6环境与需求集群环境华为FushionInsightA华为FushionInsightB华为集群管理机localHive3.1.0HDFS3.3.1
程序终结者·2023-12-02 10:17

K8S集群搭建redis集群的步骤

在Kubernetes（K8s）集群上搭建Redis集群涉及多个步骤，包括创建配置文件、部署StatefulSets和设置网络。以下是一个基本指南：1.准备Redis配置文件首先，创建一个Redis配置文件（redis.conf），这将被用作ConfigMap来配置Redis实例。例如，你可以开始于一个简单的配置，并根据需要进行调整。port6379cluster-enabledyescluste
MonkeyKing_sunyuhua·2023-12-02 10:52

SparkSQL 学习笔记----将RDD转换成DataFrame

一、RDD转换成DataFrame1、为什么要将RDD转换成DataFrame转换成DataFrame之后就可以直接针对HDFS等任何可以构建为RDD的数据，进行SparkSQL进行SQL查询了。
PZ~浪味仙·2023-12-02 10:46

Hadoop -- hadoop介绍

特性优点hadoop发展hadoop介绍hadoop底层是Java语言实现是Apache软件基金会的一款开源软件允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理hadoop核心组件hdfs
小陈菜奈-·2023-12-02 07:07

Hdoop学习笔记（HDP）-Part.14 安装YARN+MR

十四、安装YARN+MR1.MR中间结果存储权限使用Yarn提交MapReduce任务的时候，中间结果会保存在HDFS，/user/username/，如果/user目录下用户目录下不存在，则被创建，当
这啥命啊·2023-12-02 07:35

Hdoop学习笔记（HDP）-Part.1 关于HDP

源配置Part.6安装OracleJDKPart.7安装MySQLPart.8部署Ambari集群Part.9安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 07:35

Redis高可用集群架构

高可用集群搭建redis集群需要至少三个mas
kk_0910·2023-12-02 06:27

zookeeper分布式先进先出队列 （实操课程）

阅读本文之前，请先阅读----zookeeper单机伪集群搭建简单记录（实操课程系列）zookeeper客户端常用命令简单记录（实操课程系列--watcher功能测试）（发布订阅功能测试）。
香至-人生万事须自为，跬步江山即寥廓。·2023-12-02 05:17

zookeeper心跳检测 （实操课程）

阅读本文之前，请先阅读----zookeeper单机伪集群搭建简单记录（实操课程系列）zookeeper客户端常用命令简单记录（实操课程系列--watcher功能测试）（发布订阅功能测试）。
香至-人生万事须自为，跬步江山即寥廓。·2023-12-02 05:37

hadoop的几个接口

8088接口：MapReduce50070接口：HDFS19888接口：jobhistoryseverjob历史服务器端口9000：namenode50090：secondarynamenode
Stephen6Yang·2023-12-02 04:03

HDFS

SecondaryNameNode监控HDFS状态的辅助后台程序，合并fsimage与edits。
歌哥居士·2023-12-02 02:22

主要分布式文件系统架构对比分析：GFS vs. Tectonic vs. JuiceFS

GFS开创了商品硬件的使用，并影响了大数据领域的Hadoop分布式文件系统(HDFS)等系统。Tectoni
沃趣数据库管理平台·2023-12-02 00:34
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他