hdfs集群搭建第34页

Linux应用参数配置和调优,Hadoop 性能调优重要参数设置技巧

这一两个月在做mapreduce的性能调优，有些心得，还是要记下来的，以郷后人~这里主要涉及的参数包括：HDFS：dfs.block.sizeMapredure：io.sort.mbio.sort.spill.percentmapred.local.dirmapred.map.tasks

花猹猹·2023-11-22 09:13

hadoop性能调优

在挂载文件系统时设置noatime和nodiratime可禁止文件系统记录文件和目录的访问时间，这对HDFS这种读取操作频繁的系统来说，可以节约一笔可观的开销。

挑战不可能，努力·2023-11-22 09:12

hadoop性能调优之参数调优

这一两个月在做mapreduce的性能调优，有些心得，还是要记下来的，以郷后人~这里主要涉及的参数包括：HDFS：dfs.block.sizeMapredure：io.sort.mbio.sort.spill.percentma

我是机智的鱼油·2023-11-22 09:12

Hadoop之常用端口号

hadoop3.xHDFSNameNode内部通常端口：8020、9000、9820HDFSNameNode对用户的查询端口：9870Yarn查看任务运行情况的端口：8088历史服务器：19888HDFSNameNode

m0_67393828·2023-11-22 09:41

Hadoop常见端口号及配置文件

1Hadoop2.x版本端口号1.1访问HDFS端口号：500701.2NN内部通信端口：90001.3访问MR执行任务情况端口：80881.4Yarn内部通信端口：80321.5访问历史服务器端口：198881.6

曹称象·2023-11-22 09:10

Hadoop常用端口号及配置文件

端口号Hadoop3.xHDFSNameNode内部通常端口号：8020/9000/9820HDFSNameNode对用户的查询端口：9870Yarn查看任务的运行情况：8088历史服务器：90080Hadoop2

LydiaaLi·2023-11-22 09:09

hadoop常用端口号与配置文件

常用端口号hadoop3.xHDFSNameNode内部通常端口：8020/9000/9820HDFSNameNode对用户的查询端口：9870Yarn查看任务运行情况：8088历史服务器：19888hadoop2

UserOrz·2023-11-22 09:39

Hadoop 3.X 和 2.X 的常用端口号和配置文件

Hadoop常用端口号Hadoop3.XHDFSNameNode内部通信端口：8020/9000/9820HDFSNameNodeHTTPUI：9870HDFSDataNodeHTTPUI：9864Yarn

hmyqwe·2023-11-22 09:38

Hadoop性能调优概要说明

Hadoop容易遇到的问题有：Namenode/jobtracker单点故障、HDFS小文件问题、数据处理性能等。为此“HadoopPerformanceOptimization”(HPO)是必要的。

fjssharpsword·2023-11-22 09:07

hadoop——常用端口号——常用的配置文件,3.x与2.x区别

常用端口号hadoop3.xHDFSNameNode内部通常端口：8020/9000/9820HDFSNameNode对用户的查询端口：9870Yarn查看任务运行情况：8088历史服务器：19888hadoop2

小魏___·2023-11-22 09:37

hadoop常用端口号/常用配置文件

常用端口号hadoop3.xHDFSNameNode内部通常端口：8020/9000/9820HDFSNameNode对用户的查询端口：9870yarn查看任务允许情况的:8088历史服务器：19888hadoop2

asd623444055·2023-11-22 09:06

Hadoop学习-常用端口和配置文件

一、常用端口号hadoop3.xHDFSNameNode内部通常端口：8020/9000/9820HDFSNameNode对用户的查询端口：9870Yarn查看任务运行情况：8088历史服务器：19888hadoop2

HaveAGoodDay.·2023-11-22 09:34

hadoop 常用端口号，常用配置文件都有哪些？hadoop3.x端口号 hadoop(十二)

1.hadoop3.x系列常用端口号：类型desc端口hdfsNameNode内部通常端口号8020/9000/9820hdfsNameNode对用户的查询端口9870yarn查看历史任务运行情况8088

不努力就种地~·2023-11-22 09:34

MySQL高可用性：主从复制、读写分离与集群搭建

本文将深入探讨MySQL的主从复制、读写分离以及集群搭建，为实现高可用性提供详细指南。1.主从复制（Master-SlaveReplication）1.1什么是主从复制？

二狗plus·2023-11-22 09:22

二百零七、Flume——Flume实时采集5分钟频率的Kafka数据直接写入ODS层表的HDFS文件路径下

一、目的在离线数仓中，需要用Flume去采集Kafka中的数据，然后写入HDFS中。由于每种数据类型的频率、数据大小、数据规模不同，因此每种数据的采集需要不同的Flume配置文件。

天地风雷水火山泽·2023-11-22 09:15

clickhouse部署

目录前置要求注意事项单机搭建1创建目录2启动docker镜像服务3使用client连接clickhouse服务4查询clickhouse状态集群搭建1添加配置文件配置文件目录结构conf目录下文件文件内容

佳捷·2023-11-22 06:52

Apache Airflow (十三) ：Airflow分布式集群搭建及使用-原因及

博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.Airflow分布式集群搭建原因2.Airflow分布式集群其他扩展2.1扩展Worker节点2.2扩展Master

IT贫道·2023-11-22 06:42

k8s node节点无法互联容器网络

集群搭建完成后启动测试podnginxkubectlcreatedeploymytest--image=nginx-replicas=3--port=80defaultnginx-74d589986c-c24551

程序猿-琉川·2023-11-22 05:46

K8S集群搭建(多master多node节点)

目录一部署环境关闭防火墙设置主机名hostname，管理节点设置主机名为master配置hosts主机名解析配置免密登陆关闭交换分区配置内核参数，将桥接的IPv4流量传递到iptables的链开启ipvs二配置软件源升级centos系统内核配置时间同步安装docker服务以及K8S查看docker服务和K8S服务是否起来配置docker加速三通过keepalived+nginx实现k8sapise

机灵的小小子·2023-11-22 05:15

使用Docker部署HBase并使用Java-API连接

HBase利用HadoopHDFS作为其文件

当一艘船沉入海底8·2023-11-22 04:56

Mac环境部署单机版Hbase及使用JavaAPI对Hbase增删改查

HBase底层存储基于HDFS实现，集群的管理基于ZooKeeper实现。

Liu_Shihao·2023-11-22 04:25

数据治理之考评环节

考评的流程（批处理）周期调度，每天一次：采集hive,hdfs元数据存放到mysql中的dga库的metainfo表手动通过管理页面补充辅助信息指标考评读取要考评的表的元数据及辅助信息读取要考评的指标对每张表的每个指标逐个进行考评保存考评结果代码生成后每个

十七✧ᐦ̤·2023-11-22 04:05

数据治理平台之数据采集细节

计算HDFS系统中分区文件的大小利用递归对树形结构遍历准备阶段递归起点访问工具收集数据的容器遍历阶段中间节点：根据需要处理计算，收集数据，继续递归叶子节点：收集数据写代码注意事项不要反复连接数据库，尤其不要把对数据库的操作写在循环中提前设置

十七✧ᐦ̤·2023-11-22 04:04

hadoop、hive、DBeaver的环境搭建及使用

本文主要介绍hadoop、hive的结构及使用，具体的操作步骤见最后的附件；hadoop提供大数据的存储、资源调度、计算，分为三个模块：HDFS、YRAN、MapReduceHDFS提供数据的分布式存储

骑士999111·2023-11-22 03:14

kubeadm部署kubernetes集群

Kubernetes集群搭建Kubernetes是由谷歌开源的Docker容器集群管理系统，为容器化的应用提供了资源调度、部署运行、服务发现、扩容及缩容等一整套功能。

242030·2023-11-22 02:57

Docker 搭建 Redis 集群

RedisCluster模式搭建步骤1、创建网卡2、Redis配置3、运行容器4、创建集群5、查看集群信息6、运行测试redis集群搭建常见三种方式：主从复制、Sentinel（哨兵）模式、Cluster

david6969xin·2023-11-22 02:23

Docker 搭建redis集群

文章目录创建配置文件的脚本启动6个redis容器的脚本集群搭建创建配置文件的脚本forportin$(seq16);\do\mkdir-p/mydata/redis/node-${port}/conftouch

weixin_45773632·2023-11-22 02:52

hadoop查看文件夹大小java,hadoop fs:du统计hdfs文件（目录下文件）大小的用法

上海Josh哥·2023-11-21 23:54

CentOS 搭建Kafka集群

Kafka官网下载kafkawgethttps://downloads.apache.org/kafka/3.1.0/kafka_2.12-3.1.0.tgz2、安装ZookeeperZookeeper集群搭建可以不使用

前尘忆梦Memory·2023-11-21 22:47

hdfsClient_java对hdfs进行上传、下载、删除、移动、打印文件信息尚硅谷大海哥

Java可以通过Hadoop提供的HDFSJavaAPI来控制HDFS。通过HDFSJavaAPI，可以实现对HDFS的文件操作，包括文件的创建、读取、写入、删除等操作。

hys_guff·2023-11-21 21:28

redis高可用集群搭建

上篇博客记录了哨兵模式的集群搭建，今天搭建高可用的redis集群以及两种集群架构的对比。

Butterfly(Papillon)·2023-11-21 20:47

Mysql数据库之MHA集群

，学的越多，之前的就越容易忘记，没事写写也挺好，一来积累自己的知识和阅历，二来以后忘记了，还能翻回来自己找找．唯一的受限条件就是我这个人有点懒，希望可以坚持下来．这是我的第一篇博客，只是很基础的数据库集群搭建

一个菜鸟水平的运维民工·2023-11-21 19:12

[SparkSQL] 列转行lateral view explode函数和FlatMap算子两种方式实现炸裂

[SparkSQL]列转行lateralviewexplode函数和FlatMap算子两种方式实现炸裂我用了两种方法实现列转行，说一下我平时使用SparkSQL的习惯，我通常1）是先读取HDFS中的文件

林沐之森·2023-11-21 17:18

Redis非关系型数据库集群搭建

redis非关系型数据库在以往的项目中经常使用到，一直没有时间写一篇关于redis数据库使用心得！什么是redis?Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库！redis数据库的数据类型？redis数据库有5中数据库类型，分别是String(字符串)、list(链表)、Hash(哈希值)、set(集合)、zset(有序集合)red

技术旅人·2023-11-21 14:39

Docker容器编排

文章目录基本概念DockerComposeSwarm分布式NodeTaskservice集群搭建弹性伸缩基本概念针对容器生命周期的管理，对容器生命周期进行更方便更快捷的方式进行管理。

Lum1n0us·2023-11-21 13:30

Mac上搭建Hadoop环境(3) — Hive下载及安装

前言之前已经完成了hadoop集群的安装，测试了HDFS的使用，现在准备在此基础上，继续安装Hive。

LestatZ·2023-11-21 13:54

Spark---介绍及安装

所开源的类HadoopMapReduce的通用并行计算框架，Spark拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS

30岁老阿姨·2023-11-21 13:26

Hadoop-- hdfs

1、HDFS中的三个进程：NameNode（NN）、DataNode(DN)、SecondNameNode(SNN)2、NameNode（NN）1、作用：1、接收客户端的一个读、写的服务，在namenode

新手小农·2023-11-21 11:11

hadoop 编写开启关闭集群脚本， hadoop hdfs，yarn开启关闭脚本。傻瓜式hadoop脚本 hadoop(九)

1.三台机器：hadoop22,hadoop23,hadoop242.hdfs在22机器启动，yarn在hadoop23机器3.脚本需要hadoop用户启动才可以4.脚本必须在hadoop22机器运行。

不努力就种地~·2023-11-21 11:30

微服务系列：服务调用 Spring Cloud 之 OpenFeign 详细入门

微服务系列：SpringCloudAlibaba之Nacos注册中心微服务系列：SpringCloudAlibaba之Nacos配置中心微服务系列：SpringCloudAlibaba之Nacos集群搭建继上面几篇

程序猿秃头之路·2023-11-21 10:39

Spark 从Hive表中读数据或向Hive中写入数据

ConfigurationofHiveisdonebyplacingyourhive-site.xml,core-site.xml(forsecurityconfiguration),andhdfs-site.xml

pageniao·2023-11-21 10:27

Zookeeper实现分布式队列

Zookeeper不适合存储大数据量存储，官方并不推荐作为队列使用，但由于实现简单，集群搭建较为便利，因此在一些吞吐量不高的小型系统中还是比较好用的。

jockerwu·2023-11-21 05:15

Hadoop伪分布式集群搭建

一、切换到root用户su-root二、关闭selinux：vim/etc/selinux/configSELINUX=disabled三、切换到hadoop用户，配置免密登陆。cd进入hadoop用户的家目录ssh-keygen-trsa[输入完后连按4个回车]sshnode100[yes，输入hadoop用户的密码]ssh-copy-idnode100[输入hadoop用户的密码]四、解压安装

皮卡丘要进化·2023-11-21 02:13

hive01--hive的安装及配置

如果hadoop没有安装的请参考：hadoop01--Hadoop伪分布式集群搭建_码到成龚的博客-CSDN博客hive不像hadoop，Kafka，zookeeper那样需要搭建集群，我们只需要在两个安装即可

码到成龚·2023-11-20 20:58

Hive本地模式安装（详细）

Hive是建立在Hadoop文件系统上的数据仓库，它提供了一系列工具，能够对存储在HDFS中的数据进行数据提取、转换和加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的工具。

i阿极(暂时无法回复版)·2023-11-20 20:48

综合架构-nfs备份服务（网络文件系统）

NFS系统和Windows网络共享、网络驱动器类似,只不过windows用于局域网,NFS用于企业集群架构中,如果是大型网站,会用到更复杂的分布式文件系统FastDFS,glusterfs,HDFS1.1

A宽宽·2023-11-20 20:13

分布式架构关键技术

作为这个领域最富盛名的开源项目，Hadoop实现的是分布式的文件系统HDFS，和分布式的计算（Map/Reduce）框架。分布式架构关键技术主要有分布式文件系统、分布式存储和分布式数据库。分

talentluke·2023-11-20 20:53

Flume基本原理及使用

Flume最主要是用在分布式系统中，例如读取服务器本地的磁盘数据，并将数据写入到HDFS中。对Flume的学习，最好就是结合官方文档进行学习。

zkyCoder·2023-11-20 18:45

大数据技术之Flume(概述,安装,案例等)

输入的的数据速率大于写入目的存储的速率，flume会进行缓冲，减小hdfs的压力。flume中的事务基于channel，使用了两个事务模型（sender+receiver），确保消息被可靠发送

往事随风_h·2023-11-20 18:37

k8s的高可用集群搭建，详细过程实战版

kubernetes高可用集群的搭建前面介绍过了k8s单master节点的安装部署今天介绍一下k8s高可用集群搭建环境准备：vip：192.168.121.99keeplivemaster01：192.168.121.153centos7master02

aa一叶知秋aa·2023-11-20 15:45

推荐频道

hdfs集群搭建

Linux应用参数配置和调优,Hadoop 性能调优 重要参数设置技巧