rocketMQ集群第55页

大数据平台的硬件规划、网络调优、架构设计、节点规划

其中NameNode负责协调集群上的数据存储，StandbyNameNode属于NameNode

小枫@码·2024-01-22 17:18

大数据平台软硬件规划

一.大数据集群节点规划1.HDFS集群节点规划假如业务系统数据量每天增量50T，保留周期30天，那么HDFS存储容量为50T*30天*3副本*2倍（数据源+清洗加工）=9000T=8.79P假如每个机器的磁盘是

小枫@码·2024-01-22 17:17

Spark简介

它是一个快速通用的集群计算平台.Spark扩展了流行的MapReduce模型.Spark提供的主要功能之一就是能够在内存中运行计算，但对于在磁盘上运行的复杂应用程序，系统也比MapReduce更有效。

shinelord明·2024-01-22 17:17

hbase预分区

一个好的方法是在建立HBase表时预先分配数个Region，这样写入数据时，会按照Region分区情况，在集群内做数据的负载均衡。--自定义预分区的RowKeyhbase>cre

小枫@码·2024-01-22 17:15

搭建共享磁盘nfs

文章目录前言一、安装二、挂载目录1.新建目录2.配置3.启动三、客户端挂载1.安装2.查看nfs主机共享情况3.客户端挂载4.查看挂载情况5.开机自动挂载四、客户端卸载总结前言共享磁盘可以让集群服务器的共享目录

你知道“铁甲小宝”吗丶·2024-01-22 15:14

服务名配置dm_svc.conf-(达梦数据库)

达梦数据库-服务名配置dm_svc.conf1主备集群配置dm_svc.conf2多个集群同时配置dm_svc.conf3参数详细说明4服务名文件路径配置4.1windows环境4.2Linux环境5dm_svc.conf

祢真伟大·2024-01-22 15:50

表对象的标识

表对象标识kingbase中表作为数据库对象具有一个系统内部的唯一标识符，这个标识符被称为oid（对象标识符），它是kingbase用来在整个数据集群中唯一地标识每个数据库对象的一个字段。

我是东山·2024-01-22 15:17

k8s----ingress

k8s----ingress一、Ingress简介1.1、service的作用1.2、外部访问k8s集群内的服务二、Ingress组成2.1、ingress2.2、ingress-controller三

这小子贼帅·2024-01-22 13:06

k8s指南-Ingress

工作负载(3)(6)k8s指南-工作负载(4)(7)k8s指南-Service(8)k8s指南-Ingress(9)k8s指南-DNS与服务发现(10)K8S指南-平滑升级与自动扩缩容Ingress是k8s集群中负责管理服务外部访问的

还是转转·2024-01-22 13:06

k8s-ingress-nginx搭建

首先区分开ingress和ingress-controller前者个人理解是一种集群中服务之间访问控制策略后者是client访问集群时得一种方式如下图思维导图（部署方式不同，略有差别）暴露服务还分几种方式一

大鹅i·2024-01-22 13:34

裸机k8s安装nginx-ingress-controller

serviceAccount:kuboard-userserviceAccountName:kuboard-user中我们使用创建UI时候创建的ServiceAccountkuboard-user,因为此账户以进行过集群绑定

zow·2024-01-22 13:34

分布式系统中为什么需要使用消息队列

当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发的Notify、MetaQ、RocketMQ等。

码农小旋风·2024-01-22 12:44

教你用认知和人性来做最棒的程序员

源码精品专栏精尽Dubbo原理与源码69篇精尽Netty原理与源码61篇中文详细注释的开源项目Java并发源码合集RocketMQ源码合集Sharding-JDBC源码解析合集SpringMVC和Security

芋道源码·2024-01-22 12:41

关于Hive架构原理，尚硅谷

最近学习hive时候，在做一个实操案例，具体大概是这样子的：我在dataGip里建了一个表，然后在hadoop集群创建一个文本文件里面存储了数据库表的数据信息，然后把他上传到hdfs后，dataGrip

大数据ＳＱＬｂｏｙ·2024-01-22 11:41

48、Spark性能优化之性能优化概览

Spark性能优化概览由于Spark的计算本质是基于内存的，所以Spark性能程序的性能可能因为集群中的任何因素出现瓶颈：CPU、网络带宽、或者是内存。

ZFH__ZJ·2024-01-22 11:31

SpringCloudAlibaba----Nacos

简介二.Nacos的关键特性三.nacos相关图四.Nacos的安装五.使用Nacos完成服务注册与发现六.使用Nacos作为配置中心七.Nacos配置项热更新八.Nacos配置灰度发布九.Nacos集群环境部署十

我就是我352·2024-01-22 10:52

MySQL存储引擎

存储引擎常用存储引擎的对比：特点MyISAMInnoDBMEMORYMERGENDB存储限制有64TB有没有有事务安全支持锁机制表锁行锁表锁表锁行锁B树索引支持支持支持支持支持支持哈希索引支持支持全文索引支持集群索引支持数据缓存支持支持支持索引缓存支持支持支持支持支持数据可压缩支持空间使用低高

Thomas_Vader·2024-01-22 10:19

【大数据处理技术实践】期末考查题目：集群搭建、合并文件与数据统计可视化

集群搭建、合并文件与数据统计可视化实验目的任务一：任务二：实验平台实验内容及步骤任务一：搭建具有3个DataNode节点的HDFS集群集群环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改

汐ya~·2024-01-22 09:35

什么是元数据

在集群文件系统中，分布信息包括文件在磁盘上的位置以及磁盘在集群中的位置。用户需要操作一个文件必须首先得到它的元数据，才能定位到文件的位置并且得到文件的内容或相关属性。

w蕾丝·2024-01-22 09:54

【Java万花筒】云端之旅：Java容器化、微服务与云服务之道

本文将深入探讨Java在容器化、Kubernetes集群、AWS云服务、SpringCloud微服务和ApacheHttpClient等方面的利用与实践。

friklogff·2024-01-22 09:16

Oracle-ORA-600 [ktecgetsh-inc], [1]报错分析

问题背景：在一套数据库的版本为11.2.0.4.160719的OracleRAC集群，应用程序执行语句出现异常失败，应用日志显示出现ORA-00600:internalerrorcode,arguments

牛牛的笔记·2024-01-22 09:29

redis-5.0.8集群环境搭建

1.前置准备Linux版redis-3.2.8单机环境安装redis-3.2.8主从复制架构搭建及哨兵配置如果你对redis的安装很陌生，请看完我以上两期教程，对完成此期教程很有帮助2.下载解压redis-5.0.8.tar.gz[xiaokang@hadoop01~]$cd/opt/software/[xiaokang@hadoop01software]$tar-zxvfredis-5.0.8.

小刘新鲜事儿·2024-01-22 08:15

【实战】K8S部署Redis集群代理Predixy

文章目录前言技术积累为什么要在redis集群前面加个predixy代理？这样做的好处有哪些？

小沈同学呀·2024-01-22 08:44

k8s搭建单机版redis

前段时间在集群上搭建了一个简易的单机版redis用于测试，注意redis是采用nodePort方式暴露的服务，因此需要在配置相应的端口安全组策略。

行走的小码农·2024-01-22 08:44

helm安装redis

redis主从–>redis-10.5.7.tgzk8s环境中一键拉起redis集群，解决传统方式安装的繁琐helminstallyemaodiyi-redis.

野猫第一·2024-01-22 08:13

Flink on YARN（下）：常见问题与排查思路

Flink支持Standalone独立部署和YARN、Kubernetes、Mesos等集群部署模式，其中YARN集群部署模式在国内的应用越来越广泛。

Apache Flink·2024-01-22 08:33

一张图轻松掌握 Flink on YARN 基础架构与启动流程

Flink支持Standalone独立部署和YARN、Kubernetes、Mesos等集群部署模式，其中YARN集群部署模式在国内的应用越来越广泛。

zhisheng_blog·2024-01-22 08:02

flink部署模式（二）- yarn三种部署模式

基于flink1.15.0SessionModeonyarn开启flinkyarn-session集群.

PONY LEE·2024-01-22 08:32

flink部署模式介绍

在一些应用场景中，对于集群资源分配和占用的方式，可能会有特定的需求。

201001070·2024-01-22 08:32

flink1.13环境搭建

1、本地启动非集群模式最简单的启动方式，其实是不搭建集群，直接本地启动。本地部署非常简单，直接解压安装包就可以使用，不用进行任何配置；一般用来做一些简单的测试。

201001070·2024-01-22 08:31

[flink]一Flink部署|配置文件|提交作业|部署模式|独立模式部署|yarn模式部署

一、集群部署集群规划节点服务器hadoop1hadoop2hadoop3hadoop4角色JobManagerTaskManagerTaskManagerTaskManagerTaskManager1、

胖胖学编程·2024-01-22 08:30

Flink集群部署到YARN上的提交流程

第一步:Flink任务提交后，Client向HDFS上传Flink的Jar包和配置第二步:之后向YarnResourceManager提交任务，ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster第三步:ApplicationMaster启动后加载Flink的Jar包和配置构建环境，然后启动JobManager第四步:之后

疯子1313·2024-01-22 08:00

【Flink】部署模式-会话模式/单作业模式/应用模式/Yarn模式/独立模式/K8s模式

下的部署模式独立模式（Standalone）会话模式部署单作业模式部署应用模式部署YARN模式相关准备和配置会话模式/应用模式/单作业模式NativeKubernetes部署模式在一些应用场景中，对于集群资源分配和占用的方式

清清清清风·2024-01-22 08:59

13.Flink之Flink on Yarn/K8s 原理剖析及实践

当JobGraph提交给Flink集群后，能够以Local、Standalone、Yarn和Kuberne

吃胖点儿·2024-01-22 08:58

03-Flink内存模型

内存管理在大数据场景下的问题，提升了计算效率.1.1JVM内存管理的不足1.1.1有效数据密度低存储：对象头、实例数据、对齐填充部分导致JVM中有效信息的存储密度很低1.1.2垃圾回收FullGC会严重影响性能以及和集群中的心跳信息超时

情深@骚明·2024-01-22 08:48

kafka入门(十)：副本数据同步

Kafka通过多副本机制实现故障自动转移，在Kafka集群中某个broker节点失效的情况下仍然保证服务可用。

乐之者v·2024-01-22 07:04

kubectl与 jq的用法

一、背景在日常运维工作中，我们需要管理和操作大量的配置文件，这在使用Kubernetes集群管理应用时尤为常见。

睡不醒的猪儿·2024-01-22 07:01

二进制部署K8S集群

初始化设置服务器关闭防火墙]#systemctlstopfirewalld]#systemctldisablefirewalld关闭selinux]#sed-i's/enforcing/disabled/'/etc/selinux/config#永久关闭]#setenforce0#临时关闭关闭swap]#swapoff-a#临时关闭]#sed-ri's/.*swap.*/#&/'/etc/fsta

Marco_pei·2024-01-22 07:00

k8s集群重新将master节点加入集群

文章目录问题背景解决过程基础环境恢复恢复etcd集群恢复docker恢复k8s集群总结问题背景由三台master节点组成的k8s集群，由于其中一台master节点启动文件异常，将机器重置了，需要重新部署后恢复到原来的集群中

qq_45731077·2024-01-22 07:30

二进制部署高可用k8s集群V1.20.11版本

所有节点均执行）1、关闭防火墙2、关闭selinux3、关闭swap4、根据规划修改主机名5、在master节点上添加host6、将桥接的IPv4流量传递到iptables的链7、时间同步二、部署Etcd集群

不知名运维:·2024-01-22 07:57

k8s集群master节点的删除和重新加入

一、剔除master1节点1）删除master1节点3台master下掉一个，剩下2个master运行基本也没问题。坚持个一两天问题不大。kubectldrainpaas-m-k8s-master-1--delete-local-data--force--ignore-daemonsetskubectldeletenodepaas-m-k8s-master-12)清理etcd数据a.进入etcd容

睡不醒的猪儿·2024-01-22 07:27

SpringCloud-高级篇（十五）

下面要做的是Nginx的业务集群，在里面实现本地缓存，本地缓存未命中查Redis，Redis未命中查tomcat，这样的业务，在nginx集群中实现的，通过nginx来做业务编码，不在是用tomcat做编码了前面利用

喵俺第一专栏·2024-01-22 07:54

Kafka常见指令及监控程序介绍

下文使用–bootstrap-server10.0.0.102:9092,10.0.0.103:9092,10.0.0.104:9092需自行填写各自对应的集群IP和kafka的端口。

necessary653·2024-01-22 07:49

配置ansible自动化工具

自动化运维工具Puppet:用ruby语言写的Saltstack:用python写的,是一个模块化shell(就是命令),用的agent服务连接的被控端,用于大集群,高并发ansible:用python

小王丨小王·2024-01-22 07:19

k8s集群加入一个master2--kubeadm方式

已经有一个集群：192.168.206.138master192.168.206.136k8s-node1192.168.206.137k8s-node2kubectlgetnodes-owide新加入一个

fenglei2020·2024-01-22 07:51

kubeadm 安装k8s集群后，master节点notready问题解决方案

使用kubeadm安装k8s集群后，加载calicocni网络组件后，master节点notready问题表现为：使用命令查看日志：journalctl-f-ukubelet报错如下：FailedtostartContainerManagerfailedtoinitializetoplevelQOScontainers

fenglei2020·2024-01-22 07:21

k8s 使用tomcat官方镜像部署集群并解决访问页面404

一、集群节点配置：master:192.168.206.138k8s-node1:192.168.206.136k8s-node2:192.168.206.137二、下载一个Tomcat镜像dockerpulltomcatdockerimages