集群lvs-dr 第55页

es-kibana集群搭建（7.3版本带x-pack）

而从6.8.0和7.1.0版本开始，x-pack安全功能免费提供，但是网上关于x-pack的安装与使用确极少，本人最近恰好有用到所以记录一下（我这里使用的是7.3版本，我这里搭的是伪集群，搭建正式环境修改对应

石用软件·2024-01-20 12:26

CDH禁用Kerberos

修改步骤按以下来：1.先关闭集群（如果yarn上有任务则等待停止，或手动停止）。

sf_www·2024-01-20 11:23

Hadoop配置文件加载

1.hadoop使用org.apache.hadoop.conf.Configuration类来加载配置文件2.一般我们在写客户端程序等需要连接hadoop集群时，需要自己准备好core-site.xml

sf_www·2024-01-20 11:52

可视化k8s页面（Kubepi）

Kubepi是一个简单高效的k8s集群图形化管理工具，方便日常管理K8S集群，高效快速的查询日志定位问题的工具随便在哪个节点部署，我这里在主节点部署dockerpullkubeoperator/kubepi-serverdockerrun

zz_1111·2024-01-20 11:32

Hadoop基础知识

狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架

坐在风口上de猪·2024-01-20 10:10

大数据开发之Hadoop（完整版+练习）

2、高扩展性：再集群

Key-Key·2024-01-20 10:36

【Redis】三种集群模式（主从复制、哨兵模式、Cluster）

前言redis有三种集群模式，其中主从是最常见的模式。Sentinel哨兵模式是为了弥补主从复制集群中主机宕机后，主备切换的复杂性而演变出来的。

hope笔记·2024-01-20 10:34

Dbeaver连接mpp集群postgresql问题记录

Dbeaver连接mpp集群postgresql:问题如下:FATAL:nopg_hba.confentryforhost"ip",user"xxx",database"xxx",SSLonmpp集群需添加本机

坐在风口上de猪·2024-01-20 10:23

Spring Cloud详细入门使用

文章目录SpringCloud服务注册与发现EurekaServer启动服务注册服务发现NacosServer启动(nacos2.2.0)服务注册服务发现服务集群命名空间配置中心集群搭建负载均衡RPC远程过程调用

怡人蝶梦·2024-01-20 08:59

【Elasticsearch】awareness 配置导致分片无法迁移问题排查

问题现在要进行机房（rack）迁移，ES集群共有三个节点，开启了awarenessallocation对应的attribute为rack(机房)，集群中的所有节点都在同一个机房（历史遗留，理论上因为只有一个机房

NEUpanning·2024-01-20 08:57

【ElasticSearch】索引数据mapping嵌套深度过大导致Stackoverflow问题排查

现象集群所有数据节点频繁因为StackOverflowError的错误挂掉，启动后还会挂掉，StackOverflowError异常栈如下[2023-12-22T16:03:44,057][ERROR]

NEUpanning·2024-01-20 08:27

【Elasticsearch】索引恢复（recovery）流程梳理之EXISTING_STORE索引数据恢复

介绍索引recovery是指索引数据恢复，包含以下几种类型EMPTY_STORE,索引没有数据，一般是新建索引的情况，不用恢复数据EXISTING_STORE,从本地存储的数据恢复，例如集群重启primaryshard

NEUpanning·2024-01-20 08:27

Elasticsearch 入门向使用

概念上的对比索引库CRUD文档CRUDDSL查询相关性算分FunctionScoreQuery自定义算分BooleanQuery搜索结果处理排序分页高亮数据聚合aggregations自动补全数据同步集群

怡人蝶梦·2024-01-20 08:23

【Elasticsearch】索引恢复（recovery）流程梳理之副本分片数据恢复

replicashard重启具体流程replicashardnode（genericthreadpool）也是因为应用新的集群状态触发recovery，进入index阶段进入translog阶段。

NEUpanning·2024-01-20 08:23

Kafka系列（二）、架构原理及存储机制

kafkaeagle安装使用滴滴开源的kafka-manager编译及部署使用kafka管理监控系统CMAK(yahoo的kafka-manager)部署及使用Kafka系列（一）、2.6.0版本kafka集群搭建架构原理架构

王义凯_Rick·2024-01-20 08:56

Kafka文件存储机制

文章目录概述Topic中文件存储方式Partiton中文件存储方式segment文件存储结构在partition中如何通过offset查找message文件存储流程集群partitions和replicas

Java技术债务·2024-01-20 08:22

四、Kafka 工作流程及文件存储机制

1.1、工作流程kafka整体工作流程图：通过这张图可以看出消费者消费生产者产生的消息，消费者有消费者组的概念，消息属于某一个主题topic，并且消息在产生的时候会进行消息的分区存放可以搭建集群，不同分区隶属于不同的节点

努力的布布·2024-01-20 08:51

动手搓一个kubernetes管理平台(2)-后端权限设计

授权和认证1.权限分类由于用户需要操作kubernetes，所以权限分类起码需要2套，即平台的权限和集群的权限管理，前者用于管理平台，如用户的添加，报表的查看，日志的审计等等，后者用于集群管理，需要和kubernetes

钟大發·2024-01-20 07:53

动手搓一个kubernetes管理平台(1)-需求和框架

先拍个脑袋市面上对于kubernetes集群的管理平台其实不算少，但常用的就那么几个，比如厚重的rancher，比如老而弥坚的kube-dashboard，以及集成了很多其他功能的kubeSphere等

钟大發·2024-01-20 07:23

二、MySQL之环境搭建

MySQLCluster集群版，开源免费。用于架

慎霄·2024-01-20 07:18

SpringCloud Aliba-Sentinel【中篇】-从入门到学废【5】

填写微服务名,默认default(不区分来源)3.阈值类型/单机阈值：QPS（每秒钟的请求数量）：当调用该api的QPS达到阈值的时候，进行限流线程数：当调用该api的线程数达到阈值的时候，进行限流4.是否集群

会敲代码的小张·2024-01-20 06:45

详解SpringCloud微服务技术栈：DockerCompose部署微服务集群

‍作者简介：一位大四、研0学生，正在努力准备大四暑假的实习上期文章：详解SpringCloud微服务技术栈：Gateway网关（断言、过滤器、跨域问题）订阅专栏：微服务技术全家桶希望文章对你们有所帮助微服务集群是需要进行部署的

布布要成为最负责的男人·2024-01-20 06:41

Kubernetes(K8S)拉取本地镜像部署Pod 实现类似函数/微服务功能（可设置参数并实时调用）

以两数相加求和为例，在kubernetes集群拉取本地的镜像，实现如下效果：1.实现两数相加求和2.可以通过curl实时调用，参数以GET方式提供，并得到结果。

m0_49558200·2024-01-20 06:39

Docker部署微服务问题及解决

希望文章对你们有所帮助我在学习微服务架构的时候需要用docker进行部署，为了方便我实际上使用的Docker-Compose，这个的简单使用方式可以看这篇文章：详解SpringCloud微服务技术栈：DockerCompose部署微服务集群这里

布布要成为最负责的男人·2024-01-20 06:39

OceanBase集群扩缩容

OceanBase数据库采用Shared-Nothing架构，各个节点之间完全对等，每个节点都有自己的SQL引擎、存储引擎、事务引擎，天然支持多租户，租户间资源、数据隔离，集群运行的最小资源单元是Unit

闪耀的瞬间·2024-01-20 06:02

Zookeeper集群"脑裂"问题

关于集群中的"脑裂"问题，之前已经在这里详细介绍过，下面重点说下Zookeeper脑裂问题的处理办法。

b335eb9201c3·2024-01-20 06:26

Redis深入理解、面试常问、疑难解答

6、Redis高可用的几种实现方式6.1主从复制6.2哨兵模式6.3分片集群7、Redis持久化方式7.1、RDB7.2、AOF8、Redis锁原理Redis常问面试题1、Redis支持哪几种数据类型？

北漂IT民工_程序员_ZG·2024-01-20 06:27

java版微信小程序商城免费搭建 java版直播商城平台规划及常见的营销模式有哪些？电商源码/小程序/三级分销

SpringBoot、Mybatis、Redis3.前端框架VUE、Uniapp、Bootstrap/H5/CSS3、IOS、Android、小程序4.核心思想分布式、微服务、云架构、模块化、原子化、持续集成、集群部署

Xiaohong0716·2024-01-20 05:45

【Spark】Spark 容错及 HA--Master 异常

一、Master配置recoveryModeMaster作为SparkStandalone模式中的核心，如果Master出现异常，则整个集群的运行情况和资源将无法进行管理，整个集群将处于“群龙无首”的状况

w1992wishes·2024-01-20 05:37

dolphinscheduler部署排错记录

dolphinscheduler部署至K8S集群上的遇到的坑问题问题出现场景：在部署完ui,worker,master,api四个模块之后，随手建了一个工作流，点击运行的时候，在master节点上出现这个报错

花里胡哨的菜只因·2024-01-20 03:20

ELK日志分析

Filebeatfilebeat结合logstash带来好处缓存/消息队列（redis、kafka、RabbitMQ等）FluentdELK的好处完整日志系统基本特征ELK的工作原理2.ELKElasticsearch集群部署环境准备部署

Ybaocheng·2024-01-20 03:33

最终Docker6：nacos集群部署

目录mysql容器构建1.进入soft文件夹，创建mysql文件夹2.进入conf文件夹放入my.conf配置文件3.运行mysql容器4.进入script文件夹导入sql文件5.进入mysql容器并登录6.创建nacos数据库并使用，运行nacos.sql文件7.授予用户所有权限部署单个nacos，连接mysql1.下载nacos镜像2.部署单个nacos3.开启nacos4.打开防火墙开启na

暴躁小段额·2024-01-20 02:43

k8s集群变更 clusterDomain

k8s集群变更clusterDomain变更部分变更k8s集群clusterDomain所有node节点:/etc/kubernetes/kubelet.conf字段clusterDomain修改configmapcoredns

行者深蓝·2024-01-20 01:29

交换机的级联、堆叠与集群

堆叠示意图1来自百度图片堆叠示意图2来自百度图片交换机级联的百度百科定义交换机堆叠的百度百科定义级联交换机间一般是通过普通用户端口进行级联，有些交换机则提供了专门的级联端口(UplinkPort)。这两种端口的区别仅仅在于普通端口符合MDIX标准，而级联端口(或称上行口)符合MDI标准。由此导致了两种方式下接线方式不同：当两台交换机都通过普通端口级联时，端口间电缆采用交叉电缆(CrossoverC

wild_w0lf·2024-01-20 01:20

kubernetes的DevOps业务(七)：Jenkins，GitLab，Harbor，Tekton，GitOps

主要优点应用场景不可变基础设施声明性容器编排基本原则将变更部署到集群gitops流水线状态同步只部署容器和配置GitOps的可观察性状态监测合规性和安全性角色和权限控制工具ArgoCD功能核心概念安装配置集群创建应用通过

阿白，·2024-01-20 01:41

kafka入门(八)：副本

kafka通过多副本机制实现了故障的自动转移，当kafka集群中某个broker失效时仍然能保证服务可用。ISR(In-SyncReplic

乐之者v·2024-01-20 00:14

Kafka

1.2.1消息发送方式1.2.2分区1.2.3压缩机制1.3消费者1.3.1分区重平衡1.3.2分区重平衡流程1.4Kafka的用途1.5消费者是推还是拉1.6Kafka与传统MQ之间的区别二、Kafka集群

解梦者·2024-01-20 00:32

【架构】docker实现集群主从扩容【案例3/4】

实现集群主从扩容当整个集群扛不住流量的情况时，需要给集群扩容增加设备，由3主3从，扩为4主4从。

一直奔跑在路上·2024-01-19 23:47

kafka学习（4）-- Kafka如何保证百万级写入速度以及保证不丢失不重复消费

配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。那么Kafka到底是如何做到这么高的吞吐量和性能的呢？

技术闲聊DD·2024-01-19 23:07

消费者传递保证语义

服务器端并不会记录消费者的消费位置，而是由消费者自己决定如何保存其消费的offset.0.8.2版本之前消费者会将其消费位置记录zookeeper中，在后面的新版本中，消费者为了缓解zookeeper集群的压力

莫言静好、·2024-01-19 23:07

Kafka基础--Kafka的架构

一、Kafka的架构如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的PageView，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展

东谌·2024-01-19 23:03

windows个人电脑上用vmware作为宿主机制作qcow2镜像

本篇主要为了解决项目上云过程有自定义镜像需求以达到快速部署集群需求以节约时间成本的场景如:项目镜像需要集成k8s、agent脚本等各种集成场景。

春猿火·2024-01-19 23:51

K3s集群部署+rancher部署并导入K3s集群

centos系统自动部署docker:curl-fsSLget.docker.com|sh运用国内的资源安装K3s：K3sserver安装(脚本安装):curl–sfL\https://rancher-mirror.oss-cn-beijing.aliyuncs.com/k3s/k3s-install.sh|\INSTALL_K3S_MIRROR=cnsh-s---docker\--system-

水月火·2024-01-19 22:25

Rancher+k3s+阿里云流水线详细配置教程

一、前言当我们的项目是集群部署的时候，我们再更新代码部署到机器上的时候是很麻烦的。所以这时候我们需要借助一些工具来帮助我们更便捷的进行更新和发布。首先我准备了两台机器进行一个环境搭建演示。

是残月啊·2024-01-19 22:55

K3S + Rancher 如何修改节点的pod数量通过max-pods

max-pods我们知道，节点默认的kubelet启动后，其默认pod总数为110个，如果我们要修改的话，有以下两种方法：1.单节点rancher的RKE修改POD数量单机rancher，创建自定义RKE集群后

sb熙哥·2024-01-19 22:24

【征服redis7】谈谈Redis的RDB持久化方式

从现在开始，我们来探讨redis的一个非常重要的问题——集群，要讨论集群，我们需要先理解redis持久化数据的方法，因为集群本质上就是将一个集群的数据同步到其他机器上。

纵横千里，捭阖四方·2024-01-19 22:20

redis复制和分区：主从复制、哨兵模式和集群模式

以下是主从复制、哨兵模式和集群模式的工作原理的简要概述：主从复制(Replication)基本概念：Redis的主从复制功能允许多个Redis服务器具有相同的数据副本。

薛定谔的zhu·2024-01-19 21:36

【Kubernetes】K8s笔记（十一）：Ingress 集群进出流量总管

优质资源分享学习路线指引（点击解锁）知识定位人群定位Python实战微信订餐小程序进阶级本课程是pythonflask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。Python量化交易实战入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统目录*0.Ingress解决了什么问题1.IngressController2.指定IngressClass使用多个Ing

虚幻私塾·2024-01-19 21:55

使用 NGINX 和 NGINX Plus 的 Ingress Controller 进行 Kubernetes 的负载均衡

IngressController进行Kubernetes的负载均衡【编者的话】本文描述了由NGINX和NGINXPlus实现的IngressController，完全支持了Ingress特性，使用Ingress将外部流量负载到集群内的服务

weixin_34004750·2024-01-19 21:55

Kubernetes Ingress（和网络）的Why以及How

集群外要安全地访问服务需要了解网络的设置方式以及驱动网络选择的不同需求。我们首先简要地探讨kubernetes集群在服务隔离、服务扩展和服务交付方面的期望。

王伯爵·2024-01-19 21:55

推荐频道

集群lvs-dr