不重启kafka集群第73页

filebeat信息采集

主配置文件，采集到的信息放到kafkacat>filebeat.yml/etc/filebeat/inputs.d/nginx.ymlfilebeat.ymlfilebeat.yml/etc/filebeat

莫渊博-天下无病·2024-01-19 08:30

关于Filebeat收集XML格式日志推送到Kafka中标签被转义的问题

关于Filebeat收集XML格式日志推送到Kafka中标签被转义的问题问题描述错误的解决思路偶然的机会这里记录一下提问问题的方法问题描述我在公司搭建的有个ELK监控的日志，最近需要解决一些日志收集的问题

小猴子的技术笔记·2024-01-19 08:29

【Docker】在Linux使用Docker进行nacos集群部署

目录一、介绍二、单个部署三、多个部署每篇一获一、介绍Nacos是阿里巴巴开源的一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。Nacos的主要功能包括：服务发现和服务健康检查：Nacos能够帮助您实现自动服务注册、发现和健康检查。动态配置服务：Nacos能够帮助您在所有环境中管理和维护应用的配置。您可以在Nacos中集中式管理应用的配置，并动态地推送配置更新。动态DNS服务：Nac

云小君·2024-01-19 08:27

Flink1.17 基础知识

Flink概述Flink是什么Flink特点FlinkvsSparkStreamingFlink的应用场景Flink分层APIFlink快速上手创建项目WordCount代码编写批处理流处理Flink部署集群角色部署模式会话模式

魅美·2024-01-19 08:16

K8s全套快速入门

K8s快速入门1介绍google开源的容器化管理工具机器数量十几台、上百台时，就可以考虑使用k8s高可用、自动容灾恢复、灰度更新、一键回滚历史版本、方便伸缩扩展等k8s集群架构：通常：一主多从master

NPE~·2024-01-19 08:48

实战：k8s之拓扑分布约束-2022.2.19

目录文章目录目录实验环境实验软件1、Pod拓扑分布约束2、使用规范3、单个拓扑约束4、多个拓扑约束5、与NodeSelector/NodeAffinity一起使用6、集群默认约束7、课后习题实战演示：用拓扑分布约束来扩展

一念一生～one·2024-01-19 08:47

云原生 | Kubernetes集群快速升级及延长证书过期时间至10年

://www.weiyigeek.top]博客：[https://blog.weiyigeek.top]关注回复【学习交流群】加入【安全开发运维】答疑交流群目录:0x01针对K8S的v1.23.x版本集群快速升级处理

全栈工程师修炼指南·2024-01-19 08:45

阿里云云原生弹性方案：用弹性解决集群资源利用率难题

作者：赫曦随着上云的认知更加普遍，我们发现除了以往占大部分的互联网类型的客户，一些传统的企业，一些制造类的和工业型企业客户也都开始使用云原生的方式去做IT架构的转型，提高集群资源使用率也成为企业上云的一致共识

阿里云云原生·2024-01-19 07:40

15.云原生之k8s容灾与恢复实战

云原生专栏大纲文章目录Velero与etcd介绍Velero与etcd备份应用场景Velero与etcd在k8s备份上的区别Velero备份恢复流程备份工作流程Velero备份时，若k8s集群发送变化，

野心与梦·2024-01-19 07:37

Eureka整合seata分布式事务

修改conf目录中flie.conf文件1.3、修改conf目录中registry.conf文件1.4、初始化seata数据库二、微服务整合Seata2.1、父工程项目创建引入依赖2.2、Eureka集群搭建

人生就像一场戏!·2024-01-19 07:52

【Docker】安装nacos以及实现负载均衡

前言一.nacos单个部署1.镜像拉取2.创建nacos容器一.nacos集群部署1.创建nacos容器2.访问nacos3.创建集群4.nginx部署前言本节任务：完成nacos的单个部署以及集群部署首先是需要创建一个文件夹专门存放脚本

是辉辉啦·2024-01-19 07:36

kafka的堆内存大小对kafka的影响以及为什么堆内存大一些kafka会更稳定

对于KafkaBroker，它是一个由Java编写的分布式消息系统，因此KafkaBroker的性能和稳定性会受到堆内存大小的影响。

暴走的贼宇·2024-01-19 07:48

kafka之集群工作机制理解

回想一下，我们搭建kafka集群是如何搭建？修改kafka得配置文件，多个Kafka服务注册到同一个zookeeper集群上的节点，会自动组成集群。

瑜伽娃娃·2024-01-19 07:43

kafka消费者

Kafka消费者从属于消费者组，一个组里的消费者订阅的是同一个topic，每个消费者接收topic一部分分区的消息可以为每一个需要获取一个或多个topic全部消息的应用程序创建一个消费者组，每个消费者可以消费若干个分区

error0318·2024-01-19 06:00

Redis实战之-分布式锁

一、基本原理和实现方式对比分布式锁：满足分布式系统或集群模式下多进程可见并且互斥的锁。

Maiko Star·2024-01-19 06:23

kafka消费相关问题（GPT回答版本）

梦魇星虹·2024-01-19 06:22

Kafka-多线程消费及分区设置

目录一、Kafka是什么？

御坂10027·2024-01-19 06:51

Jackson标签的高阶使用样例--多继承/子类、对象id、JsonIdentityInfo、JsonTypeInfo、JsonSubTypes

我们支持的资产类型不仅有关系数据库表，也支持Kafka主题，hdfs上的文件等。

OkGogooXSailboat·2024-01-19 06:19

Maxwell介绍

一、介绍介绍：它读取MySQLbinlog并将数据更改作为JSON写入Kafka、Kinesis和其他流媒体平台（目前支持：kafka、RabbitMQ、Redis、file、Kinesis、Nats、

有人看我吗·2024-01-19 06:42

大数据开发之Hadoop（MapReduce）

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。

Key-Key·2024-01-19 06:40

大数据开发之Hadoop（Yarn）

第1章：Yarn资源调度器思考：1、如何管理集群资源？2、如何给任务合理分配资源？

Key-Key·2024-01-19 06:09

Centos7 Ambari集群环境搭建

Ambari集群环境搭建1.1服务规划序号主机名操作系统Ip地址服务1hbase100.yunCentOS_7.6172.21.xx.100HTTPServer、amber-server、amber-agent2hbase101

香蕉牛奶蛇皮走位·2024-01-19 06:57

k8s的对外服务--ingress

service作用体现在两个方面1、集群内部不断跟踪pod的变化，更新endpoint中的pod对象，基于pod的IP地址不断变化的一种服务发现机制2、集群外部类似负载均衡器，把流量ip+端口，不涉及转发

小布爱吃糖.·2024-01-19 05:27

storm统计服务开启zookeeper、kafka 、Storm（sasl认证）

部署storm统计服务开启zookeeper、kafka、Storm（sasl认证）当前测试验证结果：单独配置zookeeper支持acl设置用户和密码，在storm不修改代码情况下和kafka支持当kafka

平凡的运维之路·2024-01-19 05:53

部署storm统计服务开启zookeeper、kafka（ACL认证）

部署storm统计服务开启zookeeper、kafka（ACL认证）当前部署环境服务版本服务IP模块版本信息10.130.41.42zookeeperzookeeper-3.6.310.130.41.43kafkakafka

平凡的运维之路·2024-01-19 05:23

springCloude中Eureka模拟搭建集群

eureka8886.comeureka8887.comeureka8888.com这个是eureka的集群模块。

菜汪在路上·2024-01-19 05:20

【分布式技术】分布式存储ceph之RGW接口

创建成功后默认情况下会自动创建一系列用于RGW的存储池#默认情况下RGW监听7480号端口//开启http+https，更改监听端口#更改监听端口//创建RadosGW账户客户端测试OSD故障模拟与恢复3、把原来坏掉的osd修复后重新加入集群方法二

liu_xueyin·2024-01-19 04:17

小白安装指南使用kubeadm安装集群 kubernetes v1.9.6

前提：环境centeos7可以上外网，因为所有的工具都是通过外网获取的在master和node上执行解决镜像慢的问题*根据具体情况进行修改sudomkdir-p/etc/dockersudotee/etc/docker/daemon.json<<-'EOF'{"registry-mirrors":["https://*.mirror.aliyuncs.com"]}EOFsudosystemctld

guoliu·2024-01-19 04:36

Docker consul

目录一、什么是服务注册与发现二、什么是consul三、consul的主要工作是什么四、consul的特性有哪些五、Consul部署实验前准备建立consul服务器设置代理查看端口查看集群信息Registrator

陆墨宁·2024-01-19 04:34

HIVE周期合数功能

实现思路：使用datax抽取一张临时表c.o_a_l_mytable，用临时表和原表o.o_a_l_mytable进行比对，将需要纠正的数据查询出，发送KAFKA等，统一进行数据Sink。

pp_lan·2024-01-19 03:26

工作流管理框架airflow-安装部署教程

可以帮助你定义复杂的工作流程,然后在集群上执行和监控这些工作流。Airflow计划程序在遵循指定的依赖项，同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变的轻而易举。

Trisyp·2024-01-19 03:40

FineBI实战项目一（25）：实战项目一总结

没有集群，hdfs、hive、spark、kafka、flink等等都没有2解决方案mysql数据同步尽量和业务系统保持一致，以便后期出现问题排查。mysql同步到数仓，数仓

不死鸟.亚历山大.狼崽子·2024-01-19 02:39

mysql主从集群读写分离的实现方案

本方案采用mycat中间件来实现两个mysql数据库的集群。两个mysql数据库分别配置为主、从，采用binlog进行数据同步。

杨正同学·2024-01-19 02:19

JAVA网络I/O-闲话NIO

像支付宝、QQ、微信，甚至面对的是数十亿计的连接数(当然肯定有集群)

石公子·2024-01-19 01:41

hosts文件修改方法（不重启）

文章目录1.hosts文件路径2.文件格式3.DNS刷新方法1.hosts文件路径C:\Windows\System32\drivers\etc\hosts2.文件格式ip+空格+域名或者ip+制表符+域名102.54.94.97rhino.acme.com38.25.63.10x.acme.com这样访问rhino.acme.com域名时，就会直接映射到102.54.94.97这个ip3.DNS

什么都干的派森·2024-01-19 01:04

kafka学习笔记-- 文件清理策略与高效读写数据

如有侵权、联系速删视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）文章目录文件清理策略delete清理策略：将过期数据删除compact清理策略：将过期数据压缩高效读写数据文件清理策略

向着百万年薪努力的小赵·2024-01-19 01:25

分布式场景下的数据复制究竟怎么做

原文：分布式场景下的数据复制究竟怎么做-知乎(zhihu.com)主从复制集群中有一个主节点，写操作都必须经过主节点完成，读操作主从节点都可以处理。image.png同步复制数据在副本上落盘才返回。

祁小彬·2024-01-19 01:25

MongoDB认证考试小题库

FreeMongoDBC100DBAExamActualQuestions关于MongoDBC100DBA考试真题知识点零散整理分片架构应用程序-->mongos-->多个mongod对于应用来说，连接分片集群跟连接一台单机

Moshow郑锴·2024-01-19 01:12

OceanBase基础概念

文章目录基本概念介绍集群、Zone和OBServerRootService总控服务多租户机制，资源隔离，数据隔离资源池创建租户检查集群状态查看系统日志基本概念介绍集群、Zone和OBServer一个集群由多个

缘友一世·2024-01-19 01:04

HBase第一章：集群搭建

系列文章目录HBase第一章：集群搭建文章目录系列文章目录前言一、环境准备二、上传HBase三、上传HBase四、配置参数五、分发测试六、高可用总结前言Hive的内容基本算是学完了，太深入的东西，现在没有必要死磕

超哥--·2024-01-19 00:57

【大数据项目学习】第十章：HBase分布式集群部署与设计

第十章：HBase分布式集群部署与设计一个初学者的大数据学习过程文章目录第十章：HBase分布式集群部署与设计1.HBase安装前须知1.1必备条件1.1.1硬件1.1.2软件1.2运行模式2.HBase

学不会K8S不改ID·2024-01-19 00:23

hbase学习笔记-hbase集群安装部署

1、下载安装包http://archive.apache.org/dist/hbase2、规划安装目录/opt/hbase3、上传安装包到服务器4、解压安装包到指定的规划目录tar-zxvfhbase-2.0.0-bin.tar.gz-C/opt/bigdata5、重命名解压目录mvhbase-2.0.0hbase6、修改配置文件1、需要把hadoop中的配置core-site.xml、hdfs-

陈同学：·2024-01-19 00:22

HBase集群部署

前提条件安装hbse的前提条件是jdk已经搭建完成，虚拟机具有Hadoop伪分布式或完全分布式的集群搭建，以及zookeeper环境搭建完成。

Golden life·2024-01-19 00:21

【大数据】HBase集群安装部署

一、前提条件服务器配置好，搭建大数据集群服务器看这篇：搭建学习使用的大数据集群环境：windows使用vmware安装三台虚拟机，配置好网络环境安装好对应版本的hadoop集群，并启动安装好对应版本的zookeeper

橙子园·2024-01-19 00:51

Hbase高可用集群部署

Zookeeper集群的正常部署并启动Hadoop集群的正常部署并启动配置环境变量vi/etc/profile#Hbase-HAexportHBASE_HOME=/home/xyp9x/hbase-2.0.5

衡超越爱学习~·2024-01-19 00:21

HBase学习三：集群部署

集群启停顺序：启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop1环境准备1.0环境前期准备参考基础环境配置1.1机器准备hostnameipvm1ip1vm2ip2vm3ip31.2

Studying！！！·2024-01-19 00:50

Redis集群优化

文章目录前言集群完整性问题集群带宽问题前言集群虽然具备高可用特性，能实现自动故障修复，但是如果使用不当，也会存在一些问题集群完整性问题集群带宽问题数据倾泻问题客户端性能问题命令的集群兼容性问题Lua和事务问题集群完整性问题集群带宽问题

不会仅此而已·2024-01-18 23:49

redis批处理优化

中执行命令的时间的，如果每条命令都要逐条经历网络传输，耗时将会大大增加，我们不妨将命令多量少次的传输给redis，这样就大大减少了因为网络传输时间，大大提高的效率2.如何进行批处理2.1.单机模式下的批处理2.2.集群模式下的批处理这里

不会仅此而已·2024-01-18 23:48

25 - 高可用存储架构 - 双机架构

常见的高可用存储架构有主备、主从、主主、集群、分区，每一种又可以根据业务的需求进行一些特殊的定制化功能，由此衍

舍是境界·2024-01-18 23:09

倒计时6天｜PolarDB开发者大会，我们讲什么？看什么？玩什么？

Serverless、多主集群、NL2SQL、列存索引(IMC

阿里云瑶池数据库·2024-01-18 23:09

推荐频道

不重启kafka集群