kafka集群

hbase、hive、clickhouse对比

HDFShive通过driver将sql分解成mapreduce任务元数据需要单独存储到一个关系型数据库，一般是mysql实际数据存储可以是外表，也可以是内表clickhouse单体架构分层类似mysql，集群状态下是多主
freshrookie·2024-03-05 16:40

增强AWS ECS监控：批量生产监控设置

然而，确保ECS集群的可靠性和性能需要强大的监控和告警。
ivwdcwso·2024-03-05 08:00

幂等性设计

目录前言幂等性设计幂等性设计处理流程HTTP幂等性消息队列幂等性基于kafka前言幂等性设计，就是说，一次和多次请求某一个资源应该具有同样的副作用。为什么我们要有幂等性操作？
风清扬-独孤九剑·2024-03-05 04:25

内网安装redis+部署redis-cluster集群

一、安装redisredis安装包下载地址：https://download.redis.io/releases/1.1解压编译并创建数据目录tarxzvfredis-6.2.10.tar.gz-C/usr/local/cd/usr/local/mvredis-6.2.10/rediscd/usr/local/redis/make#编译mkdir/usr/local/redis/data#创建存放
仙女陈·2024-03-05 01:51

常用中间件docker安装

restartalways-eZOO_MY_ID=1-eALLOW_ANONYMOUS_LOGIN=yes-eTZ=Asia/Shanghai-v/etc/localtime:/etc/localtimezookeeper:3.7kafka
Happywzy~·2024-03-04 18:13

如何快速迁移其他云服务器中的网站数据到腾讯云轻量应用服务器中？教你使用宝塔Linux面板迁移网站

使用宝塔Linux面板进行迁移：宝塔Linux面板是一款服务器运维面板，它支持一键部署LAMP、LNMP、集群、监控、网站、FTP、数据库、JAVA等100多项服务器管理功能。因此，使用宝塔L
正宗六脉神剑·2024-03-04 06:25

Zabbix HA高可用集群搭建

ZabbixHA高可用集群搭建ZabbixHA高可用集群搭建一、Zabbix高可用集群（ZabbixHA）二、部署Zabbix高可用集群1、两个服务端配置1.1主节点ZabbixServer配置1.2备节点
KK小草莓·2024-03-03 20:44

分布式ID选型对比（1）

种类全局唯一高性能高可用趋势递增中心服务缺点UUID是高(本地生成,(无网络开销)低(无序,不适用)否否无序、字符串数据库自增单表唯一中中(宕机就会使业务服务中断)是否安全性差,能猜出来规律对于分库分表场景无法唯一数据库自增-集群是中中
Loren_云淡风轻·2024-03-03 14:04

HA集群--一起学习吧之架构

今天想和大家一起学习HA集群。首先，上定义~一、HA定义HA（HighAvailability）集群，即高可用集群，是一种以减少服务中断时间为目的的服务器集群技术。
wd90119·2024-03-03 11:30

使用 kind 集群安装运行极狐GitLab Runner【上】

GitLab是一个全球知名的一体化DevOps平台，很多人都通过私有化部署GitLab来进行源代码托管。极狐GitLab是GitLab在中国的发行版，专门为中国程序员服务。可以一键式部署极狐GitLab。关于kindkind是一个用来运行本地Kubernetes机群的工具，主要使用Docker容器来做为“nodes”。kind的主要设计目的是为了测试Kubernetes本身，但是也可以在本地研发或
极小狐·2024-03-03 07:54

Springboot中使用Redisson实现分布式锁

言归正传，今天继续讨论有关“锁”的话题，synchronized和ReentrantLock大家应该都非常熟悉了，但这两个锁，作用域仅限制于单个Tomcat，如果使用了Tomcat集群，这两个锁就不管用了
追风人聊Java·2024-03-02 02:43

prometheus监控kafka

kafka_exporter下载地址：https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter
仙女陈·2024-03-02 01:11

【k8s】K8S中的cordon、uncordon和drain 冻结节点、驱离pod

Kubernetes(K8s)中使用Kubectl命令行工具管理Kubernetes集群。kubectl在$HOME/.kube目录中查找一个名为config的配置文件。
云川之下·2024-02-29 17:28

【Elasticsearch管理】节点角色及发现机制

MasterEligibleNodeDataNodeIngestnodetribenodeCoordinatingnodeDataPath发现机制前置概念基本描述设置ZendiscoveryPing列表单播基于文件主节点选举集群故障集群状态更新无
板凳坐着晒太阳·2024-02-29 09:47

ntp时间同步

解决的问题:保证集群中所有的节点时间一致方案:需要使用同步软件NTP,并在主机上开启此服务,其他节点的时间都要和主机的时间保持一致步骤:确认主机的时间是否正确,不正确时进行手动修改datedate-s"
Frank_8942·2024-02-28 17:35

k8s容器访问宿主机或者集群外部服务

需求背景k8s的集群容器需要访问宿主机的某个服务(mysql或者其他类型的服务)，或者其他外部远程设备的服务，但是服务不在集群当中访问外部服务访问远程外部服务，如下任选一个实现外部域名映射到内部service
·2024-02-28 15:32

消息队列-kafka

kafka和redis的区别数据类型和用途：Kafka：Kafka是一个分布式消息队列系统，主要用于高吞吐量的消息发布和订阅。它可以用于构建实时流处理应用、日志收集和传输、事件驱动架构等场景。
百晓生612·2024-02-28 08:48

微服务架构师封神之路11-eureka服务高可用

文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档微服务架构师封神之路11-eureka服务高可用任务eurekaserverpom.xml依赖application.yamlsettings3节点集群服务
B5WANG·2024-02-28 05:44

如何在Linux搭建MinIO服务并实现无公网ip远程访问内网管理界面

Cpolar4.配置MinIO公网地址5.远程访问MinIO管理界面6.固定MinIO公网地址前言MinIO是一个开源的对象存储服务器，可以在各种环境中运行，例如本地、Docker容器、Kubernetes集群等
学编程的小程·2024-02-28 01:39

树莓派4B（Raspberry Pi 4B）使用docker搭建nacos集群

树莓派4B（RaspberryPi4B）使用docker搭建nacos集群由于国内访问不了dockerhub，我选用的国内适配树莓派ARM架构的nacos镜像——centralx/nacos-server
勤匠·2024-02-27 18:59

KubeSphere 镜像构建器（S2I）服务证书过期解决方案

解决方法已开启DevOps模块下载这个更新S2I服务证书压缩包，上传到任一可以访问K8s集群的节点；把上传的压缩包解压进入解压后的目录执行更新证书的脚本.
KubeSphere 云原生·2024-02-27 11:20

XGB-12:在 Kubernetes 上进行分布式 XGBoost 训练

操作步骤为在Kubernetes集群上运行XGBoost作业，执行以下步骤：在Kubernetes集群上安装XGBoostOperator。
uncle_ll·2024-02-27 09:48

shardingsphere自定义hint分片算法，完美实现按区域编码数据隔离，没改一行旧代码

因为已经改造了登录平台，实现了集群统一部署，然后后续就是继续弄集中统一部署服务改造（这里的集中统一部署的意思是区别于每个区域私有部署，服务本身还是可以弹性伸缩的），首先改造一个比较简单的白名单微服务，只涉及到三张表
·2024-02-26 20:03

在消息队列kafka多消费者组消费同一Topic场景下的idea调试debug断点进不去的解决方案

2.解决思路你在生产者端发送一条消息进入到kafka消息队列，
小白菜儿929·2024-02-26 09:21

Kafka入门介绍一

介绍Kafka是一个分布式系统，由服务器和客户端组成，通过高性能TCP网络协议进行通信。它可以部署在本地和云中的裸机硬件、虚拟机和容器上环境。
吴代庄·2024-02-26 07:49

docker安装kafka和kafka-console-ui

3、安装kafkahttps://blog.csdn.net/m0_64210833/article/details/134199061kafka依赖Zookeeper,当然也可以用内置的kraft。
李君临·2024-02-25 13:24

二进制包方式部署k8s集群

1、准备环境虚拟机操作系统:Centos7角色IP组件Master192.168.150.20kube-apiserver，kube-controller-manager，kube-scheduler，etcdNode1192.168.150.21kubelet，kube-proxy，docker，etcd2、系统初始化工作在三台虚拟机上进行如下操作：2、1关闭防火墙$systemctlstopf
ggrong0213·2024-02-25 06:15

二进制部署k8s

master节点以及node节点需要的组件是什么，如何形成集群，网络如何架构和设计，数据的存储如何部署此处即采用一种高可用架构形式即etcd的分部署部署加一个控制节点和两个工作节点，在这其中比较重要的即是
Professorboy·2024-02-25 06:15

在 k8s 中配置域名解析

但那些集群外的服务，并且已经被硬编码的域名如何访问呢？方法1：修改容器的hosts设想：把hosts文件内容存储在configmap中，通过volume绑定到/etc/host
运维那些事~·2024-02-25 01:09

KeepAlived搭建高可用的HAproxy负载均衡集群系统

服务器规划:serverd(haproxy1,keepalived):192.168.233.141serverb(haproxy2,keepalived):192.168.233.144servera(web1):192.168.233.132serverc(web2):192.168.233.140域名映射:(所有端均配置):vim/etc/hosts192.168.233.141haprox
暗隐之光·2024-02-25 01:39

zookeeper动态扩缩容（无需重启）

目录一、启动一个zk二、扩容一个zk三、缩容一个zk四、重新配置集群的节点前言：zookeeper动态扩/缩容的reconfig命令旨在不需要重启zookeeper中任何一个节点的情况下，对整个zookeeper
cj_eryue·2024-02-24 19:02

Eureka/Zookeeper/Nacos实现注册中心区别

一、CAP定律CAP理论：Consistency（一致性）Availability（可用性）Partitiontolerance（分区容错性）必然存在在我们集群中，如果某个服务器宕机（故障）：保证数据一致性
超级码里喵·2024-02-24 08:24

srs 边缘集群

srs官方关于边缘集群的介绍：EdgeCluster|SRS本篇分析一下边缘集群中上行边缘节点的处理逻辑。关于上行的边缘节点：SRS对于上行边缘，采取直接代理方式，并没有采取边缘缓存方式。
致一·2024-02-24 01:45

kafka 生产者消费者设计思考

kafka选择了
动态一时爽，重构火葬场·2024-02-23 17:06

如果对类似汽车这种单体进行建模，围绕一圈拍摄，普通的手机或者相机拍摄的照片有足够的重叠度就能建模吗？不需要专业的设备可以吗？

重建大师是一款专为超大规模实景三维数据生产而设计的集群并行处理软件，输入倾斜照片，激光点云，POS信息及像控点，输出高精度彩色网格模型，可一键完成空三、自动建模和LOD构建。
大势智慧·2024-02-23 10:28

[AIGC] Kafka 消费者的实现原理

在Kafka中，消费者通过订阅主题来消费数据。每个消费者都属于一个消费者组，消费者组中的多个消费者可以共同消费一个主题，实现分布式消费。每个消费者都会维护自己的偏移量，用于记录已经读取到的消息位置。
程序员三木·2024-02-23 07:24

改掉坏习惯也需要行为设计，最简单的方式，就是移除坏习惯的提示——《福格行为模型》精读分享45

张伟需要做的，就是根据之前培养新习惯的步骤，反向规划改掉坏习惯的过程上一集里，张伟已经将概括型的坏习惯，使用行为集群的分析方法，具体到了微行为，并使用黄金行为的分析方法，找到了要改掉的具体
峰哥读写思·2024-02-20 23:19

Docker进阶到搭建集群以及整合springboot实战

Docker进阶到搭建集群以及整合springboot实战容器数据卷什么是容器数据卷将应用和环境打包成一个镜像！数据？如果数据都在容器中，那么我们容器删除，数据就会丢失！
三横同学·2024-02-20 22:43

宝塔nginx配置SpringBoot服务集群代理

宝塔nginx配置SpringBoot服务集群代理1、需求：现有一个springboot服务需要部署成集群，通过nginx负载均衡进行访问，其中这个springboot服务内置了MQTT服务、HTTP服务
haidi8·2024-02-20 22:42

docker搭建hadoop hdfs完全分布式集群

1制作hadoop镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分，固定IP及启动集群的部分应该跳过。
shangcunshanfu·2024-02-20 22:08

【Azure 应用服务】本地创建Azure Function Kafka Trigger 函数和Kafka output的HTTP Trigger函数实验

问题描述在上一篇博文(https://www.cnblogs.com/lulight/p/16525902.html)中，我们成功的以VM作为Kafka服务器运行，并且验证了从其他机器中远程访问。
云中路灯·2024-02-20 21:37

Redis篇----第八篇

系列文章目录文章目录系列文章目录前言一、是否使用过Redis集群，集群的原理是什么？二、Redis集群方案什么情况下会导致整个集群不可用？三、Redis支持的Java客户端都有哪些？官方推荐用哪个？
数据大魔王·2024-02-20 21:37

Redis篇----第九篇

二、Redis集群的主从复制模型是怎样的？三、Redis集群会有写操作丢失吗？为什么？四、Redis集群之间是如何复制的？五、Redis集群最大节点个数是多少？
数据大魔王·2024-02-20 21:37

Redis-面试题

一、基础1、什么是RedisC语言编写，基于key-value存储的nosql开源内存数据库内存存储、数据结构优化，高性能一般用于应用和数据库之间的分布式缓存中间件提供主从复制+哨兵、集群的方式实现高可用
HBryce24·2024-02-20 21:06

Elasticsearch单机集群搭建

第一步：下载解压官网下载elasticsearch安装包：下载地址创建一个elasticsearch的路径/usr/local/tools/elasticsearch解压tar-xzvfelasticsearch-7.5.0-linux-x86_64.tar.gz重命名mvelasticsearch-7.5.0elasticsearch-7.5.0-node-1创建好三个节点，如下图：image.
dafengyiba·2024-02-20 20:07

hive 的map数和reduce如何确定

主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到，该参数不能自定义修改)；2.举例：
Super乐·2024-02-20 20:38

(17)Hive ——MR任务的map与reduce个数由什么决定？

的数量由以下参数决定文件个数文件大小blocksize一般而言，对于每一个输入的文件会有一个mapsplit，每一个分片会开启一个map任务，很容易导致小文件问题（如果不进行小文件合并，极可能导致Hadoop集群资源雪崩
爱吃辣条byte·2024-02-20 20:27

美团面试：Kafka如何处理百万级消息队列？

美团面试：Kafka如何处理百万级消息队列？在今天的大数据时代，处理海量数据已成为各行各业的标配。
·2024-02-20 20:07

阿里云服务器2核8g配置3M带宽多少钱？如何买更便宜？

2核8G配置的cpu与内存比为1:4，内存资源要高于cpu资源，这种配置多适用于中小型数据库系统、缓存、搜索集群等场景，也适用于与网站应用等场景。
阿里云最新优惠和活动汇总·2024-02-20 19:01

Kafka痛点与Puslar介绍

ApacheKafka作为一款成熟的消费队列得到了很广泛地运用.但以2019年的角度来看,存在一些痛点.存储计算没有分离,难以扩容和缩容没有IO隔离,写高了读不动,读高了写不动没有多租户IO模型过于简单
weidajiangjiang·2024-02-20 19:34
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他