中间件-kafka

软件架构设计

一、考点分布软件架构的概念（※※※）基于架构的软件开发（※※※※）软件架构风格（※※※※※）特定领域软件架构（※※※）软件质量属性（※※※※※）软件架构评估（※※※※）软件产品（※※※）构件与中间件技术
一心猿·2024-02-05 21:04

消息中间件之RocketMQ源码分析(五)

消费进度保存机制消费者启动时会同时启动位点管理器，RocketMQ设计了远程位点管理和本地位点管理两种位点管理方式.集群消费时，位点由客户端提交给Broker保存.广播消费时，位点保存在消费者本地磁盘上OffsetStore接口核心方法voidload():加载位点信息voidupdateOffset():更新缓存位点信息longreadOffset():读取本地位点信息voidpersistAl
coffee_babe·2024-02-05 20:57

Scrapy发送邮件 报错 builtins.AttributeError: 'NoneType' object has no attribute 'bio_read'

应用场景：在爬虫关闭或者爬虫空闲时可以通过发送邮件的提醒，通过twisted的非阻塞IO实现，可以直接写在spider中，也可以写在中间件或者扩展中，看你具体的需求。
朝畫夕拾·2024-02-05 20:20

启动Maxwell报这个错了，怎么办

Lr123456'--host='node02'--producer=kafka--kafka.bootstrap.servers=node01:9092--kafka_topic=maxwellUsingkafkaversio
初恋880·2024-02-05 19:26

聊聊 Http 服务化改造实践

粉丝福利，免费领取C/C++开发学习资料包、技术视频/项目代码，1000道大厂面试题，内容包括（C++基础，网络编程，数据库，中间件，后端开发/音视频开发/Qt开发/游戏开发/Linuxn内核等进阶学习资料和最佳学习路线
程序员老舅·2024-02-05 19:55

C++并发编程：如何编写多线程代码

粉丝福利，免费领取C/C++开发学习资料包、技术视频/项目代码，1000道大厂面试题，内容包括（C++基础，网络编程，数据库，中间件，后端开发/音视频开发/Qt开发/游戏开发/Linuxn内核等进阶学习资料和最佳学习路线
程序员老舅·2024-02-05 19:54

MongoDB 中的分布式集群架构

粉丝福利，免费领取C/C++开发学习资料包、技术视频/项目代码，1000道大厂面试题，内容包括（C++基础，网络编程，数据库，中间件，后端开发/音视频开发/Qt开发/游戏开发/Linuxn内核等进阶学习资料和最佳学习路线
程序员老舅·2024-02-05 19:22

RocketMQ消息队列（一）—— 基本概念和消息类型

  RocketMQ是一个来自阿里巴巴的分布式消息中间件，于2012年开源，并在2017年正式成为Apache顶级项目。
断剑zou天涯·2024-02-05 18:05

AMH面板如何安装与公网远程访问本地面板界面

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-02-05 18:42

Covalent （CQT）：构建全新链上协议收入体系，致力于财务透明

Covalent的价值累积机制在核心层面上，CovalentNetwork（CQT）扮演了双重角色，它既是一个去中心化的物理基础设施，又是一个中间件
区块链蓝海·2024-02-05 17:17

kafka_2.13-2.8.0

kafka_2.13-2.8.0下载kafka启动zookeeperzookeeper.propertieszookeeper是否启动成功lsof-i:2181ps-aux|grepzookeeper启动
qq_26264237·2024-02-05 17:57

Kafka2.13集群搭建

hosts172.17.0.2   node0172.17.0.3   node1172.17.0.4   node2在其中一台服务器中搭建Zookeeper（单机或集群都可以）Zookeeper集群搭建参考链接下载Kafka​wget
咩哥无敌·2024-02-05 17:57

看完这篇，还不明白怎么让消息变的可靠你打我（RabbitMQ）

在我们开发中，随着业务的不断复杂和调用链路的不断增长，我们可能会慢慢引入越来越多的中间件来更好的服务于我们的系统，但是每样技术都是一把双刃剑，在提高我们系统性能的同时，我们也要想办法来减少它对系统带来稳定性的影响
whynot_0·2024-02-05 16:33

MySQL如何实时同步数据到ES？试试阿里开源的Canal

前言前几天在网上冲浪的时候发现了一个比较成熟的开源中间件——Canal。在了解了它的工作原理和使用场景后，顿时产生了浓厚的兴趣。今天，就让我们跟随我的脚步，一起来揭开它神秘的面纱吧。
漫走云雾·2024-02-05 15:28

Kubernetes 访问外部服务

文章目录一、概述1.K8S访问外部服务1.1.ExternalName方式1.2.Endpoint方式2.ExternalIP二、基础中间件1.PostgreSQL1.1.创建Endpoint1.2.创建镜像
IoTHub - 物联网开源技术社区·2024-02-05 15:25

Kafka配置类参数设置

newProperties();props.put("bootstrap.servers","localhost:9092");props.put("key.serializer","org.apache.kafka.common.serialization.StringSerializer
大大大大肉包·2024-02-05 14:27

使用 IntelliJ IDEA 配合 Docker 对 Weblogic 中间件进行远程调试

使用idea对jar包远程调试：打开一个springboot的项目进行远程调试设置：运行：其实我不太明白远程调试的意义，本地直接debug不好嘛。。。点击debug的按钮，打断点测试：跑到断点处：远程debug即对远程部署的内容进行debug，例如我们部署的项目在线上出现问题了，而我们又不知道具体是哪里出现问题，我们就可以使用远程debug进行排查问题。这里在idea中使用的是localhost，
carrot11223·2024-02-05 12:31

SpringCloud-消息驱动(Stream、生产者、消费者)

SpringCloud消息驱动StreamSpringCloudStream，的诞生是为了解决各种消息中间件之间的兼容性问题，学习过消息中间件的同学都知道现在市面上流行的消息中间件有ActiveMQ、RabbitMQ
JolyouLu·2024-02-05 12:30

spring boot打完jar包后使用命令行启动，提示xxx.jar 中没有主清单属性

在对springBoot接口中间件开发完毕后，本地启动没有任何问题，在使用package命令打包也没异常，打完包后使用命令行：java-jarxxx.jar启动发现报异常：xxx.jar中没有主清单属性
智商三岁半i·2024-02-05 12:35

nuxt.js之serverMiddleware的使用（踩坑）之路

zh.nuxtjs.org/api/configuration-servermiddleware使用serverMiddleware的目的：使用过express，koa等node框架的小伙伴相信都会知道中间件的作用
我的昵称好听吗·2024-02-05 11:48

使用两种多线程模式消费Kafka数据

使用两种多线程模式消费数据KafkaProducer是线程安全的,然而KafkaConsumer却是非线程安全的。
魏春雨·2024-02-05 10:24

安全基础~通用漏洞4

文章目录知识补充XSS跨站脚本**原理****攻击类型**XSS-后台植入Cookie&表单劫持XSS-Flash钓鱼配合MSF捆绑上线ctfshowXSS靶场练习知识补充SQL注入小迪讲解文件上传小迪讲解文件上传中间件解析
`流年づ·2024-02-05 10:22

Spring Boot与Kafka集成教程

当然可以，这里为您提供一个简化版的SpringBoot与Kafka集成教程：新建SpringBoot项目使用SpringInitializr或您喜欢的IDE（如IntelliJIDEA,Eclipse等
MarkHD·2024-02-05 09:12

Springboot使用kafka的两种方式

在SpringBoot中使用ApacheKafka主要有两种方式：使用SpringKafka项目和使用SpringBoot的spring-boot-starter-kafka。
MarkHD·2024-02-05 09:12

ShardingSphere 5.x 系列【3】分库分表中间件技术选型

有道无术，术尚可求，有术无道，止于术。本系列SpringBoot版本3.1.0本系列ShardingSphere版本5.4.0源码地址：https://gitee.com/pearl-organization/study-sharding-sphere-demo文章目录1.前言2.MyCat3.ShardingSphere4.Dble5.Vitess6.大厂开源6.1Cobar6.2Atlas6.
云烟成雨TD·2024-02-05 09:40

kafka之auto-offset-reset

官方文档解释auto.offset.reset:WhattodowhenthereisnoinitialoffsetinKafkaorifthecurrentoffsetdoesnotexistanymoreontheserver
driver_ab·2024-02-05 09:05

【Kafka面试】Kafka的高可用机制有了解吗？

一、集群模式Kafka集群由多个broker组成，每个broker就是Kafka实例。假如某个broker宕机，在集群中其他的broker依然可以对外提供服务，这个就是集群能够保证高可用性。
TAIKEMAN·2024-02-05 09:44

kafka副本高可用机制

Kafka的每个topic都可以分为多个Partition，并且多个partition会均匀分布在集群的各个节点下。
catch that elf·2024-02-05 09:44

kafka高可用(集群)

kafka的分布式和高可用kafka的一个基本架构：多个broker组成，一个broker是一个节点；你创建一个topic，这个topic可以划分成多个partition，每个parttition可以存在于不同的
GoslingWu·2024-02-05 09:13

消息队列三｜Kafka 如何做到高可用？

本篇文章中我们聊聊Kafka如何做到高可用副本？说到Kafka的高可用保障，自然都会想到副本。什么是副本呢？副本是分布式系统对数据和服务提供的一种冗余方式。
不落叶的榕树·2024-02-05 09:11

Kafka高可用性原理

一、Kafka副本基本概念Kafka通过多副本机制实现故障自动转移，Kafka副本一些基本概念：副本是针对分区而言的，即副本是分区的副本一个分区有一个leader副本，多个follower副本，只有leader
wanger61·2024-02-05 09:11

kafka高可用集群搭建

kafka高可用集群搭建说明这篇博文主要是为了后面的elk做准备，我们这里搭建一个kafka集群，使用2个节点，还是前面的节点。主要是为了后面做数据缓冲。
憧憬blog·2024-02-05 09:40

Kafka基于Zookeeper搭建高可用集群实战

目录1、前言1.1高可用的由来1.2相关术语2、架构图3、发送消息流程4、部署kafka&zookeeper集群4.1准备工作4.2启动zookeeper集群4.3启动kafka集群4.4测试5、kafka
八五年的湘哥·2024-02-05 09:39

Kafka高可用

一.安装kafkakafka官网：http://kafka.apache.org/1.Docker安装zookeeperKafka对于zookeeper是强依赖，保存kafka相关的节点数据，所以安装Kafka
愛沢かりん·2024-02-05 09:08

Kafka 高可用原理

因为一次Kafka宕机，我明白了Kafka高可用原理！转载一篇kafka高可用原理文章。
dmlcq·2024-02-05 09:08

Kafka原理解析(二)：高可用、高性能机制

目录1、高可用机制1.2、高可用保障机制1.2.1、消息备份机制1.2.2、ISR1.2.2.1、分区Leader副本的选举1.2.3、消息应答确认机制1.2.4、LEO和HW1.3、故障恢复机制1.3.1、Broker故障恢复分析1.3.1.1、场景一：Broker0与其他Broker断开连接1.3.1.2、场景二：Broker0与ZooKeeper断开连接1.3.2、Controller故障恢
爱看雲的雲·2024-02-05 09:38

kafka 高可用副本配置指南

kafka高可用副本配置指南前言因测试环境kafka故障致内部业务异常故写一份配置指南操作以下配置及操作kafka目录以实际情况为准可以进入kafka/bin里面，有kafka一般操作脚本kafka连接的
黑虎堂堂主·2024-02-05 09:38

Kafka的高可用机制

ApacheKafka是一个分布式流处理平台，它通过复制数据和分布式系统的一系列特性来提供高可用性。以下是Kafka高可用性机制的关键方面，以及它们是如何在源码中实现的。
辞暮尔尔-烟火年年·2024-02-05 09:37

Redis-缓存问题及解决方案

本文已收录于专栏《中间件合集》目录概念说明缓存问题缓存击穿问题描述解决方案缓存穿透问题描述解决方案缓存雪崩问题描述解决方案提高缓存可用性过期时间配置熔断降级总结提升概念说明  Redis是一个开源的内存数据库
武梓龙_Wzill·2024-02-05 08:11

kafka基本原理

一、kafka概述1、定义kafka是一个分布式的基于发布订阅模式的消息队列，主要用于大数据实时处理灵越2、消息队列【1】应用场景用于异步、削峰、解耦【2】两种模式（1）点对点模式一对一，消费者主动拉取数据
会飞的大鱼吃小鱼·2024-02-05 08:59

「Kafka」消费者篇

「Kafka」消费者篇Kafka消费方式Kafka消费者工作流程消费者总体工作流程新版本（0.9之后）的offset保存在kafka的Topic里，持久化到磁盘，可靠性有保障。
小成同学_·2024-02-05 08:22

自学Python第二十二天- Django框架(六) django的实用插件：cron、APScheduler

django-crontab和django-cron有时候需要django在后台不断的执行一个任务，简单的可以通过中间件来实现，但是中间件是根据请求触发的。如果需要定时执行任务，则需要使用到一些插件。
runsong911·2024-02-05 08:06

(十四)ATP应用测试平台——使用docker-compose一键式安装ATP应用测试平台的依赖服务

不过由于依赖的增多，项目的服务也随之多了起来，例如为了测试mysql的主从集群读写分离，需要安装mysql的主从服务器，为了测试redis的哨兵模式及分布式锁机制，需要安装一套redis集群，为了测试消息中间键kafka
厉害哥哥吖·2024-02-05 07:06

17、ELK

17、ELKhelm安装elkfk（kafka集群外可访问）ES/Kibanavalues-prod.yamlvalues-prod.yaml~/kibana/kibana-Ingress.yml~/kafka-yml
Linux云计算+运维开发·2024-02-05 06:29

如何升级linux内核

报错日志如下Failedcreatepodsandbox:rpcerror:code=Unknowndesc=failedtostartsandboxcontainerforpod"cloud-kafka
TheChainsmoker·2024-02-05 06:24

大数据框架(分区，分桶，分片)

建议收藏目录Hive分区与分桶ES分片Kafka分区HBase分区Kudu分区HiveHive分区是按照数据表的某列或者某些列分为多区，在hive存储上是hdfs文件，也就是文件夹形式。
坨坨的大数据·2024-02-05 06:29

Kafka系列（二）将消息数据写入Kafka系统--生产者【异步发送、同步发送、单线程发送、多线程发送、配置生产者属性、自定义序列化、自定义主题分区】

Kafka系列发送消息到Kafka主题了解异步模式了解同步模式线程发送消息的步骤生产者用单线程发送消息生产者用多线程发送消息配置生产者属性保存对象的各个属性一序列化序列化一个对象序列化对象的存储格式自己实现序列化的步骤
_蓝天IT_·2024-02-05 05:06

mysql临时表简述

即使分页也会有深度分页问题；在分页的时候一些大表的子查询都是重复的，而且每次的count和查询对大表实际进行了2次查询，可能mysql的bufferpool中会有缓存，但是非常影响查询速度；在不使用其他中间件的情况下
好大的月亮·2024-02-05 05:48

快速理解复杂系统组成学习内容整合

目录一、复杂系统组成二、接入系统(AccessSystem)三、应用系统(ApplicationSystem)四、基础平台(FoundationPlatform)五、中间件(AbundantExternalMiddleware
张彦峰ZYF·2024-02-05 04:16

kafka客户端生产者消费者kafka可视化工具（可生产和消费消息）

点击下载《kafka客户端生产者消费者kafka可视化工具（可生产和消费消息）》1.前言因在工作中经常有用到kafka做消息的收发，每次调试过程中，经常需要查看接收的消息内容以及人为发送消息，从网上搜寻了一下
孤蓬&听雨·2024-02-05 01:13
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他