中间件-Kafka

kafka学习（4）-- Kafka如何保证百万级写入速度以及保证不丢失不重复消费

一、如何保证百万级写入速度Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。
技术闲聊DD·2024-01-19 23:07

Kafka的消息会丢失和重复吗？——如何实现Kafka精确传递一次语义

我们都知道Kafka的吞吐量很大，但是Kafka究竟会不会丢失消息呢？又会不会重复消费消息呢？
大数据流动·2024-01-19 23:07

消费者传递保证语义

Kafka服务器端并不会记录消费者的消费位置，而是由消费者自己决定如何保存其消费的offset.0.8.2版本之前消费者会将其消费位置记录zookeeper中，在后面的新版本中，消费者为了缓解zookeeper
莫言静好、·2024-01-19 23:07

Kafka设计解析（一）- Kafka背景及架构介绍

本文转发自技术世界，原文链接http://www.jasongj.com/2015/03/10/KafkaColumn1背景介绍Kafka创建背景Kafka是一个消息系统，原本开发自LinkedIn，用作
小5仔·2024-01-19 23:05

kafka--Kafka剖析（一）：Kafka背景及架构介绍

转载自：http://www.infoq.com/cn/articles/kafka-analysis-part-1?
Tate-Ling·2024-01-19 23:34

KAFKA入门概述

简介概述Kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin
new_blood·2024-01-19 23:03

kafka传递保证语义

kafka传递保证语义DeliveryguaranteesemanticAtmostonce:消息可能会丢失，但绝不会重复传递。Atleastonce:消息绝不会丢失，但可能会重复传递。
wonder why·2024-01-19 23:03

Kafka基础--Kafka的架构

一、Kafka的架构如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的PageView，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展
东谌·2024-01-19 23:03

Kafka 的消息投递保证（delivery guarantee）机制以及如何实现

Kafka支持三种消息投递语义：①Atmostonce消息可能会丢，但绝不会重复传递②Atleastone消息绝不会丢，但可能会重复传递③Exactlyonce每条消息肯定会被传输一次且仅传输一次，很多时候这是用户想要的
蓦然_·2024-01-19 23:03

Mybatis源码解析：kafka消费者消费不到消息

Kafka源码篇——Kafka快速入门1.1Kafka简介1.2以Kafka为中心的解决方案1.3Kafka核心概念1.4搭建Kafka源码环境Kafka源码篇——生产者2.1KafkaProducer
前端陈萨龙·2024-01-19 23:32

深入理解kafka-总结

背景介绍Kafka简介Kafka是一种分布式的，基于发布/订阅的消息系统。
haungtan07·2024-01-19 23:02

Kafka的Exactly-once语义与事务机制

Kafka0.11.x版本(对应ConfluentPlatform3.3)，该版本引入了exactly-once语义。
码农老K·2024-01-19 23:02

Kafka-消费者-传递保证语义(Delivery guarantee semantic)

Kafka服务端并不会记录消费者的消费位置，而是由消费者自己决定如何保存如何记录其消费的offset。
Andy技术支援·2024-01-19 23:30

Kafka 的 Consumer Group 解读

作为一份笔记，本文再次梳理一下Kafka的ConsumerGroup。
　Laurence·2024-01-19 23:29

gin cookie,session,token组件

Cookie的使用funcmain(){//1.创建路由//默认使用了2个中间件Logger(),Recovery()r:=gin.Default()//服务端要给客户端cookier.GET("cookie
Generalzy·2024-01-19 22:43

SpringBoot+Dubbo+Seata分布式事务实战

SpringBoot+Dubbo+Seata分布式事务实战前言Seata是阿里巴巴开源的分布式事务中间件，以高效并且对业务0侵入的方式，解决微服务场景下面临的分布式事务问题。
Dashesand·2024-01-19 22:12

Kafka 消费者如何实现消费者组内分区平衡，Kafka常见面试问题

2、消费者主要分区策略Kafka有四种主流的分区分配策略：Range、RoundRobin、Sticky、CooperativeSticky。可以通过配置参数part
知其_所以然·2024-01-19 20:21

Python网络爬虫进阶：自动切换HTTP代理IP的应用

前言当你决定做一个网络爬虫的时候，就意味着你要面对一个很大的挑战——IP池和中间件。这两个东西听起来很大上，但其实就是为了让你的爬虫不被封杀了。下面我就来给你讲讲如何搞定这些东西。
小白学大数据·2024-01-19 20:20

用 Hystrix 构建高可用服务架构（下）

3.Hystrix调用各种接口，或者访问外部依赖，比如MySQL、Redis、Zookeeper、Kafka等等，出现了任何异常的情况。
久伴_不离·2024-01-19 19:12

大数据中间件跨系统整合数据，打通数据鸿沟

目录一、业务场景描述：二、打通数据鸿沟的优势：三、设计思路和技术要点：一、业务场景描述：公司有开发过多套不同的业务系统，分别由不同的部门管理，新增某个业务数据需要通知各部门将该数据统一按标准录入到各部门管理的系统里面去。各系统新增数据的格式标准不一致，人工录入费时费力，出了问题也不方便排查。希望有一个总控平台的入口提交该需要新增的业务数据，然后自动同步到各业务系统。二、打通数据鸿沟的优势：标准流程
捉虫大仙里·2024-01-19 18:55

RabbitMQ

传统方式，系统之间直接调用（http协议httpclient/openFeign）中间件2MQ的优势异步、解耦、削峰1应用解耦系统的耦合性越高，容错性就越低，可维护性就越
夨落旳尐孩649·2024-01-19 17:30

Kafka-消费者-KafkaConsumer分析-Heartbeat

下面就来详细分析KafkaConsumer中Heartbeat的相关实现。首先了解一下心跳请求和响应的格式。
Andy技术支援·2024-01-19 17:44

Kafka-消费者-KafkaConsumer分析-PartitionAssignor

Leader消费者在收到JoinGroupResponse后，会按照其中指定的分区分配策略进行分区分配，每个分区分配策略就是一个PartitionAssignor接口的实现。图是PartitionAssignor的继承结构及其中的组件。PartitionAssignor接口中定义了Assignment和Subscription两个内部类。进行分区分配需要的两方面的数据：Metadata中记录的集群
Andy技术支援·2024-01-19 17:14

分布式中间件之Redis

下载Rediswindows版本：https://github.com/MicrosoftArchive/redis/tags（官网没有，只能去github下载，也只有3.2版本以下的）linux版本：https://download.redis.io/releases/RDB（快照）redis是内存数据库，一旦断电或者宕机，内存中的数据将全部丢失，redis为了解决这个问题，提供了rdb和aof
田青钊·2024-01-19 17:59

redis

1.redis简述1.1概念理解Redis既可以作为数据库使用，也可以作为中间件数据库时，Redis是一种key-value型的内存数据库，支持数据持久化，可以将数据保存到磁盘上。
言慢行善·2024-01-19 17:25

基于 SpringBoot 实现多租户架构：支持应用多租户部署和管理

每天10:33更新文章，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ
公众号-芋道源码·2024-01-19 16:09

轻量化server-sent-events，java后端推送消息给客户端，并实现所有打开客户端，都收到此一条消息（类似消息中间件topic）...

后端与后端消息推送，直接使用消息中间件即可，后端->多个客户端推送消息，怎么推送呢？1.消息来源。
君千殇520·2024-01-19 16:35

德拓外包-大数据开发面试

都在公司的库里，银行金融项目谁让你把代码带出去的，就是公司业务保密1.自我介绍2.数据采集相关，怎么把kafka中的数据采集到mysql中？忘了3.hive，两张表的重复数据，怎么去重？
劝学-大数据·2024-01-19 16:03

大数据学长面试之OPPO面试题

1）技术部分（1）SparkStreaming消费方式及区别，Spark读取HDFS的数据流程（2）Kafka高性能（3）Hive调优，数据倾斜（4）Zookeeper怎么避免脑裂，什么是脑裂。
大数据小理·2024-01-19 16:01

16 | HTTP/2是怎样提升性能的？

目前常用的Web中间件都已支持HTTP/2
_Rye_·2024-01-19 14:01

使用虚拟机安装AIX7.2【re】

AIX7.2是IBM开发的一款高级交互式执行系统（Unix系统），专为IBM的PowerSystems服务器设计，主要用于企业级应用和关键任务处理，尤其是企业选择使用IBM全家桶的时候，针对特定的硬件和中间件有良好的优化和支持
安逸的施月溪·2024-01-19 14:15

四.KafkaAPI实战

4.1环境准备1）在eclipse中创建一个java工程2）在工程的根目录创建一个lib文件夹3）解压kafka安装包，将安装包libs目录下的jar包拷贝到工程的lib目录下，并buildpath。
临时_01e2·2024-01-19 13:23

搭建开源数据库中间件MyCat2-配置mysql数据库双主双从

架构：双主双从配置：3台服务器，4台数据库；其中2台服务器为数据库各装主从配置，1台服务器为数据库中间件。
气拔星·2024-01-19 13:03

三、NC6流程开发-系统配置

1、发布节点首先我们以debug模式启动NC项目中间件，然后启动客户端。用集团管理员（ufida）账号登录系统。因为我们的单据后期有可能会发布多个单据，所以在这里第一步先新增交易类型并发布节点。
猪仔搬砖·2024-01-19 12:46

kafka可视化客户端工具（Kafka Tool）的使用

一、下载下载地址：http://www.kafkatool.com/download.html我们的kafka版本是2.11（kafka_2.11-2.0.0-cdh6.1.1），下载kafkatool2.0.6
勤奋的超跑·2024-01-19 12:54

Kafka如何避免消息丢失？

1.2同步发送一、前言为了避免出现消息丢失从而造成巨大的损失，有如下方法可以最大限度避免消息的丢失在避免出现消息丢失情况出现之前，首先要知道kafka消息发送和接受过程，才能更加清楚的知道消息丢失的原因
学会用脚编程·2024-01-19 12:01

SpringBoot整合Kafka

一、首先下载windows版本的Kafka官网：ApacheKafka二、启动Kafkacmd进入到kafka安装目录：1：cmd启动zookeeer.
学会用脚编程·2024-01-19 12:59

小迪安全_web漏洞

1、ASP环境搭建组合asp很少很少见了windowsiisaspaccess(sqlserver)2、ASP数据库下载&植入3、S-短文件&解析&写权限WEB安全攻防：1、Web源码2、开发语言3、中间件平台
飞辽个飞·2024-01-19 11:35

【小迪安全】红蓝对抗 | 网络攻防 | V2022全栈培训笔记（WEB攻防18-23）

红蓝对抗|网络攻防|V2022全栈培训笔记（PHP开发12-17）知识点1、ASP环境搭建组合2、ASP-数据库下载&植入3、IIS-短文件&解析&写权限WEB安全攻防：1、Weo源码2、开发语言3、中间件平台
清歌secure·2024-01-19 11:05

提升Raft以加速分布式键值存储

流行的系统，如Kafka、CockroachDB、MongoDB、Neo4j、Splunk等，都使用Raft来实现共识。系统要么是最终一致性的，要么是强一致性的。
小技术君·2024-01-19 11:53

spring boot学习第八篇:kafka监听消费

为了实现监听器功能pom.xml文件内容如下：4.0.0org.springframework.bootspring-boot-starter-parent2.6.4com.hmblogshmblogs0.0.1-SNAPSHOThmblogshmblogs81.2.81.16com.alibabadruid-spring-boot-starter${druid.version}org.sprin
veminhe·2024-01-19 11:37

Spring Boot 整合 Kafka 并使用 @KafkaListener 并发批量接收消息

注册KafkaListenerContainerFactoryimportorg.apache.kafka.clients.CommonClientConfigs;importorg.apache.kafka.clients.consumer.ConsumerConfig
lei_charles·2024-01-19 10:27

[Sa-Token]Spring Cloud Gateway中支持子服务的@SaIgnore注解

需求场景见#415由于网关网关与子服务之间没有直接关系,因此必须通过redis等中间件进行交互.仅实现了根据请求路径(path)和请求方式(method)进行鉴权,如果映射(见org.springframework.web.bind.annotation.RequestMapping
ly-chn·2024-01-19 10:55

分布式概念-分布式系统是什么？

点击上方蓝色字体，选择“设为星标”优质文章，及时送达故事从一次内部分享开始，我们每周组织组内分享，会分享一些技术，中间件，研发流程规范或者业务系统架构等内容，在进行了一系列中间件技术分享之后，会发现其中提及一系列通用的概念
春哥大魔王·2024-01-19 09:18

RocketMQ和Kafka的差异对比

Broker差异1：主从差异:kafka的master/slave是基于partition维度的，而rocketmq是基于broker维度的；kafka的master/slave是可以切换的，而rocketmq
源程序程序员·2024-01-19 09:33

filebeat信息采集

主配置文件，采集到的信息放到kafkacat>filebeat.yml/etc/filebeat/inputs.d/nginx.ymlfilebeat.ymlfilebeat.yml/etc/filebeat
莫渊博-天下无病·2024-01-19 08:30

关于Filebeat收集XML格式日志推送到Kafka中标签被转义的问题

关于Filebeat收集XML格式日志推送到Kafka中标签被转义的问题问题描述错误的解决思路偶然的机会这里记录一下提问问题的方法问题描述我在公司搭建的有个ELK监控的日志，最近需要解决一些日志收集的问题
小猴子的技术笔记·2024-01-19 08:29

redux用法和原理

1.概述本文带着大家回顾下redux用法，redux的API，createStore、reducer、dispatch等，理解用法后，一起探究原理，难点是redux中间件的原理部分。
勇敢快乐的风筝·2024-01-19 08:58

node.js(express.js)+mysql实现登录功能

reg_login_schema，代码如下：二、根据用户名查询用户的数据三、判断用户输入的密码是否正确四、生成JWT的Token字符串最终登录接口代码如下：五、在app.js中注册路由之前，配置解析token的中间件
鸥总·2024-01-19 07:04

RocketMQ

文章目录一、RocketMQ概述RocketMQ是一个开源的分布式消息中间件，最初由阿里巴巴集团开发。
人生就像一场戏!·2024-01-19 07:00
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他