中间件-kafka 第17页

kafak入门(十一)：Kafka怎么保证可靠性？

Kafka可靠性分析多副本。就Kafka而言，越多的副本数越能够保证数据的可靠性，副本数可以在创建主题时配置，也可以在后期修改，不过副本数越多也会引起磁盘、网络带宽的浪费，同时会引起性能的下降。

乐之者v·2024-02-05 00:30

工作两年多的渣渣社招辛酸心路历程【内含阿里、字节、美团等】

前言楼主本科渣211，硕士华科，专业均SE,校招的时候没啥实习经历，进大厂工作两年多，做后端开发的工作，没有涉及到高并发的case，也没有大流量的项目，也没有必须引入某些中间件或者nosql才能解决业务问题的场景

AI乔治·2024-02-04 23:53

大数据左右手·2024-02-04 22:22

Nginx安全加固

本加固文档适用于nginx中间件。明确了nginx安全配置方面的基本要求。

姑苏百晓生·2024-02-04 19:23

Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么优点和缺点

Kafka、ActiveMQ、RabbitMQ、RocketMQ都有什么区别，以及适合哪些场景？面试官心理分析其实面试官主要是想看看：你知不知道你们系统里为什么要用消息队列这个东西？

上善若泪·2024-02-04 18:12

在Python中读写Kafka队列

在Python中读写Kafka队列通常使用kafka-python库，这是一个非常流行的库，可以让你方便地与Kafka集群进行交互。以下是安装这个库以及基本使用方法的介绍。

言之。·2024-02-04 16:09

Redis 6.0 客户端缓存的服务器端实现

原文：https://redis.io/topics/client-side-caching翻译：WenHui转载：中间件小哥客户端缓存是用于提供高性能服务的一项技术。

中间件小哥·2024-02-04 16:27

Fink CDC数据同步（四）Mysql数据同步到Kafka

依赖项将下列依赖包放在flink/libflink-sql-connector-kafka-1.16.2创建映射表创建MySQL映射表CREATETABLEifnotexistsmysql_user(idint

大数据_苡~·2024-02-04 16:21

Fink CDC数据同步（五）Kafka数据同步Hive

6、Kafka同步到Hive6.1建映射表通过flinksqlclient建Kafkatopic的映射表CREATETABLEkafka_user_topic(idint,namestring,birthstring

大数据_苡~·2024-02-04 16:18

海量数据处理商用短链接生成器平台 - 2

开发分层规范第1集短链平台实战-Maven聚合工程创建微服务项目**简介：Maven聚合工程创建微服务项目实战**Maven聚合工程拆分dcloud-common公共依赖包dcloud-appFlink+Kafka

从零开始学习人工智能·2024-02-04 15:52

用Chrome，Edge，360等浏览器如何调用底层硬件模块？

政务浏览器启动后，可以以“中间件”模式运行；该模式下浏览器在后台运行，将硬件模块的接口暴露成Http调用，也可以将模块调用以悬浮的工具栏呈现。具体设置及调用方法

非也2024·2024-02-04 13:17

Vue中间件的讲解案例分析

Vue中间件的讲解案例分析1.Axios中间件：Axios是一个常用的HTTP客户端，可以与Vue结合使用，处理网络请求和数据获取。

KingDol_MIni·2024-02-04 12:39

爬虫工作量由小到大的思维转变---＜第四十二章 Scrapy Redis 重试机制(ip相关)＞

正文:首先,要清楚一个概念,在scrapy的中间件中,默认会有一个scrapy重试中间件;只要你在settings.py设置中写上:RETRY_TIMES=3那么他就会自动重试!

大河之J天上来·2024-02-04 12:19

kafka自定义分区策略详解

文章目录前言一、kafka是什么？二、kafka的分区策略三、自定义的Kafka分区器实现总结前言在分布式消息系统中，正确地将消息发送到合适的分区是至关重要的。

啄sir.·2024-02-04 11:01

Kafka 超高并发网络架构演进过程

我们来深度剖析下「KafkaBroker端网络架构和请求处理流程」是如何设计的?相信使用过Kafka的朋友都知道其吞吐量可以高达百万，但很少人理解其中的设计原理。

程序员xysam·2024-02-04 11:55

RabbitMQ Network Partitions 服务日志对比

摘要：如果你一直使用RabbitMQ作为业务的消息中间件，难免会遇到网络分区（NetworkPartitions）的故障，也许你当时会束手无策，一脸懵逼，不过希望在看完这篇文章之后，能给你一点解决网络分区的思路

Python阿南·2024-02-04 11:59

大数据入门-大数据技术概述(二)

大数据是什么2.大数据入门-大数据技术概述(一)一、简介二、技术详解1.分布式协调服务：Zookeeper2.分布式资源管理器：Yarn3.计算引擎：Spark4.查询引擎：Impala5.分布式消息系统：Kafka6

水坚石青·2024-02-04 11:11

ASP.NET Core 自定义解压缩提供程序

写在前面在了解ASP.NETCore自定义请求解压缩中间件的应用时，依据官方文档操作下来碰到了几个问题，这边做个记录。

rjcql·2024-02-04 11:33

kakfa系统架构

消息队列Kafka系统架构Q:什么是Kafka？A：Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。

齐爱巴·2024-02-04 10:27

消息队列-RabbitMQ

消息队列-RabbitMQ中间件中间件就是帮助连接多个系统，能让多个系统紧密协作的技术或者组件。比如：redis、消息队列。比如在分布式系统中，将整个系统按业务进行拆分。

小飞侠要上天·2024-02-04 09:39

4R架构理论

一、我们来看看通过4R理论怎么分析KafkaKafka简要架构图image.pngA）kafka顶层结构是

莫妮卡笔记·2024-02-04 09:10

消息队列服务Kafka揭秘：痛点、优势以及适用场景

摘要：消息队列Kafka是一个分布式的、高吞吐量、高可扩展性消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一，阿里云提供全托管服务，用户无需部署运维

云栖社区v·2024-02-04 08:01

在做中间件设计时，你是如何权衡好利益相关者的？| 是面向运维，还是面向开发？...

今天，我以中间件为载体，再次探讨一下“如何与中间件的各种利益相关者相互协调？他们

cuihuang0047·2024-02-04 08:30

vulhub中 Apache Airflow Celery 消息中间件命令执行漏洞复现（CVE-2020-11981）

在其1.10.10版本及以前，如果攻击者控制了Celery的消息中间件（如Redis/RabbitMQ），将可以通过控制消息，在Worker进程中执行任意命令。

余生有个小酒馆·2024-02-04 07:41

第六十一天服务攻防-中间件安全&CVE复现&K8S&Docker&Jetty&Websphere

第61天服务攻防-中间件安全&CVE复现&K8S&Docker&Jetty&Websphere知识点：中间件及框架列表：lIS,Apache,Nginx,Tomcat,Docker,Weblogic,JBoos

清歌secure·2024-02-04 06:29

Kafka系列（一）【消息队列、Kafka的基本概念、Kafka的工作机制、Kafka可满足的需求、Kafka的特性、Kafka的应用场景】

kafka系列一一、消息队列1.消息队列的来源2.什么是消息队列3.消息队列主要有哪些作用二、Kafka的基本概念代理、生产者、消费者、消费者组主题、分区、副本、记录三、了解Kafka的工作机制-生产消息

_蓝天IT_·2024-02-04 06:57

【实战知识】使用Github Action + Nginx实现自动化部署

先说一下背景~我的小程序：豆流便签，目前使用云托管部署后端服务，使用轻量级服务器部署数据库和一些中间件。

豆小匠·2024-02-04 06:20

MySQL调优

优化类型大概分类三个类型结构/架构优化：读写分离、集群热备、分布式架构、引入缓存/消息/搜索中间件、分库分表、中台架构（大数据中台、基础设施中台）等配置/参数优化：调整应用系统中各层面的配置文件、启动参数达到优化性能的目标代码

whiteBrocade·2024-02-04 06:48

数据库主从加读写分离

---192.168.200.8------主数据库节点mysql2------192.168.200.13------从数据库节点mycat------192.168.200.21------数据库中间件节点

曹博Blog·2024-02-04 05:54

Hadoop2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测

####################################################################最新消息：关于spark和Hudi的安装部署文档，本人已经写完，连接：Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.1单机伪分布式安装注意：本篇文章是在本人写的Hadoop+Hive+HBase+Kylin伪分布式安装指南

运维道上奔跑者·2024-02-04 05:43

MQ 消息丢失、重复、积压问题，如何解决？

案例分析要知道，在互联网面试中，引入MQ消息中间件最直接的目的是：做系统解耦合流量控制，追其根源还是为了解决

super.aladdin·2024-02-04 04:38

WSL2+Docker+IDEA一站式开发调试

IDEA一站式开发调试将就看吧，不知道为什么CSDN无法转储并展示jsdelivr的图片；但博客园正常展示前言我们知道，Docker是一个容器引擎；对于开发者来说，使用Dokcer容器部署各种开发需要的中间件

lunfangyu·2024-02-04 03:21

nginx反向代理 cookie失效问题

有一次生产环境修复漏洞将中间件从weblogic更换为tomcat,启动后所有前端请求均未携带cookie.导致应用不能正常运行.1.war包在tomcat启动后会自动解压生成war包名称的文件夹.2.

lyl117363·2024-02-04 03:13

Http请求Cookie失效问题

二、问题排查用arthas进行代码方法报错排查，一步一步排查到当请求打到服务器时会被一个TokenFilter拦截，在其中会在中间价取到用户上下文，用户在登录的时候会在中间件设置上下文

阿昌喜欢吃黄桃·2024-02-04 03:11

运维管理软件：优化监控运维考核体系的关键力量

一、实现运维数据的集中管理运维管理软件能够对企业的IT环境进行全面监控，包括硬件设备、网络设备、操作系统、数据库、中间件等各个层面。

MXsoft618·2024-02-04 02:03

隐藏服务器端信息X-Powered-By: Servlet/3.0

应用部署是由web服务器中间件apache和应用服务器中间件websphere组成。需要修改webpshere的配置：com.ibm.ws.webcontainer.disablexPo

徒步@天涯·2024-02-04 01:29

redisson + 自定义注解优雅的实现消息的发布订阅

前言在一些小型场景下，使用mq中间件可能会为原有项目增加不少维护成本，使用redisson实现消息的收发是个不错的选择什么是redisson？

鼠鼠我捏，要死了捏·2024-02-04 01:28

Solon 开源框架讲的“三源合一”是怎么回事？

现在看来包括消息中间件的消息处理等等，都是可以转换成Mvc模式。怎么实现？这个太长了，这里只讲应用效

组合缺一·2024-02-04 01:27

Docker安装RabbitMq

docker的安装使用可参考上篇文章Docker安装与Nginx映射配置RabbitMq说明RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。

永动的图灵机·2024-02-04 00:26

揭秘 Kafka 高性能之谜：一文读懂背后的设计精粹与技术实现

Kafka在性能方面有着显著的优势，这也使得Kafka的应用非常广泛，那kakfa的性能为何如此优异呢？本文将带你探寻kafka高性能之谜。

超越不平凡·2024-02-04 00:57

Kafka消息流转的挑战与对策：消息丢失与重复消费问题

消息丢失和重复消费时分布式系统重的常见问题，如果处理不好会对业务造成很大的影响。比如用户下单是通过消息队列处理的，对于用户的订单来说，消息丢失会造成用户下单丢失，影响售卖，如果重复消费，可能会生成多个订单，多卖给了用户货物，影响也很大。所以，消息丢失和重复消费问题对于保证系统健壮性和业务正确性至关重要。需要了解问题出现的原因及各种解决方案。一、消息丢失首先来确定什么地方可能会出现消息丢失的问题。生

超越不平凡·2024-02-04 00:26

kafka排除zookeeper使用kraft的最新部署方案

kafka在新版本中已经可以不使用zookeeper进行服务部署，排除zookeeper的部署方案可以节省一些服务资源，这里使用kafka_2.13-3.6.1.tgz版本进行服务部署。

腊笔不小新xingo·2024-02-03 20:03

第一章 RocketMQ 概述

1、MQ概述1、MQ简介MQ，MessageQueue，是一种提供消息队列服务的中间件，也称为消息中间件，是一套提供了消息生产、存储、消费全过程API的软件系统。消息即数据。一般消息的体量不会很大。

小七学爪哇·2024-02-03 19:39

【Springcloud篇】学习笔记七（十三章）：Stream消息驱动

第十三章_Stream消息驱动1.消息驱动Stream介绍1.1Stream为什么被引入常见MQ(消息中间件)：ActiveMQRabbitMQRocketMQKafka有没有一种新的技术诞生，让我们不再关注具体

光久li·2024-02-03 19:33

记一次Kafka消费者频繁分区再均衡bug解决

项目背景：两个Kafka消费者群组，消费同样的主题，一个消费者群组消费数据后，发给mqtt服务，供其他应用接收;另一个消费者群组消费数据后，存入mysql数据库。

敲代码的小小酥·2024-02-03 19:30

面渣自救攻略！阿里架构师耗时3个月手码的Java面试手册

（这阵容，质量就不用我多说了吧）内容非常全面，主要是结合了互联网大厂的面试需求点，包含了：分布式架构（大型网站系统的特点+架构演化发展历程+微服务）中间件技术（缓存+消息队列+搜索引擎）大数据与高并发技术

π大星的日常·2024-02-03 19:23

C++实现集群聊天服务器（一）

数据序列化1.普通数据序列化2.容器序列化技术栈Json序列化和反序列化muduo网络库开发nginx源码编译安装和环境部署nginx的tcp负载均衡器配置redis缓存服务器编程实践基于发布-订阅的服务器中间件

程序员小浩·2024-02-03 19:47

jenkins+kuboard+k8s部署应用服务

背景因为公司做的B端口项目，很多的大型的B端客户服务升级迭代都会多少有些问题，为了降低迭代风险，所以考虑对于一些重要且版本比较老旧的客户，需要在公司内部搭建一套内部测试环境，有涉及rocketmq，redis等中间件服务

lipfff·2024-02-03 16:37

【零散知识点总结2】

大部分知识点来源于该博主——骆昊知识点来源于网络，知道的可以在评论区贴上来源喔《零散知识点总结1》该文章涉及：Dubbo、HTTP和HTTPS、Mybatis、Hibernate、Zookeeper、Kafka

木林森屿城·2024-02-03 16:44

CSRF攻防

早在2018年就了解CSRF，偶然间注意到项目的VerifyCsrfToken中间件，心血来潮，于是就写了这篇文章。

小松聊PHP进阶·2024-02-03 15:18

推荐频道

中间件-kafka