中间件-kafka

go数据操作-Kafka

1.下载及安装gogetgithub.com/Shopify/sarama注意事项:saramav1.20之后的版本加入了zstd压缩算法，需要用到cgo，在Windows平台编译时会提示类似如下错误：github.com/DataDog/zstdexec:"gcc":executablefilenotfoundin%PATH%所以在Windows平台请使用v1.19版本的sarama。(如果不会
leellun·2024-02-02 12:59

kafka

在做平台项目的时候，需要使用kafka去做消息队列去向下位机传送指令来操作下位机。
毛毛的毛毛·2024-02-02 12:27

Flink 流式读取 Debezium CDC 数据写入 Hudi 表无法处理 -D / Delete 消息

问题场景是：使用KafkaConnect的DebeziumMySQLSourceConnector将MySQL的CDC数据（Avro格式）接入到Kafka之后，通过Flink读取并解析这些CDC数据，然后以流式方式写入到
　Laurence·2024-02-02 12:56

【Kafka】 存储机制

文件具体结构偏移量索引文件结构时间戳索引文件结构消息日志文件结构查找message过程使用偏移量索引文件使用时间戳索引文件相关配置日志清除及压缩日志清理基于时间基于日志大小基于偏移量日志压缩概述日志压缩实现细节磁盘数据存储顺序写零拷贝页缓存总结日志存储结构总体结构Kafka
Ethan-running·2024-02-02 12:56

laravel 使用post请求 CSRF token mismatch.

如果你希望设置一组不需要的CSRF保护的URL，可以通过将这类URL添加到VerifyCsrfToken中间件的$except属性来排除对这类路由的CSRF保护，如下所示：在app\Http\Middleware
肥茹·2024-02-02 12:45

Golang+etcd的分布式锁

新一代的后台服务中间件都用Go语言写了（上一代的才是Java），比如etcd，那么基于etcd写一个分布式，还是很实用的，废话不多说，先看代码：packagedistribution_lockerimport
互联网速递520·2024-02-02 12:11

如何提交一个好的bug？提交时需要关注那些要素 ？这里给出你答案

bug是测试人员和开发人员沟通的'中间件'，作为修改者来说，当然希望看到的bug能通俗易懂，降低他对bug的理解难度。
雨滴测试·2024-02-02 11:36

使用docker部署Kafka(MAC Apple M2 Pro)

前置准备下载适用于AppleM2Pro的Zookeeper和KafkaDocker镜像dockerpullzookeeper:3.6dockerpullcppla/kafka-docker:arm下载成功后确认镜像无误
刘静咩·2024-02-02 10:47

Redis key命名规范

Rediskey命名规范前言Redis中间件在项目开发中是非常常见的组件，在项目中，经常对Rediskey命名比较头疼。本文就分享一下Rediskey命名的规范，提高设计规范。
大伟攀高峰·2024-02-02 10:18

spark题06

1.kafka收集数据的原理？2.讲讲列式存储的parquet文件底层格式？3.dataset和dataframe？4scala中trait特征和用法？5.redis和memcache的区别？
博弈史密斯·2024-02-02 09:59

字节跳动新一代云原生消息队列实践

作者：火山引擎云原生计算研发工程师｜雷丽媛上文我们了解了在字节跳动内部业务快速增长的推动下，经典消息队列Kafka的劣势开始逐渐暴露，在弹性、规模、成本及运维方面都无法满足业务需求。
字节跳动云原生计算·2024-02-02 09:53

Kafka 入门

一、定义Kafka是一个分布式的基于发布/订阅模式的消息队列（messageQueue），主要用于大数据实时处理领域。
永恒的狼牙·2024-02-02 08:13

超详细的Kafka入门，看这篇就够了

超详细的Kafka入门，看这篇就够了kafka的介绍kafka的术语kafka核心Apikafka初の体验1.windows安装kafka2.KafkaProducer与KafkaConsumer配置说明
〆、风神·2024-02-02 08:11

Kafka入门

Kafka入门1.Kafka概述2.Kafka快速入门1.Kafka概述定义Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。
Kevin_琪琪·2024-02-02 08:39

kafka入门

生产者发送消息，多个消费者只能有一个消费者接收到消息生产者发送消息，多个消费者都可以接收到消息（1）创建kafka-demo项目，导入依赖org.apache.kafkakafka-clients3.4.0
养一只摆烂猫.·2024-02-02 08:38

Django中间件的自定义

#Django中函数中间件#中间件定义好之后,在setting中配置中间件的列表中进行配置其路径即可defsimple_middleware(get_response):defmiddleware(request
qq_43022682·2024-02-02 08:51

Django Middleware 中间件

DjangoMiddleware中间件中间件字符串导入方式settins.py->MIDDLEWARE中间件的放置位置用户请求时，最先是从中间件，全部按顺序执行中间件又有两种，接收和返回的接收请求的中间件
diaoqin7781·2024-02-02 08:49

Backend - Django Middleware 中间件

1）修改请求request（2）修改响应response2.配置3.延伸-钩子(hooks)框架（二）执行顺序1.request、view、response之间2.多个middleware之间二、常见中间件
盛开的小苔花·2024-02-02 08:47

异步解耦之RabbitMQ(二)__RabbitMQ架构及交换机

异步解耦之RabbitMQ(一)RabbitMQ架构RabbitMQ是一个基于AMQP（AdvancedMessageQueuingProtocol）协议的消息代理中间件，它通过交换机和队列实现消息的路由和分发
Ascend1797·2024-02-02 08:03

Spring Boot 整合 Redis 使用教程

Redis是使用C语言开发的一个高性能键值对数据库，是互联网技术领域使用最为广泛的存储中间件，它是「RemoteDictionaryService」的首字母缩写，也就是「远程字典服务」。
哗哗的世界·2024-02-02 07:27

消息队列和Kafka

1.消息队列：将需要发送的数据存放在队列中2.消息队列中间件：存储消息的组件（软件），如Kafka、RabbitMQ、ActiveMQ、RocketMQ、ZeroMQ3.Kafka应用场景：异步处理系统解耦流量削峰
一路向北看星晴·2024-02-02 07:47

Django视图

一、返回错误响应返回错误的3种方式：中间件设置的属性：Django的contrib应用程序中包含的一些中间件在请求中设置了属性。
菜鸟之编程·2024-02-02 06:25

Flink 实时写入数据到 ElasticSearch 性能调优

背景说明线上业务反应使用Flink消费上游kafkatopic里的轨迹数据出现backpressure，数据积压严重。单次bulk的写入量为：3000/50mb/30s，并行度为48。
zhisheng_blog·2024-02-02 06:45

JAVA操作Rabbitmq-原理讲的很详细

常见的消息队列很多，主要包括RabbitMQ、Kafka、RocketMQ和ActiveMQ，相关的选型可以看我之前的系列，这篇文章只讲RabbitMQ，先讲原理，后搞实战。
hjc_042043·2024-02-02 06:41

消息队列的应用场景

消息队列的应用场景消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题实现高性能，高可用，可伸缩和最终一致性架构使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ
hjc_042043·2024-02-02 06:10

消息模型与生成pdf

今日内容消息中间件RabbitMQ五种消息模型SpringAMQP生产pdfJaspersoftStudio第一章消息中间件(面试)消息队列中间件是分布式系统中重要的组件，主要解决异步消息，应用解耦，流量削峰等问题
Mr.YHL·2024-02-02 06:20

消息中间件特性

一：消息队列的主要作用是什么？1.消息队列的特性：业务无关，一个具有普适性质的消息队列组件不需要考虑上层的业务模型，只做好消息的分发就可以了，上层业务的不同模块反而需要依赖消息队列所定义的规范进行通信。FIFO，先投递先到达的保证是一个消息队列和一个buffer的本质区别。容灾，对于普适的消息队列组件来说，节点的动态增删和消息的持久化，都是支持其容灾能力的重要基本特性。性能，这个不必多说了，消息队
xmh-sxh-1314·2024-02-02 05:00

koa洋葱模型

前几天面试node，面试官问了koa的中间件是如何实现的，我一想，卧槽，这特么不是我很熟悉的么，然后就哇啦啦啦的一顿操作，自己说的云里雾里，说到最后感觉说的怎么和自己想的不一样呢。结果就是比较惨了。
书生逛酒家·2024-02-02 05:00

怎样才是优秀的程序员？

linux、mysql、redis、kafka、netty.学习系统性地学习，而不止于碎片知识。善于向优秀的人学习~每解决一个问题，就多进步一点点。知其然，还知其所以然。看书，看官方文档，阅读源码。
乐之者v·2024-02-02 03:06

nodejs写接口实现图片上传回显(三)

1.过程简介(1)页面用formData上传图片文件(2)接口配置multer中间件,解析存储图片文件(3)接口返回图片地址,回显2.代码2.1前端文件上传//结构上传//js//图片上传imgSend
Summer_Uncle·2024-02-02 02:53

替代ELK：ClickHouse+Kafka+FlieBeat，才是最佳选择？

背景SaaS服务未来会面临数据安全、合规等问题。公司的业务需要沉淀一套私有化部署能力，帮助业务提升行业竞争力。为了完善平台系统能力、我们需要沉淀一套数据体系帮助运营分析活动效果、提升运营能力。然而在实际的开发过程中，如果直接部署一套大数据体系，对于使用者来说将是一笔比较大的服务器开销。为此我们选用折中方案完善数据分析能力。EasticsearchvsClickhouseClickHouse是一款高
LinkSLA·2024-02-02 01:44

服务攻防-端口协议&桌面应用&QQ&WPS等RCE&hydra口令猜解&未授权检测

知识点：1、端口协议-弱口令&未授权&攻击方式等2、桌面应用-社交类&文档类&工具类等章节点：1、目标判断-端口扫描&组合判断&信息来源2、安全问题-配置不当&CVE漏洞&弱口令爆破3、复现对象-数据库&中间件
SuperherRo·2024-02-02 01:40

配置mycat中间件使用 Navicat连接时 报错There is no primary key here. Update will only use exact matching of the o

配置mycat中间件使用Navicat连接时报错Thereisnoprimarykeyhere.Updatewillonlyuseexactmatchingoftheoldvaluesofthecolumnshere.Thus
李初新·2024-02-02 01:56

消息中间件之RocketMQ源码分析(三)

RocketMQ中的Consumer启动流程RocketMQ客户端中有两个独立的消费者实现类分别为DefaultMQPullConsumer和DefaultMQPushConsumer，DefaultMQPullConsumerDefaultMQPullConsumer,该消费者使用时需要用户主动从Broker中Pull消息和消费消息，提交消费位点继承关系图核心属性namesrvAddr:继承自C
coffee_babe·2024-02-02 01:55

消息中间件之RocketMQ源码分析(四)

消费者的Rebalance机制客户端是通过Rebalance服务做到高可靠的。当发生Broker掉线、消费者实例掉线、Topic扩容等各种突发情况时，消费者组中的消费者实例是怎么重平衡的，以支持全部队列的正常消费的?Rebalance服务的类图RebalanceImpl的核心属性ConcurrentMapprocessQueueTable:记录MessageQueue和ProcessQueue的关
coffee_babe·2024-02-02 01:55

Django WSGI application ‘****.wsgi.application‘ could not be loaded； Error importing module.

解决方法先看自己写的中间件文件引入MiddlewareMi
eclipse_ali·2024-02-02 01:10

RabbitMQ（007 消息可靠性part2）

动力节点RabbitMQ教程|12小时学会rabbitmq消息中间件总时长12:20:00共65P此文章包含第45p-第p57的内容备用交换机交换机参数只有一个alternateexchange队列参数有很多如下
wang_book·2024-02-02 00:46

RabbitMQ（005 延迟队列）

动力节点RabbitMQ教程|12小时学会rabbitmq消息中间件总时长12:20:00共65P此文章包含第31p-第p37的内容延迟队列实现定时任务方式（不推荐）被动取消只有查询的时候才会进行修改状态
wang_book·2024-02-02 00:46

RabbitMQ（008 集群）

动力节点RabbitMQ教程|12小时学会rabbitmq消息中间件总时长12:20:00共65P此文章包含第58p-第p65的内容集群介绍数据库的元数据:字段名称类型长度小数点这些消息队列的元数据:交换机名称队列名称绑定
wang_book·2024-02-02 00:46

RabbitMQ（004 过期时间以及死信）

动力节点RabbitMQ教程|12小时学会rabbitmq消息中间件总时长12:20:00共65P此文章包含第21p-第p30的内容TTL过期时间-1代表永不过期无人接收并且过期的消息被称为：死信整个队列都设置过期时间如果队列和单独消息都设置过期时间了哪个时间短用哪个死信队列例子
wang_book·2024-02-02 00:16

RabbitMQ（006 消息可靠性part1）

动力节点RabbitMQ教程|12小时学会rabbitmq消息中间件总时长12:20:00共65P此文章包含第38p-第p44的内容消息可靠性confirm（保证消息到交换机的安全性）外部类写法函数式接口长这样第一步
wang_book·2024-02-02 00:16

Redis常见问题

引发击穿的原因：第一次访问恶意访问不存在的keyKey过期合理的规避方案：服务器启动时,提前写入规范key的命名,通过中间件拦截对某些高频访问的Key，设置合理的TTL或永不过期雪崩概念：Redis缓存层由于某种原因宕机后
冰冰很社恐·2024-02-02 00:07

cookie-parser项目源码阅读

cookie-parser相信使用过Express的人肯定使用过，cookie-parser是一个Express解析cookie的中间件，其中关于signedcookie的疑问可以在Whatare“signed
忽如寄·2024-02-01 23:47

华为云容器和微服务是什么？

华为云全栈容器与微服务，业务创新快人一步敏捷、高效、智能是Cloud2.0时代企业数字化转型核心诉求，华为云全栈容器和微服务全面拥抱云原生，提供全栈云原生应用开发与管理，包括容器、微服务框架、云中间件、
舒意从生·2024-02-01 23:02

京东技术负责人纯手写：小团队构建大网站中小研发团队架构实战

本书共5篇22章，开篇是本书的导读;架构篇是设计思想的提升，包括企业总体架构、应用架构设计、统--应用分层等;框架篇主讲中间件和工具的使用，包括消息队列、缓存、Job、集中式日志、应用监控和微服务等:公共应用篇是技术与业务的结合
Java爱好者·2024-02-01 23:07

ffmpeg图片+音频合成视频

t100d:/img/output.mp4-framerate速率，越小每张图片停留时间越长-loop循环一遍文件夹内的图片-i图片路径，正则匹配-i音频地址-y覆盖已有生成文件-s画质-r帧数-t总时长中间件
山塘小鱼儿·2024-02-01 22:54

Redis 5.0 Streams类型简介

它支持ConsumerGroup，熟悉Kafka或者RocketMQ等分布式消息队列的应该知道这个概念，通过将多个客户端加入同一个ConsumerGroup，可以实现多个客户端相互配合，每个消
空挡·2024-02-01 21:34

计算机毕业设计之ssm电影售票系统 电影院管理系统 电影购票系统 电影选座系统

介绍适合电影类计算机毕业设计课题开发技术:springmvc+spring+mybatis(ssm)框架mysql数据库支付宝沙箱支付layUI百度echarts图表redis缓存中间件特色：支付、可视化
计算机毕业设计大神·2024-02-01 21:14

阿里云中间件开源往事

分布式架构和云原生重塑了中间件的游戏规则，这给国内开发者提供了重新定义中间件的历史机遇。
阿里巴巴中间件·2024-02-01 19:30

Kafka运维相关知识

目录一、基本概念二、技术特性三、设计思想四、运维建议一、基本概念Apachekafka是一个分布式的基于push-subscribe的消息系统，它具备快速、可扩展、可持久化的特点。
全脂主妇·2024-02-01 17:31
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他