中间件-kafka

redis stream结合springboot构造简单消息队列

同时，stream借鉴了kafka的消费组模型概念和设计，使消费消息处理上更加高效快速。Redis中有三种消息队列模式：名称简要说明List不支持消息确认机制（Ack），不支持消息回朔pubSub不
jsl小时光·2024-02-01 17:50

重写代码实现Flink连接Redis集群（Java版，解决Flink无法连接私有IP Redis集群问题）

1缘起团队需要使用实时数据（小时级别）给业务系统使用，数据流向是这样：实时数据-》Kafka-》Flink-》Redis（集群和哨兵），可是，Flink原生并不支持Redis连接，于是，有第三方提供连接工具
天然玩家·2024-02-01 15:04

Flink消费kafka写入hive，报错GC

报错信息Flink消费kafka写入hive，报错GC。Taskmanager内存加到16GB。不起作用。
dgbcf·2024-02-01 15:55

Flink 读取 Kafka 消息写入 Hudi 表无报错但没有写入任何记录的解决方法

本问题发生的场景是：使用KafkaConnect的DebeziumMySQLSour
　Laurence·2024-02-01 15:24

Canal快速入门

Canal是用Java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前。Canal主要支持了
渣渣苏·2024-02-01 14:39

Kafka下载安装及基本使用

目录Kafka介绍消息队列的作用消息队列的优势应用解耦异步提速削峰填谷为什么要用KafkaKafka下载安装Kafka快速上手（单机体验）1.启动zookeeper服务2.启动kafka服务3.简单收发消息
山鸟与鱼！·2024-02-01 13:15

前后端跨域问题

文章目录跨域问题的产生第一种解决方式（自定义中间件）第二种解决方式(第三方模块)跨域问题的产生同源策略（Sameoriginpolicy）是一种约定，它规定了请求的url地址,必须与浏览器上的url地址处于同域上
`越努力越幸运~·2024-02-01 13:05

Cloudera Manager开启kafka JMX监控

在ClouderaManager上创建了3节点的kafka集群服务，想要外部连接kafkaJMX监控kakfa数据，需要修改kakfa配置：-Dcom.sun.management.jmxremote.host
Troyong·2024-02-01 13:28

利用 Cloudera Manager下安装kafka

文章目录前言一、基于CDH版本选择安装1.1基于CDH版本选择安装1.2选择依赖项1.3角色分配1.4设置KafkaBroker配置1.5查看命令详请1.6安装概要1.7主页查看/启动前言本文章是是利用
914 JJ·2024-02-01 13:28

使用Cloudera Manager部署Kafka消息队列

一.下载需要安装的Kafka版本1.查看ClouderaDistributionofApacheKafka（简称CDK）版本CDK版本链接地址：https://www.cloudera.com/documentation
至尊宝l·2024-02-01 13:27

Cloudera Manager 安装 Kafka 并简单使用

Kafka简介kafka是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。
大数据AI·2024-02-01 13:25

centos7下安装ElasticSearch-解压缩版

前言：开发中难免会遇到各种中间件的安装，本文主要介绍的是ElasticSearch的安装方式，也是自己的一个总结，避免每一次都去网上寻找各种文章，既浪费时间，又拉低了效率，喜欢的可以收藏一波。
小肥宅Lee·2024-02-01 11:24

Kafka 生产者缓存

不建议使用：publicvoidproduce(Stringmessage){DmsProducerproducer=newDmsProducer();try{producer.produce("test1",0,"key",message);}finally{producer.close();}}原因：每次调用produce函数时，都会新建一个producer，每次都需要进行新建与broker连
沉默终止·2024-02-01 11:00

KAFKA鉴权设计以及相关探讨

文章目录1.kafka的鉴权设计2.kafka鉴权应用范围3.kafka鉴权的常用方法3.1SASL/GSSAPI3.2SASL/PLAIN3.2.1配置jaas3.2.2配置服务启动参数3.2.3配置
李姓门徒·2024-02-01 11:00

利用Kafka实现延迟队列实践

利用Kafka实现延迟队列实践一、RocketMq二、kafka实践三、kafka实践+四、更多一、RocketMq阿里提供的RocketMq消息中间件是天然支持消息先延迟队列功能的，主要原理和实现方法可以参加以下链接
加权不下平权·2024-02-01 11:59

Kafka如何实现延迟队列？

Kafka并没有使⽤JDK⾃带的Timer或者DelayQueue来实现延迟的功能，⽽是基于时间轮自定义了⼀个⽤于实现延迟功能的定时器（SystemTimer）。
图图是个好孩纸~·2024-02-01 11:57

Kafka延迟队列的实现方式

ApacheKafka是一个高性能、可扩展的分布式消息队列，可以作为延迟队列的基础设施。本文将介绍如何使用Kafka实现延迟队列，并提供详细的Java示例。什么是延迟队列？
一叶飘零_sweeeet·2024-02-01 11:26

kafka实现延迟队列

前言首先说一下延迟队列这个东西，实际上实现他的方法有很多，kafka实现并不是一个最好的选择，例如redis的zset可以实现，rocketmq天然的可以实现，rabbitmq也可以实现。
走，我们去吹风·2024-02-01 11:55

confluent入库hive安全认证问题

使用confluent将Kafka中的数据入库hive失败的解决方案应用场景:用户想在HD平台使用confluent开源组件将Kafka中的数据直接导入到hive中,测试环境中已经实现,但生产环境中由于平台开启了
建康_木子·2024-02-01 10:08

Node.Js项目开发-创建 Express 服务端项目

丰富的HTTP工具以及来自Connect框架的中间件随取随用，创建强健、友好的API变得快速又简单。一、框架搭建1、未安装node.js环境的需要先安装，具体安装步骤可参考https://www
dfdlife·2024-02-01 10:02

【万字长文】带你搞懂Kafka中的所有知识点

目录概述主题和分区日志消息压缩日志分段条件日志清理多副本写入流程生产者必要参数配置消息的发送流程元数据更新重要的生产者参数消费者消费者组分区分配策略协调器重平衡触发方式流程如何避免rebalance位移提交消费者offset的存储broker集群控制器事务消息保障传输幂等性事务概述ApacheKafka
1_5_2_·2024-02-01 09:46

1、应急响应-网站入侵检测&访问日志&漏洞排查&Webshell内存马查杀

用途：个人在线笔记，有所借鉴，欢迎指正前言：首要任务：获取当前WEB环境的组成架构（语言，数据库，中间件，系统等）分析思路：1、利用时间节点筛选日志行为2、利用已知对漏洞进行特征筛选3、利用后门查杀进行筛选日志行为
++⁠⁠·2024-02-01 09:08

支撑微博千亿调用的轻量级RPC框架：Motan

专注于高可用架构及服务中间件开发方向。“2013年微博RPC框架Mota
高可用架构·2024-02-01 09:26

18、Kafka ------ SpringBoot 整合 Kafka 流API（演示发送到test1主题的消息，被导流到 test2主题，通过监听器看是否导流成功）

目录SpringBoot整合Kafka流API流API的支持配置属性分析为流配置应用程序id配置流API使用@EnableKafkaStreams效果演示完整代码1、application.properties
_L_J_H_·2024-02-01 09:42

17、Kafka ------ SpringBoot 整合 Kafka 发送 和 接收消息（使用 KafkaTemplate 发送消息 和 使用 @KafkaListener 修饰监听器来接收消息）

目录SpringBoot整合Kafka发送和接收消息使用KafkaTemplate发送消息1、配置自动创建主题（代码）2、发送消息（代码）1、controller2、service3、演示1、启动应用程序
_L_J_H_·2024-02-01 09:11

RabbitMQ基础概念详细介绍

本文将要介绍的RabbitMQ就是当前最主流的消息中间件之一。RabbitMQ简介AMQP，即Ad
chuteng3602·2024-02-01 09:03

go mysql transfer_go-mysql-transfer

特性1、简单，不依赖其它组件，一键部署2、集成多种接收端，如：Redis、MongoDB、Elasticsearch、RocketMQ、Kafka、Ra
廖宝华·2024-02-01 08:40

k8s Sidecar filebeat 收集容器中的trace日志和app日志

目录一、背景二、设计三、具体实现Filebeat配置K8SSideCaryamlLogstash配置一、背景将容器中服务的trace日志和应用日志收集到KAFKA，需要注意的是trace日志和app日志需要存放在同一个
Cloud孙文波·2024-02-01 08:33

14、中间件加固

文章目录什么是中间件Apache加固防止webshell越权使用非超级用户权限禁止修改Apache主目录修改日志级别，记录格式防止访问网站目录以外的文件防止使用web直接浏览目录内容防止通过默认错误回馈泄露敏感信息合理设置会话时间
杜子腾1·2024-02-01 08:31

Redis中间件加固策略，防止数据泄露

redis功能缓存数据：Redis因其高速的存取能力，常被用来存放那些频繁访问的数据，以此来减轻数据库的负担，提升应用程序的响应速度。会话存储：Redis可以用来存储用户会话信息，如登录状态和个人设置，使得无状态的Web服务器可以通过会话ID共享用户状态。排行榜和计数器：Redis的SortedSet数据类型非常适用于排行榜应用，同时也适合实现各种计数器功能。任务队列：Redis的List数据类型
中年程序员一枚·2024-02-01 07:26

网络安全常见中间件（mysql，redis，tomcat，nginx，apache，php）安全加固

常见中间件：mysql，redis，tomcat，nginx，apache，php一.mysql数据库加固1.账号配置删除不需要的数据库账号。
网络安全小瞿·2024-02-01 07:26

在next.js的13.2.1版本中使用中间件，实现禁止特定ip访问网址所有页面

在实现实现禁止特定ip访问网址所有页面时，有两种方式，一种是针对单个页面，另一种是针对整个网站在pages/api中创建文件使用，针对单个页面,也可以应用于所有页面之前是在pages/api下创建的中间件去实现的
D浩DzD·2024-02-01 07:55

消息中间件（MQ）对比：RabbitMQ、Kafka、ActiveMQ 和 RocketMQ

前言在构建分布式系统时，选择适合的消息中间件是至关重要的决策。RabbitMQ、Kafka、ActiveMQ和RocketMQ是当前流行的消息中间件之一，它们各自具有独特的特点和适用场景。
CodeArtisanX·2024-02-01 07:07

koa静态文件处理

如何使用：这里利用koa-static中间件，就可以进行处理constKoa=require('koa')constapp=newKoa()constpath=require('path')conststatic
夏夏夏夏顿天·2024-02-01 07:10

KAFKA监控方法以及核心指标

文章目录1.监控指标采集1.1部署kafka_exporter1.2prometheus采集kafka_exporter的暴露指标1.3promethues配置告警规则或者配置grafana大盘2.核心告警指标
李姓门徒·2024-02-01 07:23

微服务16-RabbitMQ

它是应用层协议的一个开放标准，为面向消息的中间件设计，基于此协议的客户端与消息
teyruthy·2024-02-01 07:06

微服务 消息中间件RabbitMQ

微服务消息中间件RabbitMQ1.RabbitMQ环境配置2.RabbitMQ下载安装3.RabbitMQ配置可视化插件4.RabbitMQ启动验证1.RabbitMQ环境配置安装Erlang，下载地址
靖节先生·2024-02-01 07:30

【微服务学习笔记】八、RabbitMQ消息中间件

RabbitMQ消息中间件一、同步与异步通讯方式同步通讯：就像打电话，需要实时响应。异步通讯：就像发邮件，不需要马上回复。两种方式各有优劣，打电话可以立即得到响应，但是你却不能跟多个人同时通话。
Cc阿正·2024-02-01 06:56

微服务中间件 RabbitMq学习

1、为什么需要Mq例如在用户注册业务中，用户注册成功后需要发注册邮件和注册短信，传统的做法有两种1.串行的方式；2.并行的方式；假设三个业务节点分别使用50ms，串行方式使用时间150ms，并行使用时间100ms。虽然并性已经提高的处理时间，但是，前面说过邮件和短信对我正常的使用网站没有任何影响，客户端没有必要等着其发送完成才显示注册成功，应该是写入数据库后就返回。2、Mq的优缺点优点：1、应用解
夜阑卧听风吹雨，铁马冰河入梦来·2024-02-01 06:52

一文看懂SpringBoot启动流程！

每天10:33更新文章，每天掉亿点点头发...源码精品专栏原创|Java2021超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ
公众号-芋道源码·2024-02-01 06:49

芋道 Spring Boot MyBatis 入门

源码精品专栏原创|Java2019超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
公众号-芋道源码·2024-02-01 06:19

芋道 Spring Boot 消除冗余代码 Lombok 入门

源码精品专栏原创|Java2020超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
公众号-芋道源码·2024-02-01 06:19

芋道 Spring Boot 数据库版本管理入门

源码精品专栏原创|Java2020超神之路，很肝~中文详细注释的开源项目RPC框架Dubbo源码解析网络应用框架Netty源码解析消息中间件RocketMQ源码解析数据库中间件Sharding-JDBC
公众号-芋道源码·2024-02-01 06:19

Redis是什么

可以用作数据库、缓存、消息中间件等。我顿了一下，接着说：Redis作为一个内存数据库。性能优秀，数据在内存中，读写速度非常快，支持并发10W+QPS；单进程单线程，是线程安全的，采用IO
道乾坤·2024-02-01 06:08

RabbitMQ实战指南（二）—— 基本概念

RabbitMQ实战指南（二）——基本概念RabbitMQ是一个开源的消息中间件，用于在应用程序之间进行可靠的消息传递。它遵循AMQP（高级消息队列协议）标准，支持多种编程语言和平台。
我的头发哪去了·2024-02-01 04:58

C#调用RabbitMQ实现消息队列

KibaRabbitMQSendKibaRabbitMQReceived服务器端应用安装Erlang环境安装RabbitMQ添加用户和权限RabbitMQ的简单指令参考文献前言前几天在做日志收集，用到了RabbitMQ，它作为一种中间件
安替-AnTi·2024-02-01 00:18

新手入门Web安全的学习路线

学习Web安全需要掌握Web安全相关概念、渗透测试相关工具、渗透实战操作、熟悉Windows/KaliLinux、中间件和服务器的安全配置、脚本编程学习、源码审计与漏洞分析、安全体系设计与开发等等。
中年猿人·2024-01-31 23:35

32个Java面试必考点-09(上)消息队列Kafka架构与原理

本课时主要讲解消息队列与数据库相关的知识，重点讲解三部分知识点：1.Kafka的架构与消息交互流程；2.数据库事务的4大特性和分类；3.MySQL相关的内容，比如索引、MySQL调优等。
机智阳·2024-01-31 21:38

为什么你的创业公司应该运行在Kubernetes上

有些公司仅仅使用scp部署简单的PHP应用程序，就能让公司走的很远，而有些公司的架构达到极限，不得不使用诸如Redis或者Kafka这样的基础组件作为内部通信，从而将系统拆分为不同的服务。
云原生学院·2024-01-31 21:23

猜数字游戏java课程设计报告

拼多多三面惨败，java中间件、数据库与spring框架，答不上…面试开火箭，工作拧螺丝…月初有个朋友面试拼多多，一面自信满满过了，结果三面却惨败…昨天朋友约我出来讨论问题在哪里，三面就答不上了（卡壳很严重呐
面试题合集·2024-01-31 20:03
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他