分布式消息系统kafka

kafka常用命令

1，启动zookeeper服务：zookeeper-server-start.sh-daemonzoo.cfg2，启动kafka服务：kafka-server-start.sh-daemonserver.properties3
scottzcw·2024-01-15 03:55

【中间件】消息中间件之Kafka

一、概念介绍ApacheKafka是一个分布式流处理平台，用于构建实时数据管道和流应用。它可以处理网站、应用或其他来源产生的大量数据流，并能实时地将这些数据流传输到另一个系统或应用中进行处理。
孤之鹜·2024-01-15 01:06

分布式引擎Elasticsearch本地部署并结合内网穿透远程访问

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-14 22:37

ELK日志分析系统之（Filebeat 收集Nginx日志并写入 Kafka 缓存发送至Elasticsearch）

场景：与redis作为缓存服务器相比，虽然利用redis可以实现elasticsearch缓存功能,减轻elasticsearch的压力,但不支持的redis集群，存在单点问题，故利用kafka代替redis
zhl52306·2024-01-14 19:56

ELK——ELK+filebeat+kafka部署——（2）部署nginx+filebeat

部署nginx+filebeat我们在虚拟机上部署nginx服务器，然后安装filebeat，使用filebeat收集nginx日志文件，把收集到的日志发送给logstash，让logstash过滤日志，把过滤完的日志保存到elasticsearch，然后通过kibana展示出来。安装nginx安装nginx安装nginx依赖包:[root@filebeat01~]#yuminstall-ygcc
未来的运维大牛·2024-01-14 19:21

kafka为什么快

消息发送1、批量发送:Kafka通过将多个消息打包成一个批次，减少了网络传输和磁盘写入的次数，从而提高了消息的吞吐量和传输效率。
小甄笔记·2024-01-14 18:46

docker-compose部署kafka、SASL模式(密码校验模式)

一.基础kafka部署zookeeper，kafka，kafka-uidocker-compose.yml注意点：192.168.1.20是宿主机的ipversion:"3"services:zookeeper
xixiyuguang·2024-01-14 16:02

SpringBoot升级到2.7.18后不兼容的地方

背景最近为了给kafka加性能指标采集功能，调研后发现spring-kafka在2.3版本之后就自带了Micrometer指标采集功能。
李昂的数字之旅·2024-01-14 15:06

kafka入门(七)：kafka实现高吞吐量

kafka高吞吐量顺序写入磁盘Kafka使用磁盘来存储和缓存消息。Kafka只能在日志文件的尾部追加新的消息，也就是顺序写入磁盘。顺序写入磁盘，让Kafka能实现更高的吞吐量。
乐之者v·2024-01-14 14:15

【MySQL系列】Too many connections

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-14 13:51

Kafka的安装、管理和配置

Kafka的安装、管理和配置1.Kafka安装官网:https://kafka.apache.org/downloads下载安装包,我这里下载的是https://archive.apache.org/dist
llp1110·2024-01-14 08:02

kafka之java客户端实战

1.kafka的客户端Kafka提供了两套客户端API，HighLevelAPI和LowLevelAPI。
瑜伽娃娃·2024-01-14 08:28

解密 ElK 系统引领大中企业微服务日志数据收集和各个组件协同配置一次性说明

小企业不是很不推荐要启动这么多不加idea效果图公司服务器性能非常好并且公司服务器节点比较多且不差钱的情况下：可以推荐使用需要那些组件zookeeperkafka启动需要zookeeperkafka消息中间件
SteveCode.·2024-01-14 08:53

物理机部署三节点Kafka集群

一、部署Kafka集群官方下载地址：http://kafka.apache.org/downloads.html上传安装包到102的/opt/software目录下解压安装包到/opt/module/目录下
DIY……·2024-01-14 07:43

物流实时数仓ODS层——Mysql到Kafka

目录1.采集流程2.项目架构3.resources目录下的log4j.properties文件4.依赖5.ODS层——OdsApp6.环境入口类——CreateEnvUtil7.kafka工具类——KafkaUtil8
雷神乐乐·2024-01-14 06:01

记录@EnableKafka和@KafkaListener注解

记录@EnableKafka和@KafkaListener注解第一步、启动zookeeperserver和kafkaserver启动zookeeperserver：bin/zookeeper-server-start.shconfig
Joe world·2024-01-14 06:56

Kafka详解

KAFKA1、消息队列（了解）1-1消息队列介绍英文名：MessageQueue，经常缩写为MQ。
中长跑路上crush·2024-01-14 04:56

Kafka基本介绍

消息队列产生背景消息队列：指的数据在一个容器中，从容器中一端传递到另一端的过程消息(message):指的是数据，只不过这个数据存在一定流动状态队列(queue):指的容器，可以存储数据，只不过这个容器具备FIFO(先进先出)特性公共容器需要具备什么特点?1-公共性:各个程序都可以与之对接2-FIFO特性:先进先出3-具备高效的并发能力:能够承载海量数据4-具备一定的容错能力:比如支持重新读取消息
小希 fighting·2024-01-14 04:01

Kafka的核心原理

Topic的分区和副本机制分区有什么用呢?作用：1-避免单台服务器容量的限制:每台服务器的磁盘存储空间是有上限。Topic分成多个Partition分区，可以避免单个Partition的数据大小过大，导致服务器无法存储。利用多台服务器的存储能力，提升Topic的数据存储条数。2-提升Topic的吞吐量(数据读写速度):利用多台服务器的数据读写能力、网络等资源分区的数量有没有限制？没有限制，分区数量
小希 fighting·2024-01-14 04:00

Zookeeper与Kafka基础概念和原理

1、zookeeper概念介绍在介绍ZooKeeper之前，先来介绍一下分布式协调技术，所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种共享资源，防止造成资源竞争（脑裂）的后果。这里首先介绍下什么是分布式系统，所谓分布式系统就是在不同地域分布的多个服务器，共同组成的一个应用系统来为用户提供服务，在分布式系统中最重要的是进程的调度，这里假设有一个分布在三个
weixin_34198797·2024-01-14 02:18

Logstash：迁移数据到 Elasticsearch

在生产环境中，不使用ApacheKafka等流平台进行数据迁移并不是一个好的做法。在这篇文章中，我们将详细探讨ApacheKafka和Logstash的关系。
Elastic 中国社区官方博客·2024-01-14 01:43

【算法Hot100系列】在排序数组中查找元素的第一个和最后一个位置

推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术点,如集合,jvm,并发编程redis,kafka,Spring,微服务,Netty等常用开发工具系列
檀越剑指大厂·2024-01-14 01:06

大数据实时抓取软件：Maxwell学习网站的高效框架！

进一步地，Maxwell将这些消息作为生产者发送给Kafka、Kinesis、RabbitMQ、Redis、GoogleCloudPub/Sub、文件或其他平台的应用程序。
知识分享小能手·2024-01-14 01:32

Redis异步写失败后补数逻辑设计

就涉及到了如何进行补数的操作，本文就是来记录下如何补数Redis补数设计首先可以补数的前提肯定需要记录写异地机房失败的redis命令，所以当客户端在写异地机房失败时，我们需要先把失败的redis命令写到kafka
lixia0417mul2·2024-01-14 01:29

2024.1.13 Kafka六大机制和Structured Streaming

目录一.Kafka中生产者数据分发策略二.Kafka消费者的负载均衡机制三.数据不丢失机制生产者端是如何保证数据不丢失的呢？
白白的wj·2024-01-13 18:37

kafka基本使用及结合Java使用

一、Kafka介绍Kafka是一个分布式、支持分区、多副本的消息系统，最大特点是实时处理大量数据以满足各种需求场景。它可以用于日志收集、消息系统、用户活动跟踪、运营指标等。
嘚嘚嘚嘚嘚嘚哒·2024-01-13 18:02

Kafka 消息压缩与解压缩

在Kafka中，压缩也是用来做这件事的。怎么压缩？Kafka是如何压缩消息的呢？要弄清楚这个问题，就要从Kafka的消息格式说起了。目前Kafka共有两大类消息格式，社区分别称之为V1版本和V2版本。
taj3991·2024-01-13 18:52

Kafka面试题！掌握它才说明你真正懂Kafka（附答案）

1、请说明什么是ApacheKafka?ApacheKafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和可复制的提交日志服务。2、说说Kafka的使用场景？
码农小胖·2024-01-13 15:15

Kafka中的max-poll-records和listener.concurrency配置

1、max-poll-records是什么max-poll-records是Kafkaconsumer的一个配置参数，表示consumer一次从Kafkabroker中拉取的最大消息数目，默认值为500
y_bccl27·2024-01-13 14:33

【kafka】为什么要学习Kafka？

KAFKA官方文档入门指南http://ifeve.com/kafka-1为什么要学习Kafka？
Bogon·2024-01-13 14:53

docker上启动kafka

在docker上启动kafka,是因为最近我们开发的程序需要部署到k8s，在k8s上连接kafka，连接失败，因此我先搭建个环境，以供后续还原问题，解决问题。
YUE_SUNSHINE·2024-01-13 13:34

Flume命令

它将数据从各种源（例如日志文件、消息队列、网络流等）采集到目标位置（例如Hadoop、HBase、Kafka等）。
思旭�·2024-01-13 13:02

kafka常用命令

一、KAFKA启停命令1.前台启动kafka前台启动命令：bin/kafka-server-start.shconfig/server.properties2.后台启动kafka后台启动命令：后台常驻方式
思旭�·2024-01-13 13:02

修复zookeeper未授权访问漏洞

在用kafka_2.13-3.3.1集成的zookeeper时，发现存在未授权访问漏洞，以下是解决授权问题的方法。
哎！健身程序员·2024-01-13 11:32

Flink Sink Mysql 简单实现

组件版本scala2.12netcat*kafka*flink1.13.3解析创建环境、输入流，从socket获取输入数据valenv=StreamExecutionEnvironment.getExecutionEnvironmentvalinput
这都不是事er·2024-01-13 10:07

Flink 实现Mysql的数据同步 Mysql Sink Mysql

FlinkSinkMysql简单实现环境需求解析完整代码源码下载附：flink-cdc环境组件版本scala2.12netcat*kafka*mysql*flink1.13.3需求监听mysql某个表的动态
这都不是事er·2024-01-13 10:07

Linux安装Rdkafka PHP 扩展(Kafka使用教程)

就ok2、接下来，你需要安装librdkafkaC库。你可以通过以下命令来安装：sudoyuminstalllibrdkafka-dev
雾里看花_·2024-01-13 10:57

如何配置Kafka账号密码

背景我们需要与第三方系统进行数据同步，需要搭建公网Kafka，Kafka默认是没有用户密码校验的，所以我们需要配置用户名密码校验。
tao_shen_1108·2024-01-13 09:32

Flink集成Hive之Hive Catalog

流程流程:Flink消费Kafka,逻辑处理后将实时流转换为表视图,利用HiveCataLog创建Hive表,将实时流表insert进Hive,注意分区时间字段需要为yyyy-MM-dd形式,否则抛出异常
实时即未来·2024-01-13 09:44

SpringBoot 集成 Kafka 高级实现

1、简介之前博客中记录了直接使用Kafka客户端实现生产者和消费者之间的交互，这种方式通过设置各种参数编码繁琐，因此通过SpringBoot集成Kafka成为一种常用的实现，下面就详细介绍SpringBoot
知其_所以然·2024-01-13 08:32

【kafka】记录用-----------1

主题（topic）：消息的第一次分类根据人为的划分条件将消息分成不同的主题主题的划分是人为的根据不同的任务情景去划分比如，我们有两个主题，一个是"订单"，另一个是"库存"。每个主题代表一个消息流。主题的名称作为主题的为一标识符，我们需要保证其唯一性分区（partition）：消息的第二次分类区域化同主题中的消息：分区管理同主题的消息不同主题下分区标识可以相同每个分区都有一个唯一的标识分区偏移（pa
烂尾主教·2024-01-13 08:28

如何在 Ubuntu 20.04 上安装 Apache Kafka

如何在Ubuntu20.04上安装ApacheKafka介绍ApacheKafka是一种分布式消息代理，旨在处理大量实时数据。Kafka集群具有高度可扩展性和容错性。
timi先生·2024-01-13 08:28

动态启停kafka消费者

Kafka中如何动态开启、关闭消费者使用背景：在开发业务中需要根据具体逻辑选择开启还是关闭消费者实现逻辑：1、创建consumer配置类，自定义工厂、自定义消费者配置（省略）还需要注入consumerServicebean
奔跑的小蜗牛哈哈·2024-01-13 08:58

@KafkaListener的配置使用

@KafkaListener注解来自spring-kafka包。
Pluto_CSND·2024-01-13 08:25

@KafkaListener指定kafka集群

基于@KafkaListener注解的kafka监听代码可以手动指定要消费的kafka集群，这对于需要访问多套kafka集群的程序来说，是有效的解决方案。
Pluto_CSND·2024-01-13 08:25

基于kafka_exporter&prometheus&grafana的kafka监控实现

一、安装配置kafka_exporter下载kafka_exporterwgethttp://*.*.*.45:10000/prometheus/kafka_exporter-1.4.2.linux-amd64
Pluto_CSND·2024-01-13 08:25

Nacos 的配置文件标识 Data Id

《bootstrap.yml》spring:application:name:pfme-kafka-transpond2yzprofiles:active:devcloud:nacos:config:namespace
Pluto_CSND·2024-01-13 08:55

MySQL同步数据ElasticSearch技术方案优缺点

ID自增导入基于时间戳递增导入支持新增同步操作，部分支持更新操作数据量大，会有性能问题不支持同步删除操作canal基于binlog实现支持增、删、改实时同步阿里巴巴开源，支持6.X+版本不支持全量同步kafka_connector
博享未来·2024-01-13 08:24

关于@KafkaListener动态订阅消费topic的调研

@KafkaListener注解监听和消费kafka的代码通常如下：@KafkaListener(topics="#{'${topics}'.split(',')}")publicvoidonMessage
Pluto_CSND·2024-01-13 08:52

【MQTT】使用MQTT在Spring Boot项目中实现异步消息通信

项目中实现异步消息通信步骤1：引入MQTT库依赖步骤2：配置MQTT连接信息步骤3：创建MQTT配置类步骤4：发送MQTT消息发布MQTT消息消费MQTT消息总结前置文章：（一）MQTT协议与指令下发；MQTT与Kafka
嘚嘚嘚嘚嘚嘚哒·2024-01-13 07:03
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他