Kafka原理解析

Flink读取Kafka数据写入Hive

前言本文针对数据库CDC(changedatacapture)场景设计，探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性，下面为本地IDEA程序案例可供参考。一、整体思路数据库CDC(changedatacapture)是实时捕获数据库中的变化数据，经过处理之后（也可能无需处理），将其更新到目标端的一种技术。为实现实时捕获，本文引入Debezium作为数据库connector，
麻辣GIS·2023-10-16 05:24

Flink-SQL upset-Kafka自定义分区器

需求来源由于生产业务数据比较大，为了提升吞吐量，所以为kafka建立多分区。但随之带来的问题是：某些数据存在时序问题，需要保证数据有序消费。
码农-V·2023-10-16 05:22

【Flink】Flink kafka producer 分区策略 (flink写入数据不均匀 与 数据写入 分区无数据 )

文章目录1.概述2.FlinkFixedPartitioner3.Tuple2FlinkPartitioner4.FlinkKafkaDelegatePartitioner4.1DefaultPartitioner5
九师兄·2023-10-16 05:22

【Flink读写外部系统】Flink自定义kafka分区并输出

目录1kafka中的消息写入与自定义分区器2Flink的分区数定义多少个合适?
Recall-MK·2023-10-16 05:22

Flink 1.11.1 FlinkKafkaProducer写入topic0分区问题记录

Flink1.11.1FlinkKafkaProducer写入topic0分区问题记录问题记录：问题记录：flink版本：1.11.1使用FlinkKafkaProducer往下游发送数据，代码如下：Propertiesprops
HugeBitter·2023-10-16 05:51

Flink1.11 只写到kafka的第一个分区

Flink1.11.1采用以下代码出现Flink写到kafka第一个分区的现象：speStream.addSink(newFlinkKafkaProducer(kafkaTopicName,newKafkaProducerSchema
lele_pipi·2023-10-16 05:51

Flink如何基于事件时间消费分区数比算子并行度大的kafka主题

背景使用flink消费kafka的主题的情况我们经常遇到，通常我们都是不需要感知数据源算子的并行度和kafka主题的并行度之间的关系的，但是其实在kafka的主题分区数大于数据源算子的并行度时，是有一些注意事项的
lixia0417mul2·2023-10-16 05:51

Flink的基于两阶段提交协议的事务数据汇实现

背景在flink中可以通过使用事务性数据汇实现精准一次的保证，本文基于Kakfa的事务处理来看一下在Flink内部如何实现基于两阶段提交协议的事务性数据汇.flinkkafka事务性数据汇的实现1。
lixia0417mul2·2023-10-16 05:51

从Flink的Kafka消费者看算子联合列表状态的使用

背景算子的联合列表状态是平时使用的比较少的一种状态，本文通过kafka的消费者实现来看一下怎么使用算子列表联合状态算子联合列表状态首先我们看一下算子联合列表状态的在进行故障恢复或者从某个保存点进行扩缩容启动应用时状态的恢复情况算子联合列表状态主要由这两个方法处理
lixia0417mul2·2023-10-16 05:51

Flink Kafka数据源读取分析

FlinkTableApi中kafka连接器，一个Kafkasource表对应一个kafkatopic，一个kafkatopic一般有多个partition；Flink流处理作业的并行度一般大于1，一个
conch_china·2023-10-16 05:20

Flink kafka 数据汇不指定分区器导致的问题

背景在flink中，我们经常使用kafka作为flink的数据汇，也就是目标数据的存储地，然而当我们使用FlinkKafkaProducer作为数据汇连接器时，我们需要注意一些注意事项，本文就来记录一下使用
lixia0417mul2·2023-10-16 05:18

kafka 相关概念

1kafka生产者kafka用push的方式把消息推送到topic每个topic下可以有多个分区，可以用hash也可以用轮询的方式指定分区每个分区内部是可以保证顺序的，但是整体无法保证顺序，除非设置成一个
狼与自由·2023-10-16 05:08

Kafka配额及多线程优先级的一点想法

Kafka配额从0.9开始，Kafka集群能够对生产和消费设置配额。为每个客户端分组设置配额阈值（基于字节比率）。Kafka集群有能力对请求进行配额来控制客户端使用的broker资源。
552163671414·2023-10-16 04:29

kafka调优参数设置

下面将以Kafka集群设计的各方面参数进行说明：broker端口参数topic级别参数GC配置参数JVM参数OS参数broker端参数Kafka目前尚不支持动态参数修改，也就是说，如果修改了参数，需要重新启动对应
星辰fml·2023-10-16 02:45

Spring源码学习（一）--Spring底层核心原理解析

目录Spring中是如何创建一个对象？Bean的创建过程推断构造方法AOP大致流程Spring事务最近在跟视频学习spring源码，将每节课记录下来，以后好来复习。首先把Spring中核心知识点都给大家进行串讲，对Spring的底层有了一个整体的大致了解，比如：Bean的生命周期底层原理依赖注入底层原理初始化底层原理推断构造方法底层原理AOP底层原理Spring事务底层原理但都只是大致流程，后续会
从头再来_f·2023-10-16 02:08

大数据之kafka

消息存储对于每一款消息队列都非常重要，那么Kafka在这方面是如何来设计做到高效的呢？
陈冲_河南漯河·2023-10-16 02:54

Spring boot结合Kafka的Demo

文章链接KafkaDemoKafkaDemo参考博客：http://www.54tianzhisheng.cn/2018/01/05/SpringBoot-Kafka/Spark安装：厦大数据库实验室Spark
ShubinHuang·2023-10-16 00:48

13 Java生产者是如何管理TCP连接的

什么时候创建TCP连接1.kafkaProducer实例创建时启动Sender线程，创建于bootstrap.servers中所有Broker的TCP连接。2.kafkaProduc
ZyyIsPig·2023-10-16 00:07

websocket介绍

websocket介绍背景介绍原理解析握手过程报文格式代码示例服务器代码客户端代码背景介绍原理解析握手过程报文格式代码示例Spring内置了websocket.可以直接进行使用.服务器代码客户端代码
编程浩·2023-10-15 23:40

尚硅谷Flink（二）DStream API

目录不会点DataStreamAPI编辑执行环境创建执行环境执行模式触发程序执行源算子准备基础类型从集合中读取数据从文件读取数据从Socket读取数据从Kafka读取数据（没学过）从数据生成器读取数据Flink
Int mian[]·2023-10-15 22:21

flume+kafka+sparkstreaming+hbase

文章目录爬虫代码MonitorCatcherpom.xml启动爬虫flume配置文件启动flume命令kafka相关命令Hive建立HBase关联表SparkStreamingSparkStreamTestpom.xml
李南想做条咸鱼·2023-10-15 19:18

基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(一)案例需求

文章目录Flume+Kafka+Hbase+Flink+FineBI的实时综合案例01：课程回顾02：课程目标03：案例需求Flume+Kafka+Hbase+Flink+FineBI的实时综合案例01
Maynor996·2023-10-15 19:15

spark streamming

1.从Kafka拉数据方式：1）利用Receiver接收数据（个人理解对读数据得一种封装）*持续接收消息*从Zookeeper中读取offset值2）直接从kafka读取数据；Kafka中的partition
舟舟洋·2023-10-15 19:52

rocketmq顺序发送消息

顺序消费的原理解析，在默认的情况下消息发送会采取RoundRobin轮询方式把消息发送到不同的queue(分区队列)；而消费消息的时候从多个queue上拉取消息，这种情况发送和消费是不能保证顺序。
xixingzhe2·2023-10-15 17:30

RocketMQ 发送顺序消息样例

顺序消费的原理解析，在默认的情况下消息发送会采取RoundRobin轮询方式把消息发送到不同的queue(分区队列)；而消费消息的时候从多个queue上拉取消息，这种情况发送和消费是不能保证顺序。
四月丶丶·2023-10-15 17:25

Linux 下搭建 Hive 环境

Linux下搭建Hive环境作者：Grey原文地址：博客园：Linux下搭建Hive环境CSDN：Linux下搭建Hive环境前置工作首先，需要先完成Linux下搭建Kafka环境Linux下搭建Hadoop
GreyZeng·2023-10-15 17:49

Spark 的createDstream和createDirectStream区别

spark读取kafka数据流提供了两种方式createDstream和createDirectStream。
吴国友·2023-10-15 15:21

Kafka服务端高性能技术细节原理：基于零拷贝的mmap和sendfile

一、引言Kafka作为一款高效的分布式消息系统，其高性能、高吞吐量的特性备受关注。其中，服务端的高性能技术细节是Kafka性能优化的关键之一。
隐 风·2023-10-15 15:38

Kafka如何处理消费者之间的消息偏斜和负载均衡问题

Kafka如何处理消费者之间的消息偏斜和负载均衡问题Kafka是一种分布式流处理平台，由LinkedIn开发并开源。它以其高效的数据传输和处理能力，吸引了大量的开发者和用户。
隐 风·2023-10-15 15:38

全链路追踪spring-cloud-sleuth-zipkin

现总结如下：springcloudsleuth+zipkin总共分为几个角色：1、信息上传（上传方式：RABBIT、KAFKA，WEB）2、信息存储（mysql、es等）3、信息展示（
万事俱备，就差一个程序员了·2023-10-15 15:30

SpringCloud-Bus

一、介绍（1）bus搭配config可以实现客户端配置自动刷新（2）bus支持两种消息代理，rabbitmq和kafka（3）使用topic模式分发消息二、项目搭建（广播）（1）客户端和服务配置中心pom.xml
qq_25243147·2023-10-15 15:25

kafka 进阶

kafka教程1.offset四个概念：2.两种offsetCurrentOffsetCommittedOffset3.服务端常用命令1.查看所有topic2.查看topicpartition、replica
zhangjian_eng·2023-10-15 13:02

Docker安装kafka进阶方式

你在使用docker安装kafka的时候，是不是先启动zookeeper，再启动kafka，复杂的命令自己都不知道啥意思，接下来介绍一种结合docker-compose文件的简洁方式，虽然多了docker-compose
CrazySnail_x·2023-10-15 13:00

【问题解决】Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconnected

问题复现近日针对某一客户需求开发了一个需要使用Kafka的功能，功能是什么暂且不论，在本地虚机的Kafka连接一切正常遂放到测试服务器上验证功能，以下是监听topic成功和警告报错：2023-05-0910
东北小狐狸-Hellxz·2023-10-15 13:59

在虚拟机单机环境搭建Kafka集群

在虚拟机单机环境搭建Kafka集群安装javazookeeper需要java运行环境yuminstalljava安装zookeeper获取安装包，上传zookeeper地址:https://zookeeper.apache.org
i进击的攻城狮·2023-10-15 13:59

kafka属性说明

kafka中关于一些字段说明groupId:标识消费者分组id，如果多个消费者id相同，就表示这几个消费者是一组，当一组多个消费者消费同一个topic时，一组中只会有一个成功消费代码如下这时只会有一条消息被消费
敲代码的小咸鱼·2023-10-15 12:27

Apache Kafka 进阶（一）

官网githubApacheKafka是一个开源的分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。
chinusyan·2023-10-15 12:27

kafka windows下启动巨坑

在启动windows下的kafka的时候，用命令行总是说kafka输入行太长.命令语法不正确.其实是因为kafka解压的文件夹层数太多了，直接放D盘下就可以了，不要在放在其它文件夹下了
敲代码的小咸鱼·2023-10-15 12:57

Kafka进阶篇-消费者详解&Flume消费Kafka原理

简介由于挺多时候如果不太熟系kafka消费者详细的话，很容易产生问题，所有剖析一定的原理很重要。
工作变成艺术·2023-10-15 12:56

Kafka进阶问题

Kafka核心概念？1.Broker一台Kafka服务器就是一个broker。一个集群由多个broker组成。
热情散尽·2023-10-15 12:55

Kafka进阶

Kafka进阶Kafka事务kafka的事务机制是指kafka支持跨多个主题和分区的原子性写入，即在一个事务中发送的所有消息要么全部成功，要么全部失败。
i进击的攻城狮·2023-10-15 12:25

kafka生产者发送消息报错 Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected

报这个错误是因为kafka里的配置要修改下在config目录下server.properties配置文件这下发送消息就不会一直等待，就可以发送成功了
敲代码的小咸鱼·2023-10-15 12:24

【git篇】git的使用

文章目录1.Git介绍与安装1.Git简介2.下载安装程序3.设置用户名和邮箱2.Git的基本使用1.创建版本库2.文件管理1.提交文件2.查看状态3.查看提交日志4.版本回退3.原理解析1.Git区的划分
傻啦猫@_@·2023-10-15 12:44

5.RabbitMQ消息队列类型（7个）详细使用

目录ActiveMQ、RabbitMQ、Kafka、RocketMQ、ZeroMQ消息中间件选型消息中间件应用场景1.RabbitMQ消息队列介绍2.RabbitMQ下载及其安装配置3.RabbitMQUI
未禾·2023-10-15 11:12

CDH 6.3.1 集成Atlas

备注:安装之前先要准备好JDK1.8ZookeeperKafkaHbaseSolr一.Atlas下载现在linux环境通过git下载:gitclone-brelease-2.1.0-rc3https:/
只是甲·2023-10-15 11:48

kafka

Kafka是什么ApacheKafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn开发，并于2011年初开源。
Carl God·2023-10-15 10:37

Kafka

1.1Kafka概念Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。
chuxuezhe_987·2023-10-15 10:33

rocketMQ消息队列 ，docker部署rocketMQ 单机、集群

目前主流的MQ主要是RocketMQ、kafka、RabbitMQ，其主要优势有：支持事务型消息（消息发送和DB操作保持两方的最终一致性，RabbitMQ和Kafka不支持）支持结合RocketMQ的多个系
覃晓海·2023-10-15 09:21

大数据产品深度与广度并举，腾讯云为数据价值释放带来最优解

从2021年ApacheSpark和ConfluentKafka宣布支持Kubernetes，到腾讯云等云服务商积极推出多款云原生大数据产品，产业界近年来都在积极探索：如何利用高速发展的云原生技术去解决传统大数据平台的诸多问题
大数据在线·2023-10-15 08:41

Kafka： Linux环境-单机部署和伪集群、集群部署

1.Kafka单机部署1.1下载zookeeper压缩包到官网下载zookeeper压缩包，如下：1.2安装zookeeper（1）上传zookeepe压缩包，并解压：tar-zxvfapache-zookeeper
鮀城小帅·2023-10-15 03:20
上一页 87 88 89 90 91 92 93 94 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他