confluent

Kafka进阶技术

合体技势作为消息中间件的扛把子,无论是在企业的业务系统,还是大数据系统中,都有着活跃的身影.虽然近来出现了RocketMQPulsar这样的后期之秀,短期内kafka的"大哥"地位依然不容撼动.今年,kafka的最大"后台"confluent
胡小禾·2023-04-11 10:18

FileBeat+Confluent Kafka Connector推送日志到Elasticsearch

confluent本文使用的confluent版本是confluent-5.2.11.FileBeatFileBeat是一款轻量型的日志采集器，通常会在每一台运行业务服务的服务器上部署一套，本文使用的版本是
大猪小猪在菜盘·2023-04-10 17:06

Df发送到kafka

importjava.util.Propertiesimportio.confluent.kafka.serializers.
永远相信神话·2023-04-04 12:20

使用Kafka Avro序列化器将数据序列化为Avro格式并将其发送到Kafka topic

创建KafkaAvro序列化器：可以使用io.confluent.kafka.serializers.KafkaAvroSerializer类创建一个KafkaAvro序列化器实例。
永远相信神话·2023-04-04 11:01

Kafka producer

,ProducerConfig,ProducerRecord}importorg.apache.kafka.common.serialization.StringSerializerimportio.confluent.kafka.seri
永远相信神话·2023-04-03 20:06

Apache avro转confluent avro

{GenericData,GenericRecord}importio.confluent.kafka.serializers.KafkaAvroSerializervalschemaString=""
永远相信神话·2023-04-03 20:36

SpringBoot+DDD+Kafka最全面微服务教程

根据Confluent（最初被认为是
解道Jdon·2023-04-02 02:00

分布式系统

JayKreps是前Linkedin的PrincipalStaffEngineer，现任Confluent公司的联合创始人和CEO，Kafka和Samza的主要作
曹元_·2023-04-01 05:42

使用 Avro 序列化器将 Spark Structured Streaming 数据发送到 Confluent Kafka

importio.confluent.kafka.serializers.
永远相信神话·2023-03-31 23:30

kafka-connect-jdbc-sink配置属性

connector.class=io.confluent.connect.jdbc.JdbcSinkConnector连接器特定的配置属性如下所述。
huryer·2023-03-15 07:33

kafka connect写入hbase和hdfs

Kafka连接器插件包准备1、kafka-connect-hdfs插件包备注：hdfs插件包可以直接下载社区版conflunt平台支持的插件包，无license限制插件包下载地址：https://www.confluent.io
xhh199090·2023-03-14 21:21

Python客户端使用SASL_SSL连接Kafka需要将jks密钥转换为pem密钥，需要转化成p12格式再转换pem才能适配confluent_kafka包

证书生成生成证书以及jks参考以下文章https://blog.csdn.net/qq_41527073/article/details/121148600证书转换jks->pem需要转化成p12以下转换才能适配confluent_kafka
Bruin_W·2023-02-19 07:48

Confluent之Kafka Connector初体验

概述背景ApacheKafka是最大、最成功的开源项目之一，可以说是无人不知无人不晓，在前面的文章《ApacheKafka分布式流处理平台及大厂面试宝典》我们也充分认识了Kafka，ApacheKafka是LinkedIn开发并开源的，LinkedIn核心理念之一数据驱动主要有两点领悟，其一是强调动态数据有效性要远远大于静态数据，何为动态数据和静态数据，可以简单理解静态数据则为我们目前基于各种各样
IT小神·2022-12-24 12:28

Apache Kafka & SAP

EventStreaming事件流参考：https://kafka.apache.org/documentation.html#introductionhttps://www.confluent.io/
xiayutian_c·2022-12-23 16:03

flink实时消费kafka中oracle的DML数据写入mysql

此为kafka-connect的oracle实时同步开源工程，源码地址：https://github.com/erdemcer/kafka-connect-oracleconfluent，小编安装环境为confluent
AmirHou·2022-12-07 17:21

如何使用TDengine Sink Connector？

文档中的教程使用Confluent平台（集成了Kafka）演示了如何使用SourceConnector和SinkConnector，但是很多开发者在生产环境中并没有使用Confluent，所以为方便大家
涛思数据（TDengine）·2022-11-26 16:15

maven setting.xml 配置多个仓库 mirror 不行，得用profiles

publictruetruealwayshuaweicloudhuaweicloudhttps://mirrors.huaweicloud.com/repository/maven/truetruealwaysflinkflinkhttps://packages.confluent.io
老玉米绝壁凶残·2022-10-11 07:36

云原生爱好者周刊：在浏览器中运行 Linux 系统 | 2022-10-10

Confluent官网已经放出了《Kafka权威指南第二版：大规模实时数据和流处理》，相比于第一版新增了以下内容：Kafka管理客户端概述；API更新到最新的ApacheKafka版本（2.5）；安全和交易
·2022-10-10 19:55

00 Confluent_Kafka权威指南-前言部分

文章目录Foreword序Preface前言谁应该读本书本书使用的约定使用代码示例致谢Foreword序对kafka来说，这是一个激动人心的时刻。kafka被成千上万个组织使用，包含了三分之一的世界500强公司。它是增长最快的开源项目之一，围绕它产生了一个巨大的生态系统。它是管理和处理流式数据的核心。那么kafka从何而来？我们为什么要建造它？它到底是什么？Kafka最初是我们在Linkedin开
冬天里的懒猫·2022-09-12 10:14

一次失败的JavaSampler-对接confluent-kafka

背景：项目需要对接confluent-kafka压测，查看消费端的性能情况。
·2022-09-06 17:02

大咖说·对话生态｜当Confluent遇见云：实时流动的数据更有价值

Confluent如何实现高速增长？如何帮助客户实现数字化转型？有哪些成功经验值得借鉴？本期大咖说，阿里云联合Confluent一同探讨企业在大数据应用方面的数字化转型之道。
·2022-08-09 16:15

2021 中国开源开发者报告发布，Apache DolphinScheduler 入选开源社区健康趋势优秀案例...

点击上方蓝字关注我们2021年开源圈一如既往发生了许多大事件，Linux冲出地球上到火星、PHP与Rust基金会相继成立、Confluent等几家开源公司高价上市、ChromeOS成为全球第二大操作系统
DolphinScheduler社区·2022-08-01 20:36

如何使用 TDengine Sink Connector？

文档中的教程使用Confluent平台（集成了Kafka）演示了如何使用SourceConnector和SinkConnector，但是很多开发者在生产环境中并没有使用Confluent，所以为方便大家
·2022-07-27 11:05

【python】Kafka介绍及confluent-kafka的使用

kafka介绍kafka是高效的数据流处理平台。可以理解为数据的写入和读取的“中转站”。相关概念Broker一个broker对应一个kafka实例，可以分别在多台服务器上各启动一个broker，也可在一个服务器上启动多个broker。Topic消息的主题，一个broker可有多个topic。Partition每个Topic中的信息可以分配在多个Partition中，有利于高效消费和后续的管理和扩展
Sarah Huang·2022-07-27 07:34

Go语言kafka生产消费消息实例搬砖

有2个非常流行的库星星较多，网上案例也多https://github.com/Shopify/saramaconfluent官网提供的库https://github.com/confluentinc/confluent-kafka-go
·2022-06-09 10:05

企业版Spark Databricks + 企业版Kafka Confluent 联合高效挖掘数据价值

前提条件已注册阿里云账号，详情请参见阿里云账号注册流程已开通Databricks数据洞察服务已开通OSS对象存储服务已开通Confluent流数据服务创建Databricks集群
·2022-05-19 11:02

Confluent之Kafka Connector初体验

本篇主要从Kafka诞生背景开始，一步步引出Kafka的Connect组件，而Confluent也免费开源100多种Connector，最后用一个完整的Source和Sink例子带入门如何在分布式模式使用
itxiaoshen·2022-04-17 13:00

基于Confluent+Flink的实时数据分析最佳实践

简介：在实际业务使用中，需要经常实时做一些数据分析，包括实时PV和UV展示，实时销售数据，实时店铺UV以及实时推荐系统等，基于此类需求，Confluent+实时计算Flink版是一个高效的方案。
·2022-03-29 15:30

数据库实时转移之Confluent介绍（一）

在调研的过程中了解到Confluent平台可以很好的实现这个功能，于是开始逐步深入探究其使用方法和工作原理。但在实践的过程中发现国内用此平台的不多，这方面
七分熟pizza·2022-02-18 00:50

mac m1 arm 安装 confluent-kafka 报错解决方案

'[email protected],xNMM.-----------------.OMMMMoOS:macOS11.620G165arm64OMMM0,Host:MacBookPro17,1.;loddo:'loolloddol;.Kernel:20.6.0cKMMMMMMMMMMNWMMMMMMMMMM0:Uptime:3days,22hours,18mins.KMMMMMMMMMMMMM
·2021-10-26 17:25

Kafka-多线程消费处理

Kafka-多线程代码赏析在2020年8月13号IGORBUZATOVIĆ这个人在https://www.confluent.io/blog/kafka-consumer-multi-threaded-messaging
·2021-10-13 23:30

「物联网」dotnet core 使用Confluent.Kafka库 Centos64

今天使用Confluent.Kafka的库，运行在windows上很正常，部署到centos64位之后，提示未找到native动态连接库之类的错误，记录下解决办法-librdkafka下载地址$unziplibrdkafka-master.zip
SmartKarren·2021-06-26 18:22

Kafka连接器深度解读之错误处理和死信队列

复制自：https://liyuj.gitee.io/confluent/Kafka-ErrorHandlingDeadLetterQueues.htmlKafka连接器是Kafka的一部分，是在Kafka
背嵬_ccfc·2021-06-21 16:59

关于kafka的一点使用

以python为例，从pykafka到kafka-python到confluent-kafka到flink要注意最好使用最新版本pykafka和kafka-python性能不是很好，具体情况也可以查到coufluent-kafka
·2021-06-18 22:13

你都毕业3年了，怎么还只会增删改查，连kafka都没有听过？

发展到现在，ApacheKafka无疑是很成功的，Confluent公司曾表示世界五百强中有三分之一的企业在使用Kafka。
Java萨曼莎·2021-06-12 20:34

Kafka Connect 概念

Confluent平台附带了几个内置connector，可以使用这些connector进行关系数据库或HDFS等常用系统到kafka的数据传输。
阿猫阿狗Hakuna·2021-05-15 10:37

Kafka为什么要抛弃ZooKeeper

在上个月30号，confluent发布了一篇文章，文章上说在Kafka2.8版本上将支持内部的quorum服务来替换ZooKeeper的工作。
weixin_42073629·2021-05-03 22:23

Python confluent kafka客户端配置kerberos认证流程详解

kafka的认证方式一般有如下3种：1.SASL/GSSAPI从版本0.9.0.0开始支持2.SASL/PLAIN从版本0.10.0.0开始支持3.SASL/SCRAM-SHA-256以及SASL/SCRAM-SHA-512从版本0.10.2.0开始支持其中第一种SASL/GSSAPI的认证就是kerberos认证，对于java来说有原生的支持，但是对于python来说配置稍微麻烦一些，下面说一下
·2020-12-14 10:43

Java程序员说：世界上有三个伟大的发明【火、轮子、kafka】

发展到现在，ApacheKafka无疑是很成功的，Confluent公司曾表示世界五百强中有三分之一的企业在使用Kafka。
Mr.Z·2020-11-24 21:37

Java程序员说：世界上有三个伟大的发明【火、轮子、kafka】

发展到现在，ApacheKafka无疑是很成功的，Confluent公司曾表示世界五百强中有三分之一的企业在使用Kafka。
Mr.Z·2020-11-23 22:32

confluent 对kafka格式化数据的处理

1.说明关注重点：confluent版本对timestamp等类型的支持基本是残的。本次梳理相关处理流程，并尝试修复该问题。
Quan.S·2020-09-16 13:58

Confluent安装

confluent:5.3.1参考：https://docs.confluent.io/current/quickstart/ce-quickstart.html?
TracyGao01·2020-09-16 12:53

5、Confluent Platform安装配置和常用操作详细教程

Confluent安装配置及操作教程>环境准备ConfluentPlatform对应的Kafka版本对应KSQL版本对应Scala版本对应Zookeeper版本操作系统环境JAVA环境Step1：安装并开启
将进酒杯莫停。·2020-09-16 12:48

Confluent Platform5.2.2的本地安装部署（目前版本最新）

前置条件：支持JDK8和JDK11（JDK9和JDK11不支持）下载Confluent平台并开启服务官方有两个版本，一个是收费的企业版（30天试用），一个是开源版，为了更好地体验服务，我下载的是企业版的下载之前需要输入相关的个人基本信息点击下载下载好并解压之后的目录结构是
FangStar8Jeff·2020-09-16 12:39

Confluent入门简介

Confluent一个是企业版（付费）试用30天，一个是开源版（免费）Confluent让我们可以将数据用作不断更新的时间流，而不是离快照，大部分世界100强企业都用事件流，其中用confluent的占大多数
FangStar8Jeff·2020-09-16 12:08

Confluent完全分布式框架搭建

服务、端口说明kafkazookeepercontrol-centerschema-registrykafka-resetconnectorksql-server192.168.1.34kafkazookeepercontrol-centerschema-registrykafka-resetconnectorksql-server192.168.1.33kafkazookeepercontrol
willyan2007·2020-09-16 11:51

kafka干货（五）：kakfka的python客户端----Confluent-kafka

Confluent-kafka是由Confluent公司维护的一个kafka-client，同产品下还有c/c++，java、Go、.net和JMS。它是企业级支持的一款产品。
桃花惜春风·2020-09-14 16:12

自定义实现kafkaconnect及打包部署

https://www.cnblogs.com/3gods/p/7406174.html打包部署教程：https://www.confluent.io/hub/jcustenborder/kafka-connect-redis
琴瑟裹腹·2020-09-12 04:11

kafka源码阅读-connector，distributed模式

运行bin/connect-distributed.shconfig/connect-distributed.properties，会将share/java下目录为"confluent-common""
happyqiangsir·2020-09-12 03:34

kafka connect rebalance时herder大概率异常

1.发生场景版本：confluent2.0.0如果因为somereason触发了task的rebalance，herderwork可能发生异常，导致connect进程退出2.异常栈[2016-06-2817
Quan.S·2020-09-12 02:48
上一页 1 2 3 4 5 6 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他