E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Confluent
Kafka快速入门(八)——
Confluent
Kafka简介
ConfluentKafka简介一、ConfluentKafka简介1、ConfluentKafka简介2014年,Kafka的创始人JayKreps、NahaNarkhede和饶军离开LinkedIn创立
Confluent
天山老妖S
·
2020-05-27 21:11
Confluent
Kafka
消息中间件
Kafka核心API——Connect API
Confluent
平台附带了几个内置connector,可以使用这些connector进行关系数据库或HDFS等常用系统到Kafka的数据传输,也是用来构建ETL的一种方案。
ZeroOne01
·
2020-05-26 17:11
Kafka
Connect
ETL
Kafka
大数据
Linkedin Camus,从Kafka到HDFS的数据传输管道
参考文章https://www.
confluent
.io/product/
confluent
-platform/http://blog.csdn.net/amghost/article/details/
晴天哥_374
·
2020-04-12 13:36
使用多数据中心部署来应对Kafka灾难恢复(一)
译者注:这篇文章翻译自https://www.
confluent
.io/blog/disaster-recovery-multi-datacenter-apache-kafka-deployments中提供的白皮书
扫帚的影子
·
2020-04-10 12:17
优化你的Apache Kafka部署
翻译自https://www.
confluent
.io/wp-content/uploads/Optimizing-Your-Apache-Kafka-Deployment-1.pdf前言Apachekafka
扫帚的影子
·
2020-04-09 09:32
Step by Step 实现基于 Cloudera 5.8.2 的企业级安全大数据平台 - Secured Kafka 整合 Schema Registry
几个概念SecuredKafka:经过Kerberos安全认证加固的Kafka集群,并且使用了自带的ACL功能;
Confluent
:一家专门围绕Kafk
大数据之心
·
2020-04-02 00:09
Pinot Realtime And ETL
Tracking:安装schemaregister:该服务用来注册pinot需要的scheme,这样所有需要schema的地方调用该服务即可.http://docs.
confluent
.io/1.0/installation.html
曹振华
·
2020-03-23 09:37
windows下使用
confluent
-kafka-go报错的问题
都说Go语言是跨平台的语言,不管是在linux还是windows都能进行开发,但在我开发的这一阵来,深深体会到了在windows下使用Go的一些开源库导致的各种问题,以下主要说下我在使用
confluent
-kafka-go
邵佳楠
·
2020-03-22 06:18
用Python连接kafka时出现ImportError:librdkafka.so.1:cannotopen shared object file:No such file or directory异常处理
用Python往kakfa读写数据,选择的是
confluent
-kafka0.9.4库,在fromconfluent_kafkaimportConsumer时报如下异常:应该是找不到动态链接库librdkafka.so
囧蛋
·
2020-03-11 14:45
Kafka在ASP.Net Core上的应用
imageASP.NetCore中使用的最多的是
Confluent
.Kafka这个包,以下用实例展示应用1.下载Nuget包首先是下载
Confluent
.Kafka这个包image2.创建Producer
WxhShine
·
2020-02-26 01:34
confluent
jdbc connector - mysql
JDBCSourceConnectorQuickstart数据库环境准备CREATEDATABASEconnector;USEconnector;CREATETABLE`from_source`(`fdsid`int(11)NOTNULLAUTO_INCREMENT,`dsid`int(11)DEFAULTNULL,`from`int(11)DEFAULTNULL,`stype`int(11)DE
愚公300代
·
2020-02-18 08:37
BottledWater-PG安装部署
一前言BottledWater是
Confluent
公司开发的一款可以将postgresql数据库转换为kafkaevents的工具。
遥想公瑾当年
·
2020-02-15 12:45
Kafka Streams开发入门(6)
2.功能演示说明假设我们要执行去重逻辑的事件格式如下:{"ip":"10.0.0.1","url":"https://docs.
confluent
.io/current/tutorials/examples
huxihx
·
2020-01-06 10:00
Kafka学习之路
虽然对于Kafka博客我一向坚持原创,不过这篇来自
Confluent
团队
wangliang938
·
2020-01-03 00:41
Kafka 0.11.0.0 是如何实现 Exactly-once 语义的
原文地址:https://www.
confluent
.io/blog/exactly-once-semantics-are-possible-heres-how-apache-kafka-does-it
大数据之心
·
2019-12-18 18:58
重磅消息:Kafka 团队修改 KSQL 开源许可证,禁止其作为 SaaS 产品来提供
就在昨天,
Confluent
公司的联合创始人兼CEOJayKreps在
Confluent
官方博客宣布
Confluent
平台部分开源组件从Apache2.0切换到ConfluentCommunityLicense
大数据首席数据师
·
2019-11-29 17:22
不想云厂商坐收渔翁之利,Kafka 团队修改 KSQL 开源许可
15日,
Confluent
宣布修改其平台部分组件的开源许可,从Apache2.0切换到ConfluentCommunityLicense。
OSC开源社区
·
2019-11-28 05:28
python
confluent
kafka客户端配置kerberos认证
kafka的认证方式一般有如下3种:1.SASL/GSSAPI从版本0.9.0.0开始支持2.SASL/PLAIN从版本0.10.0.0开始支持3.SASL/SCRAM-SHA-256以及SASL/SCRAM-SHA-512从版本0.10.2.0开始支持其中第一种SASL/GSSAPI的认证就是kerberos认证,对于java来说有原生的支持,但是对于python来说配置稍微麻烦一些,下面说一下
小得盈满
·
2019-10-11 17:00
Kafka Streams开发入门(1)
背景最近发现
Confluent
公司在官网上发布了KafkaStreams教程,共有10节课,每节课给出了KafkaStreams的一个功能介绍。
huxihx
·
2019-09-16 10:00
回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾(附PPT下载)
8月最后一天,由ApacheKafka与ApacheFlink联合举办的Meetup深圳站圆满落幕,现场站无虚席,来自
Confluent
、中国农业银行、虎牙直播、数见科技以及阿里巴巴的五位技术专家带来了丰富精彩的分享
ApacheFlink
·
2019-09-06 00:00
大数据处理
大数据
实时计算
流计算-storm
flink
数据集成工具ETL到KAFKA
二、数据集成发展历史ETLNehaNarkhede(
Confluent
创始人,kafka)观点:ETL已死,而实时流长存;来自各种操作性数据库的数据会以批处理的方式加载到数据仓库的主模式中,批处理运行的周期可能是每天一次或两次
Hanson.
·
2019-08-14 18:22
flink打包编译问题
[ERROR]Failedtoexecutegoalonprojectflink-avro-
confluent
-registry:Couldnotresolvedependenciesforprojectorg.apache.flink
小白鸽
·
2019-08-14 14:15
编译问题
Flink
Golang的Kafka 框架支持consumer group
confluent
是一种,是调用c语言的库librdkafka,可以支持consumergroup。但是会麻烦一点,需要安装librdkafka。安装librdkafka先看官网上的一句话。
conggova
·
2019-07-26 11:09
大数据技术
人工智能
杂谈
Kafka Producer
Kafkaproduceroverviewpythonclients:
confluent
-kafka-python:createdbyConfluentwhichisbasedonCclientlibrdkafkakafka-python
geeker_leon
·
2019-07-18 00:00
kafka
为什么开源数据库改变许可证?
许多开源数据库这一两年都改变了授权,比如
Confluent
、Elastic、MongoDB、RedisLabs、TimescaleDB。本文分析这种现象。
·
2019-06-25 14:00
Developer
ksql kafka
1、KSQL语法:https://docs.
confluent
.io/current/ksql/docs/developer-guide/syntax-reference.htmlKSQLkafka实战
FUKEXIN_xiaojiang
·
2019-04-23 16:10
使用Docker启动Kafka-Manager
#Providedby@chris-zenzookeeper:image:
confluent
/zo
YumWisdom
·
2019-04-16 22:48
Docker
kafka
为什么选择RocketMQ以及
Confluent
公司对Kafka的分区设计的说明
《为什么选择RocketMQ》根据我们的研究,随着使用的队列和虚拟主题的增加,ActiveMQIO模块遇到了瓶颈。我们尽力通过节流,断路器或降级解决这个问题,但效果不佳。因此,我们开始关注当时流行的消息传递解决方案Kafka。不幸的是,Kafka无法满足我们的要求,特别是在低延迟和高可靠性方面,详见此处。《如何在RocketMQ中支持更多队列?》Kafka是一个分布式流媒体平台,它源于日志聚合案例
21aspnet
·
2019-03-19 01:33
消息队列
大数据
Confluent
Platform Quick Start (Docker)
问题
Confluent
提供了Kafka的整套生态的docker镜像:confluentinc/cp-docker-images,并在官方文档ConfluentPlatformQuickStart(Docker
陈振阳
·
2019-03-13 11:35
Kafka
使用nifi+
confluent
实现oracle数据流入到kafka再导出到mysql
0、前期准备①安装nifi,安装
confluent
,oracle,mysql,jdk②使用landoop使得
confluent
的kafkatopic、kafkaconnect、schemaregistry
Waves___
·
2019-03-04 22:25
Kafka背后公司获1.25亿融资,估值超25亿美元
\u003cp\u003e北京时间1月24日,开源ApacheKafka项目背后的公司
Confluent
在官方博客宣布进行了D轮融资,价值约为1.25亿美元,公司总估值高达25亿美元。
坚持669
·
2019-01-24 01:54
【kafka KSQL】游戏日志统计分析(1)
启动confluentcd~/Documents/install/
confluent
-5.0.1/bin/confluentstart查看kafka主题列表bin/kafka-topics--list-
SnaiLiu
·
2019-01-06 00:00
stream
sql
日志分析
数据分析
kafka
Debezium SQL Server Source Connector+Kafka+Spark+MySQL 实时数据处理
本文的技术栈:[DebeziumSQLServerSourceConnector](https://docs.
confluent
.io/current/connect/debezium-connect-sqlserver
留歌_36
·
2018-11-27 19:15
【译】Apache Kafka支持单集群20万分区
原贴地址:https://www.
confluent
.io/blog/apache-kafka-supports-200k-partitions-per-clusterKafka中topic可以设置多个分区
huxihx
·
2018-11-19 18:00
DataPipeline联合
Confluent
Kafka Meetup上海站
Confluent
作为国际数据“流”处理技术领先者,提供实时数据处理解决方案,在市场上拥有大量企业客户,帮助企业轻松访问各类数据。
DataPipeline
·
2018-09-27 19:25
Kafka
大数据
大数据平台
批处理ETL已死,Kafka才是数据处理的未来?
Narkhede是
Confluent
的联合创始人和CTO,在演讲中,他首先阐述了在过去的十年间,数据和数据系统的重要变化。该领域的传统功能包括提供联机事务处理(
Java架构没有996
·
2018-09-21 22:28
IT服务
大数据
数据采集
大数据
Kafka和ElasticSearch的整合
logstash->elasticsearch->kibana(简单,只需启动一个代理程序)Kafka->kafka-connect-elasticsearch->elasticsearch->kibana(与
confluent
define_us
·
2018-08-21 10:51
java
大数据技术
大数据各组件版本----------以及各组件端口号
2016年5月
Confluent
官方宣布ApacheKafka0.10正式发布(里面废弃了receive)-----0.8没有废弃receivereceiver使用的是老的Api也叫高级的Api,高级Api
it_liangsir
·
2018-08-18 11:14
kafka配置步骤整理
安装配置三、Zookeeper安装配置四、Kafka集群搭建五、测试验证一、参考http://www.cnblogs.com/luotianshuai/p/5206662.htmlhttps://docs.
confluent
.io
周雄伟
·
2018-08-08 17:37
学习笔记
kafka-connector源码解读
connector启动后会将share/java下目录为
confluent
-common、kafka-serde-tools、monitoring-interceptors、kafka-connect-
退潮的贝壳
·
2018-07-16 22:45
【go-kafka】go对接kafka安装配置
前言针对golang的kafkaclient有很多开源package,例如sarama,
confluent
等等。
confluent
-kafka-go,是kafka官网推荐的golangpackage。
梦流寒天
·
2018-07-02 23:17
kafka
go
go
kafka
基于
Confluent
.Kafka实现的Kafka客户端操作类使用详解
一、引言有段时间没有写东西了,当然不是没得写,还有MongoDB的系列没有写完呢,那个系列还要继续。今天正好是周末,有点时间,来写新东西吧。最近公司用了Kafka做为消息的中间件,最开始写的那个版本不是很好,我就要来优化它,所以就抽了一些时间来研究Kafka。很多概念性的东西就不写了,今天主要是上干货,主要是代码,今天就把Kafka的消费者和生产者的代码贴出来,以供大家参考,当然这个是代码样板,最
可均可可
·
2018-06-30 16:00
安装 Kafka rest proxy
1:cd~2:wgethttp://packages.
confluent
.io/archive/4.1/
confluent
-oss-4.1.1-2.11.tar.gz3:tar-zxvfconfluent-oss
朝阳_412d
·
2018-06-06 15:51
[Kafka基础]--怎样为Kafka集群选择合适的主题和分区数量?
感谢英文原文:https://www.
confluent
.io/blog/how-to-choose-the-number-of-topicspartitions-in-a-kafka-cluster/
highfei2011
·
2018-05-03 15:47
Kafka
在Linux环境下部署
confluent
platform
1.confluentplatform的简单介绍:confluentplatform是一个可靠、高性能的流平台,提供组织和管理来自不同数据源数据的功能。(这个说法太正式,反正我是简单粗暴地把它当成kafka和一些扩展kafka功能的一套组件~)2.confluentplatform的部署流程:废话不多说,直接开搞~(1)安装JDK(建议安装1.8的)这个很简单,就跳过吧,不会的请自行度娘~(2)配
KasumiMasami
·
2018-04-10 10:32
大数据
Kafka-是否可以用做长期数据存储?
原文:https://www.
confluent
.io/blog/okay-store-data-apache-kafka/原文翻译:https://sdk.cn/news/7519摘要:“把Kafka
大飞哥2
·
2018-03-05 13:56
kafka
Confluent
's Golang Client for Apache Kafka
注:LinkedIn有个三人小组出来创业了—正是当时开发出ApacheKafka实时信息列队技术的团队成员,基于这项技术JayKreps带头创立了新公司
Confluent
。
FunySunny
·
2018-02-08 14:08
kafka
mssql-kafka-connector
本文章主要是对开源的kafka-connect-cdc-mssql进行编译并集成到
confluent
平台中,鉴于还不太熟悉部分平台的功能,仅简单介绍此次实施的步骤。
九七学姐
·
2017-10-19 17:14
mssql-kafka-connector
本文章主要是对开源的kafka-connect-cdc-mssql进行编译并集成到
confluent
平台中,鉴于还不太熟悉部分平台的功能,仅简单介绍此次实施的步骤。
九七学姐
·
2017-10-19 17:14
[译] Kafka 存储的工作机制
翻译自Kafka/
Confluent
公司的工程师TravisJeffery的文章:HowKafka’sStorageInternalsWork。通过本文我会帮助你理解Kafka是如何存储它的数据的。
·
2017-10-12 15:00
Kafka
大数据
上一页
1
2
3
4
5
6
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他