E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Confluent
Kafka Streams开发入门(6)
2.功能演示说明假设我们要执行去重逻辑的事件格式如下:{"ip":"10.0.0.1","url":"https://docs.
confluent
.io/current/tutorials/examples
huxihx
·
2020-01-06 10:00
Kafka学习之路
虽然对于Kafka博客我一向坚持原创,不过这篇来自
Confluent
团队
wangliang938
·
2020-01-03 00:41
Kafka 0.11.0.0 是如何实现 Exactly-once 语义的
原文地址:https://www.
confluent
.io/blog/exactly-once-semantics-are-possible-heres-how-apache-kafka-does-it
大数据之心
·
2019-12-18 18:58
重磅消息:Kafka 团队修改 KSQL 开源许可证,禁止其作为 SaaS 产品来提供
就在昨天,
Confluent
公司的联合创始人兼CEOJayKreps在
Confluent
官方博客宣布
Confluent
平台部分开源组件从Apache2.0切换到ConfluentCommunityLicense
大数据首席数据师
·
2019-11-29 17:22
不想云厂商坐收渔翁之利,Kafka 团队修改 KSQL 开源许可
15日,
Confluent
宣布修改其平台部分组件的开源许可,从Apache2.0切换到ConfluentCommunityLicense。
OSC开源社区
·
2019-11-28 05:28
python
confluent
kafka客户端配置kerberos认证
kafka的认证方式一般有如下3种:1.SASL/GSSAPI从版本0.9.0.0开始支持2.SASL/PLAIN从版本0.10.0.0开始支持3.SASL/SCRAM-SHA-256以及SASL/SCRAM-SHA-512从版本0.10.2.0开始支持其中第一种SASL/GSSAPI的认证就是kerberos认证,对于java来说有原生的支持,但是对于python来说配置稍微麻烦一些,下面说一下
小得盈满
·
2019-10-11 17:00
Kafka Streams开发入门(1)
背景最近发现
Confluent
公司在官网上发布了KafkaStreams教程,共有10节课,每节课给出了KafkaStreams的一个功能介绍。
huxihx
·
2019-09-16 10:00
回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾(附PPT下载)
8月最后一天,由ApacheKafka与ApacheFlink联合举办的Meetup深圳站圆满落幕,现场站无虚席,来自
Confluent
、中国农业银行、虎牙直播、数见科技以及阿里巴巴的五位技术专家带来了丰富精彩的分享
ApacheFlink
·
2019-09-06 00:00
大数据处理
大数据
实时计算
流计算-storm
flink
数据集成工具ETL到KAFKA
二、数据集成发展历史ETLNehaNarkhede(
Confluent
创始人,kafka)观点:ETL已死,而实时流长存;来自各种操作性数据库的数据会以批处理的方式加载到数据仓库的主模式中,批处理运行的周期可能是每天一次或两次
Hanson.
·
2019-08-14 18:22
flink打包编译问题
[ERROR]Failedtoexecutegoalonprojectflink-avro-
confluent
-registry:Couldnotresolvedependenciesforprojectorg.apache.flink
小白鸽
·
2019-08-14 14:15
编译问题
Flink
Golang的Kafka 框架支持consumer group
confluent
是一种,是调用c语言的库librdkafka,可以支持consumergroup。但是会麻烦一点,需要安装librdkafka。安装librdkafka先看官网上的一句话。
conggova
·
2019-07-26 11:09
大数据技术
人工智能
杂谈
Kafka Producer
Kafkaproduceroverviewpythonclients:
confluent
-kafka-python:createdbyConfluentwhichisbasedonCclientlibrdkafkakafka-python
geeker_leon
·
2019-07-18 00:00
kafka
为什么开源数据库改变许可证?
许多开源数据库这一两年都改变了授权,比如
Confluent
、Elastic、MongoDB、RedisLabs、TimescaleDB。本文分析这种现象。
·
2019-06-25 14:00
Developer
ksql kafka
1、KSQL语法:https://docs.
confluent
.io/current/ksql/docs/developer-guide/syntax-reference.htmlKSQLkafka实战
FUKEXIN_xiaojiang
·
2019-04-23 16:10
使用Docker启动Kafka-Manager
#Providedby@chris-zenzookeeper:image:
confluent
/zo
YumWisdom
·
2019-04-16 22:48
Docker
kafka
为什么选择RocketMQ以及
Confluent
公司对Kafka的分区设计的说明
《为什么选择RocketMQ》根据我们的研究,随着使用的队列和虚拟主题的增加,ActiveMQIO模块遇到了瓶颈。我们尽力通过节流,断路器或降级解决这个问题,但效果不佳。因此,我们开始关注当时流行的消息传递解决方案Kafka。不幸的是,Kafka无法满足我们的要求,特别是在低延迟和高可靠性方面,详见此处。《如何在RocketMQ中支持更多队列?》Kafka是一个分布式流媒体平台,它源于日志聚合案例
21aspnet
·
2019-03-19 01:33
消息队列
大数据
Confluent
Platform Quick Start (Docker)
问题
Confluent
提供了Kafka的整套生态的docker镜像:confluentinc/cp-docker-images,并在官方文档ConfluentPlatformQuickStart(Docker
陈振阳
·
2019-03-13 11:35
Kafka
使用nifi+
confluent
实现oracle数据流入到kafka再导出到mysql
0、前期准备①安装nifi,安装
confluent
,oracle,mysql,jdk②使用landoop使得
confluent
的kafkatopic、kafkaconnect、schemaregistry
Waves___
·
2019-03-04 22:25
Kafka背后公司获1.25亿融资,估值超25亿美元
\u003cp\u003e北京时间1月24日,开源ApacheKafka项目背后的公司
Confluent
在官方博客宣布进行了D轮融资,价值约为1.25亿美元,公司总估值高达25亿美元。
坚持669
·
2019-01-24 01:54
【kafka KSQL】游戏日志统计分析(1)
启动confluentcd~/Documents/install/
confluent
-5.0.1/bin/confluentstart查看kafka主题列表bin/kafka-topics--list-
SnaiLiu
·
2019-01-06 00:00
stream
sql
日志分析
数据分析
kafka
Debezium SQL Server Source Connector+Kafka+Spark+MySQL 实时数据处理
本文的技术栈:[DebeziumSQLServerSourceConnector](https://docs.
confluent
.io/current/connect/debezium-connect-sqlserver
留歌_36
·
2018-11-27 19:15
【译】Apache Kafka支持单集群20万分区
原贴地址:https://www.
confluent
.io/blog/apache-kafka-supports-200k-partitions-per-clusterKafka中topic可以设置多个分区
huxihx
·
2018-11-19 18:00
DataPipeline联合
Confluent
Kafka Meetup上海站
Confluent
作为国际数据“流”处理技术领先者,提供实时数据处理解决方案,在市场上拥有大量企业客户,帮助企业轻松访问各类数据。
DataPipeline
·
2018-09-27 19:25
Kafka
大数据
大数据平台
批处理ETL已死,Kafka才是数据处理的未来?
Narkhede是
Confluent
的联合创始人和CTO,在演讲中,他首先阐述了在过去的十年间,数据和数据系统的重要变化。该领域的传统功能包括提供联机事务处理(
Java架构没有996
·
2018-09-21 22:28
IT服务
大数据
数据采集
大数据
Kafka和ElasticSearch的整合
logstash->elasticsearch->kibana(简单,只需启动一个代理程序)Kafka->kafka-connect-elasticsearch->elasticsearch->kibana(与
confluent
define_us
·
2018-08-21 10:51
java
大数据技术
大数据各组件版本----------以及各组件端口号
2016年5月
Confluent
官方宣布ApacheKafka0.10正式发布(里面废弃了receive)-----0.8没有废弃receivereceiver使用的是老的Api也叫高级的Api,高级Api
it_liangsir
·
2018-08-18 11:14
kafka配置步骤整理
安装配置三、Zookeeper安装配置四、Kafka集群搭建五、测试验证一、参考http://www.cnblogs.com/luotianshuai/p/5206662.htmlhttps://docs.
confluent
.io
周雄伟
·
2018-08-08 17:37
学习笔记
kafka-connector源码解读
connector启动后会将share/java下目录为
confluent
-common、kafka-serde-tools、monitoring-interceptors、kafka-connect-
退潮的贝壳
·
2018-07-16 22:45
【go-kafka】go对接kafka安装配置
前言针对golang的kafkaclient有很多开源package,例如sarama,
confluent
等等。
confluent
-kafka-go,是kafka官网推荐的golangpackage。
梦流寒天
·
2018-07-02 23:17
kafka
go
go
kafka
基于
Confluent
.Kafka实现的Kafka客户端操作类使用详解
一、引言有段时间没有写东西了,当然不是没得写,还有MongoDB的系列没有写完呢,那个系列还要继续。今天正好是周末,有点时间,来写新东西吧。最近公司用了Kafka做为消息的中间件,最开始写的那个版本不是很好,我就要来优化它,所以就抽了一些时间来研究Kafka。很多概念性的东西就不写了,今天主要是上干货,主要是代码,今天就把Kafka的消费者和生产者的代码贴出来,以供大家参考,当然这个是代码样板,最
可均可可
·
2018-06-30 16:00
安装 Kafka rest proxy
1:cd~2:wgethttp://packages.
confluent
.io/archive/4.1/
confluent
-oss-4.1.1-2.11.tar.gz3:tar-zxvfconfluent-oss
朝阳_412d
·
2018-06-06 15:51
[Kafka基础]--怎样为Kafka集群选择合适的主题和分区数量?
感谢英文原文:https://www.
confluent
.io/blog/how-to-choose-the-number-of-topicspartitions-in-a-kafka-cluster/
highfei2011
·
2018-05-03 15:47
Kafka
在Linux环境下部署
confluent
platform
1.confluentplatform的简单介绍:confluentplatform是一个可靠、高性能的流平台,提供组织和管理来自不同数据源数据的功能。(这个说法太正式,反正我是简单粗暴地把它当成kafka和一些扩展kafka功能的一套组件~)2.confluentplatform的部署流程:废话不多说,直接开搞~(1)安装JDK(建议安装1.8的)这个很简单,就跳过吧,不会的请自行度娘~(2)配
KasumiMasami
·
2018-04-10 10:32
大数据
Kafka-是否可以用做长期数据存储?
原文:https://www.
confluent
.io/blog/okay-store-data-apache-kafka/原文翻译:https://sdk.cn/news/7519摘要:“把Kafka
大飞哥2
·
2018-03-05 13:56
kafka
Confluent
's Golang Client for Apache Kafka
注:LinkedIn有个三人小组出来创业了—正是当时开发出ApacheKafka实时信息列队技术的团队成员,基于这项技术JayKreps带头创立了新公司
Confluent
。
FunySunny
·
2018-02-08 14:08
kafka
mssql-kafka-connector
本文章主要是对开源的kafka-connect-cdc-mssql进行编译并集成到
confluent
平台中,鉴于还不太熟悉部分平台的功能,仅简单介绍此次实施的步骤。
九七学姐
·
2017-10-19 17:14
mssql-kafka-connector
本文章主要是对开源的kafka-connect-cdc-mssql进行编译并集成到
confluent
平台中,鉴于还不太熟悉部分平台的功能,仅简单介绍此次实施的步骤。
九七学姐
·
2017-10-19 17:14
[译] Kafka 存储的工作机制
翻译自Kafka/
Confluent
公司的工程师TravisJeffery的文章:HowKafka’sStorageInternalsWork。通过本文我会帮助你理解Kafka是如何存储它的数据的。
·
2017-10-12 15:00
Kafka
大数据
Kafka背后公司获1.25亿融资,估值超25亿美元
北京时间1月24日,开源ApacheKafka项目背后的公司
Confluent
在官方博客宣布进行了D轮融资,价值约为1.25亿美元,公司总估值高达25亿美元。
cpongo2
·
2017-08-28 13:02
Confluent
zookeeper分布式部署流程
测试环境两台机器,IP地址分别为172.24.3.111172.24.3.112由于条件限制,只使用了两台机器做演示,如果有条件做好使用3台或者以上技术台机器进行ZooKeeper的分布式部署。ZooKeeper基础配置dataDir=/data/zookeeper/zkdata快照的存储路径dataLogDir=/data/zookeeper/zkdatalog事务日志的存储路径initLimi
愚公300代
·
2017-07-28 16:20
Confluent
zookeeper分布式部署流程
测试环境两台机器,IP地址分别为172.24.3.111172.24.3.112由于条件限制,只使用了两台机器做演示,如果有条件做好使用3台或者以上技术台机器进行ZooKeeper的分布式部署。ZooKeeper基础配置dataDir=/data/zookeeper/zkdata快照的存储路径dataLogDir=/data/zookeeper/zkdatalog事务日志的存储路径initLimi
愚公300代
·
2017-07-28 16:20
[译] 基于事件流构建的服务
[译]基于事件流构建的服务摘要:本文属于原创,欢迎转载,转载请保留出处:https://github.com/jasonGeng88/blog原文:https://www.
confluent
.io/blog
Jason_Geng
·
2017-06-17 00:00
事件
微服务
Facebook、LinkedIn、Airbnb、Google专家聚首QCon,他们会带来什么?
现已确认来自海外的Google、Facebook、Airbnb、LinkedIn、
Confluent
、AppDynamics等公司,国内的百度、阿里巴巴、腾讯、京东、滴滴出行、奇虎360、爱奇艺、微博、
cpongo8长长还好还好哈哈哈哈哈哈哈
·
2017-02-17 02:52
Kafka使用进阶——消费者
IntroducingtheKafkaConsumer:GettingStartedwiththeNewApacheKafka0.9ConsumerClienthttp://www.
confluent
.io
scuter_victor
·
2017-01-21 22:07
Kafka
造轮子
关于计时器定时器的设计 时间轮的高效实现 linux hashed Hierarchical timing wheel
users/varghese/PAPERS/twheel.ps.Zhttp://www.cnblogs.com/zhongwencool/p/timing_wheel.htmlhttps://www.
confluent
冰冻火山
·
2017-01-18 18:16
Algorithm(算法)
Kafka 0.9 新版本consumer客户端使用介绍
翻译自:https://www.
confluent
.io/blog/tutorial-getting-started-with-the-new-apache-kafka-0-9-consumer-client
Frank-Hao
·
2017-01-08 14:03
kafka
分布式
翻译
Confluent
修改许可,限制其他云供应商
Confluent
宣布更改其ConfluentPlatform某些组件的许可协议,ConfluentPlatform是一个提供传输数据功能的流式平台,也是连接系统和数据源的工具。
cpongo2
·
2016-07-27 05:01
Apache Kafka Security 101
ApacheKafkaSecurity101http://www.
confluent
.io/blog/apache-kafka-security-authorization-authentication-encryptionTLS
SIMONE
·
2016-06-30 19:00
Confluent
Platform 3.0支持使用Kafka Streams实现实时的数据处理
来自
Confluent
的ConfluentPlatform3.0消息系统支持使用KafkaStreams实现实时的数据处理,这家公司也是在背后支撑ApacheKafka消息框架的公司,它近日宣布最新的开源平台已经达到了通用发布
Srini Penchikala
·
2016-06-16 00:00
Kafka0.10新特性
5月23日
Confluent
官方宣布ApacheKafka0.10正式发布。
kane_xie
·
2016-05-26 22:00
kafka
0.10
上一页
1
2
3
4
5
6
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他