kakfa

Kafka整合SpringBoot

org.springframework.kafkaspring-kafka1.1.1.RELEASE生产者：@ComponentpublicclassKakfaProducer2{@AutowiredprivateKafkaTemplatekafkaTemplate
meihuiziaaaaaa·2018-04-17 09:55

kafka原理

概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala和java编写，以可水平扩展和高吞吐率而被广泛使用。
fanren224·2018-03-26 09:09

流式计算--Kafka详解

理解storm、sparkstreamming等流式计算的数据来源、理解JMS规范、理解Kafka核心组件、掌握Kakfa生产者API、掌握Kafka消费者API。
贫僧洗头爱飘柔·2018-03-24 16:02

Kafka源码深度解析－序列3 －Producer －Java NIO

下面首先看一下，在Sender和服务器之间的部分：可以看到，Kafkaclient基于JavaNIO封装了一个网络层，这个网络层最上层的接口是KakfaClient。其层次关系
jokul_51·2018-02-02 20:15

kafka数据可靠性深度解读

1概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。
朱小厮·2018-01-01 12:54

kafka入门介绍（转载）

什么是kakfa的优势？它应用于2大类应用：构建实时的流数据管道，可靠地获取系统和应用程序之间的数据。构建实时流的应用程序，对数据流进行转换或反应。要了解kafka是如何做这些事情的，让
晴天哥_王志·2017-12-10 05:50

Spark Streaming读取Kafka数据

1.Reveiver方式基于Receiver方式实现会利用Kakfa的高层消费API，和所有的其他Receivers一样，接受到的数据会保存到excutors中，然后由spar
明翼·2017-12-04 05:38

Flume+Kakfa+Spark Streaming整合（运行WordCount小例子）

环境版本：Scala2.10.5;Spark1.6.0;Kafka0.10.0.1;Flume1.6.0Flume/Kafka的安装配置请看我之前的博客:http://blog.csdn.net/dr_guo/article/details/52130812http://blog.csdn.net/dr_guo/article/details/510507151.Flume配置文件kafka_si
光于前裕于后·2017-11-21 21:00

kafka 数据可靠性深度解读

kafka数据可靠性深度解读2017-06-11架构文摘1概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用
joniers·2017-06-14 11:00

kafka数据可靠性深度解读

1概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。
kangbin825·2017-06-11 15:00

Logstash笔记（一）

当然它可以单独出现，作为日志收集软件，你可以收集日志到多种存储系统或临时中转系统，如MySQL，redis，kakfa，HDFS,lucene，s
lqbyz·2017-05-22 17:45

kafka数据可靠性深度解读

原文链接：http://www.7zhang.com/index/cms/read/id/310864.html摘录链接：http://www.jasongj.com/tags/Kafka/1概述Kakfa
liuxiangke0210·2017-05-06 14:00

kafka数据可靠性深度解读

1概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。
u013256816·2017-05-02 11:00

分布式消息队列RocketMQ与Kafka的18项差异之“拨乱反正“之2

在前1篇，我讨论了RocketMQ与Kakfa的对比中，几个不太严谨的地方。本着严谨的精神，不偏袒任何一方，本篇想分析一下RocketMQ在Kafka的基础上，的确做的几个改进。有不对之处，敬请指正。
travi·2016-12-28 20:32

logstash安装文档

logstash是一款日志采集工具，开发语言是JRuby，你可以收集日志到多种存储系统或临时中转系统，如ElasticSearch，MySQL，redis，MongoDB，kakfa，HDFS,lucene
叶尘封·2016-12-16 15:01

导入Logstash日志到Elasticsearch

当然它可以单独出现，作为日志收集软件，你可以收集日志到多种存储系统或临时中转系统，如MySQL，redis，kakfa，HDFS,lucene，solr等并不一定是ElasticSearch。
esc_ai·2016-11-22 10:24

导入Logstash日志到Elasticsearch

当然它可以单独出现，作为日志收集软件，你可以收集日志到多种存储系统或临时中转系统，如MySQL，redis，kakfa，HDFS,lucene，solr等并不一定是ElasticSearch。
napoay·2016-11-22 10:00

Kafka源码深度解析－序列9 －Consumer －SubscriptionState内部结构分析

2种订阅策略在第1篇讲过，consumer可以自己指定要消费哪个partition，而不是让consumerleader自动分配，对应的，也就是调用KakfaConsumer::assign(Listpartitions
travi·2016-10-13 14:01

Kafka源码深度解析－序列3 －Producer －Java NIO

下面首先看一下，在Sender和服务器之间的部分：可以看到，Kafkaclient基于JavaNIO封装了一个网络层，这个网络层最上层的接口是KakfaClient。其层次关系如下：在
travi·2016-09-23 11:31

分布式消息中间件（七）——Kafka安装及配置详解（Linux）

一、Zookeeper集群准备Kafka服务有赖于Zookeeper来管理，故在安装kakfa前先安装zk集群环境。
钟艾伶·2016-06-19 16:04

分布式消息中间件（七）——Kafka安装及配置详解（Linux）

一、Zookeeper集群准备Kafka服务有赖于Zookeeper来管理，故在安装kakfa前先安装zk集群环境。
Daybreak1209·2016-06-19 16:00

Spark-Sql创建多数据源Join实例——涉及关系库数据源

Spark-Sql创建多数据源Join实例——涉及关系库数据源1、Spark-Sql数据来源有多种，Hive，Kakfa，RDD及关系库等。
kwu_ganymede·2016-05-26 16:55

Spark-Sql创建多数据源Join实例——涉及关系库数据源

Spark-Sql创建多数据源Join实例——涉及关系库数据源1、Spark-Sql数据来源有多种，Hive，Kakfa，RDD及关系库等。
kwu_ganymede·2016-05-26 16:00

Spark-Streaming处理Kafka数据——封装成对象处理

我们如何封装成对象处理呢首先准备数据，kafka的数据，这是Person的信息，包括id,name,age的信息：1billy142lily163lilei174lucy135green116jim177tom152、通过Kakfa
kwu_ganymede·2016-05-22 23:54

Spark-Streaming处理Kafka数据——封装成对象处理

我们如何封装成对象处理呢首先准备数据，kafka的数据，这是Person的信息，包括id,name,age的信息：1billy14 2lily16 3lilei17 4lucy13 5green11 6jim17 7tom152、通过Kakfa
kwu_ganymede·2016-05-22 23:00

Logstash收集日志

当然它可以单独出现，作为日志收集软件，你可以收集日志到多种存储系统或临时中转系统，如MySQL，redis，kakfa，HDFS,luc
王念博客·2016-05-05 09:00

java代码之kakfa生产者

Kafka原理图JAVA源代码之kafka生产者，本次客户端使用kafka的console命令行，消费，生产者使用代码编码。看了好多生产者代码都带有props.put("zk.connect", "n2:2181/jafka");  真是感到不解，没有这个参数也可以运行的好好的，实践出真知，弄懂原理真的很重要，具体如下：importjava.util.Properties;importkafka.
gaojingsong·2016-04-27 22:00

kafka集群的安装

publish在kakfa中是一个producer的
寻静寻俭·2016-04-18 13:17

kafka-0.8.1.1总结

kakfa架构设计...35二、        流程篇...361、     kafka启动过程...362、     
qq_22929803·2016-04-14 20:00

Flume与Kafka整合

Flume与Kakfa整合flume官方下载地址：https://flume.apache.org/download.html 建议下载最新的1.6.0版本的，因为1.6.0版本的集成了整合kafka
qq_25371579·2016-04-11 21:00

Kafka源码分析之MemoryRecords

     MemoryRecords是Kakfa中Record在内存中的实现形式，它基于JavaNIO中ByteBuffer来实现。
lipeng_bigdata·2016-04-10 14:00

带你认识一下Kafka

Kafk你必须知道的几个关键术语topics：Kafka接收的各种各样的消息producers：发送消息到Kafkaconsumers：从Kafka接收消息的订阅者broker：一个或多个服务器组成的Kakfa
genuinecx·2016-04-07 11:25

带你认识一下Kafka

Kafk你必须知道的几个关键术语topics：Kafka接收的各种各样的消息producers：发送消息到Kafkaconsumers：从Kafka接收消息的订阅者broker：一个或多个服务器组成的Kakfa
genuinecx·2016-04-07 11:25

kakfa源码编译打包

kakfa项目编译：cd/home/zhaofuxin/workspace/kafka-0.8.2.1-src.
丹江湖畔养蜂子赵大爹·2016-03-09 17:00

kakfa的常用命令总结

Kafka的版本间差异较大，下面是0.8.1的操作方法首先cd到kafaka的bin目录下;＃step1启动zookeeper服务nohupbin/zookeeper-server-start.shconfig/zookeeper.properties>zookeeper.out&＃step2启动kafka服务nohupbin/kafka-server-start.shconfig/server.
丹江湖畔养蜂子赵大爹·2016-03-09 17:00

Kakfa集群搭建

先来整体熟悉下Kafka的一些概念和架构（一）什么是Kafka？Kafka是由LinkedIn开发并开源的一个分布式消息系统，因其分布式和高吞吐率被广泛应用，现在已经在Hadoop和Spark等大数据的生态系统中成为一个必不可少的生态组件，可与各种计算模型，如离线计算，实时计算，流计算对接数据。（二）为什么要用Kafka？1，以时间复杂度O（1）的方式提供消息持久化和访问能力，即使应对TB级数据也
qindongliang1922·2016-02-26 08:53

Kakfa集群搭建

阅读更多先来整体熟悉下Kafka的一些概念和架构（一）什么是Kafka？Kafka是由LinkedIn开发并开源的一个分布式消息系统，因其分布式和高吞吐率被广泛应用，现在已经在Hadoop和Spark等大数据的生态系统中成为一个必不可少的生态组件，可与各种计算模型，如离线计算，实时计算，流计算对接数据。（二）为什么要用Kafka？1，以时间复杂度O（1）的方式提供消息持久化和访问能力，即使应对TB
qindongliang1922·2016-02-23 15:00

Kakfa集群搭建

阅读更多先来整体熟悉下Kafka的一些概念和架构（一）什么是Kafka？Kafka是由LinkedIn开发并开源的一个分布式消息系统，因其分布式和高吞吐率被广泛应用，现在已经在Hadoop和Spark等大数据的生态系统中成为一个必不可少的生态组件，可与各种计算模型，如离线计算，实时计算，流计算对接数据。（二）为什么要用Kafka？1，以时间复杂度O（1）的方式提供消息持久化和访问能力，即使应对TB
qindongliang1922·2016-02-23 15:00

Spark Streaming流式计算的WordCount入门

它将作业分解成一批一批的短小的批处理任务，然后并行计算，具有可扩展，高容错，高吞吐，实时性高等一系列优点，在某些场景可达到与Storm一样的处理程度或优于storm，也可以无缝集成多重日志收集工具或队列中转器，比如常见的kakfa
qindongliang1922·2016-01-31 13:45

2015年的总结

做了一年的基于rdms数据仓库的开发、ETL工具的开发，彻底了解CUBE的计算过程，同时与分布式里面的hive、kylin原理的理解4、安装使用分布式计算引擎、包括hadoop、spark、storm、kakfa
gstsyyb·2016-01-26 07:00

分布式消息队列的使用kakfa

作用：1、系统解耦2、通过消息可以减少系统的处理压力，做一个缓冲3、原理基于生存者消费者的模式4、两种场景：队列（端对端一对一）、主题（一对多，广播模式）5、消息：header、body构成6、消息的存储、转发、过期时间7、消息服务，存储消息的一个数据库=======================================================概念：消费者：consumer生存者
gstsyyb·2016-01-24 14:00

跟学我Kakfa源码搭建环境（一）

Kafkaisadistributed,partitioned,replicatedcommitlogservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无
flychao88·2015-12-08 13:00

分布式日志收集之Logstash 笔记（一）

当然它可以单独出现，作为日志收集软件，你可以收集日志到多种存储系统或临时中转系统，如MySQL，redis，kakfa，HDF
九劫散仙·2015-11-05 10:00

分布式日志收集之Logstash 笔记（一）

当然它可以单独出现，作为日志收集软件，你可以收集日志到多种存储系统或临时中转系统，如MySQL，redis，kakfa，
qindongliang1922·2015-11-05 10:00

分布式日志收集之Logstash 笔记（一）

当然它可以单独出现，作为日志收集软件，你可以收集日志到多种存储系统或临时中转系统，如MySQL，redis，kakfa，
qindongliang1922·2015-11-05 10:00

分布式日志收集之Logstash 笔记（一）

当然它可以单独出现，作为日志收集软件，你可以收集日志到多种存储系统或临时中转系统，如MySQL，redis，kakfa，HDFS
qindongliang1922·2015-11-05 10:00

【原创】Kakfa utils源代码分析(三)

Kafka utils包最后一篇~~~ 十五、ShutdownableThread.scala 可关闭的线程抽象类！ 继承自Thread同时还接收一个boolean变量isInterruptible表明是否允许中断。既然是可关闭的，因此一定不是守护线程，而是一个用户线程(不会阻塞JVM关闭)。提供的方法有:   1. doWork:  抽象方法。子类必须实现这个
·2015-10-28 08:11

【原创】Kakfa utils源代码分析(一)

Kafka.utils，顾名思义，就是一个工具套件包，里面的类封装了很多常见的功能实现——说到这里，笔者有一个感触：当初为了阅读Kafka源代码而学习了Scala语言，本以为Kafka的实现会用到很多函数编程(Functional Programming, FP)，结果目前来看，大部分还是很朴素地以面向对象的方式来实现的，只有很少一部分集合的处理使用诸如map，reduce这样的FP方式。不能不说
·2015-10-28 08:10

【原创】Kakfa utils源代码分析(二)

我们继续研究kafka.utils包 八、KafkaScheduler.scala 首先该文件定义了一个trait:Scheduler——它就是运行任务的一个调度器。任务调度的方式支持重复执行的后台任务或是一次性的延时任务。这个trait定义了三个抽象方法: 1. startup: 启动调度器，用于接收调度任务 2. shutdown: 关闭调度器。一旦关闭就不
·2015-10-28 08:10

【原创】Kakfa api包源代码分析

既然包名是api，说明里面肯定都是一些常用的Kafka API了。 一、ApiUtils.scala 顾名思义，就是一些常见的api辅助类，定义的方法包括： 1. readShortString: 从一个ByteBuffer中读取字符串长度和字符串。这个ByteBuffer的格式应该是：2个字节的字符串长度值N+N个字节的字符串 2. writeShortString: 与read
·2015-05-06 11:00
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他