kafka-

kafka-主要参数

原文档地址：http://kafka.apache.org/documentation.html#############################System##############################唯一标识在集群中的ID，要求是正数。broker.id=0#服务端口，默认9092port=9092#监听地址，不设为所有地址host.name=debugo01#处理网络请
大飞哥2·2018-03-02 15:43

Logstash/Filebeat->Logstash->Kafka->Spring-kafka->MongoDb->Spark日志收集和处理

Logstash/Filebeat->Logstash->Kafka->Spring-kafka->MongoDb日志收集和处理Logstash/Filebeat->Logstash->Kafka->Spring-kafka
CL有毒·2018-03-01 11:04

Logstash/Filebeat->Logstash->Kafka->Spring-kafka->MongoDb->Spark日志收集和处理

Logstash/Filebeat->Logstash->Kafka->Spring-kafka->MongoDb日志收集和处理Logstash/Filebeat->Logstash->Kafka->Spring-kafka
CL有毒·2018-03-01 11:04

kafka-配置-request.required.acks

0,Thisvaluecontrolswhenaproducerequestisconsideredcompleted.Specifically,howmanyotherbrokersmusthavecommittedthedatatotheirlogandacknowledgedthistotheleader?Typicalvaluesare0,whichmeansthattheproducer
海德堡绝尘·2017-12-05 01:26

发行说明 - Kafka - 版本1.0.0

发行说明-Kafka-版本1.0.0以下是Kafka1.0.0发行版中解决的JIRA问题的摘要。有关该版本的完整文档，入门指南以及有关该项目的信息，请参阅Kafka项目网站。
全能程序猿·2017-11-07 20:43

kubernetes日志采集与解析

需求：当我们创建deployment后，我们希望能够收集到这些deployment每个pod的终端日志，并且能够通过deployment的名字以及pod的名字进行过滤日志方案filebeat->kafka
涵潮来袭·2017-11-06 20:31

ELK实时日志分析平台(elk+kafka+metricbeat)-搭建说明(一)

数据流向：metricbeat->kafka->logstash->elasticsearch->kibana.应用分布：主机应用备注192.168.30.121javaversion"1.8.0_144
zhuxtqw·2017-09-08 11:26

kafka-架构(详解)

目录特点整体架构ProducerBrokercontrollerTopicPartitionReplicaleaderfollowerzookeeperConsumerConsumerGroupoffset参考站点特点一种高吞吐量的分布式发布订阅消息系统1、通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。2、高吞吐量:即使是非常普通的硬件K
小蜗牛也有梦想·2017-05-25 14:24

kafka-通俗易懂基础概念篇

一些大的网站如果想统计用户的访问情况，如果每个用户的访问，都在后端经过一系列的用户行为分析，然后再给客户返回结果这显然不现实，直接写入数据库，数据库也扛不住，这时候就需要一个消息系统，在用户一个请求过来后，服务器只需要把这次操作扔到后端，不用管后端的处理结果，直接返回给用户结果，这样用户体验才比较好，比较符合实际情况Kafka是一个分布式的消息系统，作为用户来说，只需要把数据扔给kafka，在需要
马鹏飞·2017-05-15 23:15

Logstash安装部署配置

之前的定技术栈是flume->kafka->storm->hdfs.其中通过storm需要写代码，稳定性，可扩展性，维护性不好。
h_1_y_m·2017-04-28 10:00

Kafka常用指令

/kafka-
PinXiong·2017-04-25 10:00

Kafka实时流数据经Storm至Hdfs

目前HDFS上日志一部分由MR清洗生成&二次计算，一部分直接从服务器离线上传，但在私有云环境下，离线日志的压缩上传可能会对服务造成性能影响，而且在很多日志已经实时传输到Kafka集群的情况下，考虑Kafka
沧南·2017-03-14 18:16

Kafka实时流数据经Storm至Hdfs

目前HDFS上日志一部分由MR清洗生成&二次计算，一部分直接从服务器离线上传，但在私有云环境下，离线日志的压缩上传可能会对服务造成性能影响，而且在很多日志已经实时传输到Kafka集群的情况下，考虑Kafka
沧南·2017-03-14 18:16

Kafka到Hdfs的数据Pipeline整理

作者：Syn良子出处：http://www.cnblogs.com/cssdongl转载请注明出处找时间总结整理了下数据从Kafka到Hdfs的一些pipeline，如下1>Kafka->Flume–>
两榜进士·2017-03-06 16:36

玩儿透ELK体系大型日志分析集群方案设计.搭建.调优.管理

->Kafka->Logstash->
愚人乙·2017-01-16 19:50

spark 学习笔记

Spark学习笔记DataSource->Kafka->SparkStreaming->Parquet->SparkSQL(SparkSQL可以结合ML、GraphX等)->Parquet->其它各种DataMining
哎哟喂喽·2017-01-15 10:51

spark 学习笔记

Spark学习笔记DataSource->Kafka->SparkStreaming->Parquet->SparkSQL(SparkSQL可以结合ML、GraphX等)->Parquet->其它各种DataMining
哎哟喂喽·2017-01-15 10:51

美团外卖演化之路

设计之初外卖app,外卖web 移动后台，web后台 DB 订单列表flume->kafka->storm->HBase->(下单[各种信息]_-支付-推送) 性能大盘 cpuidle db读写qps
cabing2005·2017-01-06 15:00

实时同步MySQL数据到Elasticsearch

CDC工具可选择OracleGoldenGate或者Zendesk开源的Maxwell，MySQL->GoldenGate或Maxwell->Kafka->Logstash->Elasticsearch
colinluo·2016-10-10 22:39

用flume的intercepter作数据格式转换和清洗

整个数据的流程是nginx->flume->kafka->spark，除了数据量较大，spark无法及时处理之外，还存在kafka各个partition的数据分布不均衡，spark的job只有少数几个有数据
bottle123·2016-07-18 16:17

kafka-系列2

十、消息和日志消息由一个固定长度的头部和可变长度的字节数组组成。头部包含了一个版本号和CRC32校验码。/***具有N个字节的消息的格式如下**如果版本号是0**1.1个字节的"magic"标记**2.4个字节的CRC32校验码**3.N-5个字节的具体信息**如果版本号是1**1.1个字节的"magic"标记**2.1个字节的参数允许标注一些附加的信息比如是否压缩了，解码类型等**3.4个字节的
lb7758zx·2016-05-30 11:00

kafka-系列1

问题导读1.Kafka独特设计在什么地方？2.Kafka如何搭建及创建topic、发送消息、消费消息？3.如何书写Kafka程序？4.数据传输的事务定义有哪三种？5.Kafka判断一个节点是否活着有哪两个条件？6.producer是否直接将数据发送到broker的leader(主节点)？7.Kafaconsumer是否可以消费指定分区消息？8.Kafka消息是采用Pull模式，还是Push模式？9
lb7758zx·2016-05-30 10:00

Spark Streaming+Kafka+Hive+JSON实时增量计算示例

业务架构：JavaScript->Netty->Kafka->SparkStreaming+Hive->Redis->PHP1.JavaScript作为统计脚本发送后端服务器2.Netty用来接收请求，
lsjlnd·2016-05-18 22:04

开源技术and工具

一个基于Lucene的搜索服务器kibana-一个为Logstash和ElasticSearch提供的日志分析的Web接口lucene-一个开放源代码的全文检索引擎工具包ActiveMQ-开源消息总线kafka
itace·2016-02-26 07:20

kafka-简单事例

 开始创建项目，这里所用的工程结构是maven。 在pox.xml中添加kafka的依赖包，如下所示：org.apache.kafkakafka_2.9.10.8.2.2  依赖配置参照 http://mvnrepository.com/search?q=kafka 中对应的kafka版本 下面开始编写代码：1.ConfigureAPI 首先是一个配置结构类文件，配置Kafka的相关参数，代码如下
一寸相思万千劫·2016-01-14 13:00

kafka->logstash->es

    本片博客的场景：具有一定格式的数据首先被推送到Kafka活着是redis（本实验选择的是Kafka），当数据从Kafka出来之后，被送到Logstash进行简单的处理，然后数据从Logstash出来再被存储进Elasticsearch中。    首先需要说明的一点是，开始用的是Elasticsearch-1.7.1、Logstash-1.5.4、JDK-1.7.0_79，在将es配置成为L
xuguokun1986·2015-10-27 18:00

Kafka-消息中间件

             Kafka    一个高吞吐量的（high-throughput）分布式消息系统Features Fast  AsingleKafkabrokercanhandlehundredsofmegabytes(兆)ofreadsandwritespersecond fromthousandsofclients. Scalable(可扩展)  Kafkaisdesignedtoa
come_for_dream·2015-09-14 21:00

Kafka-消息中间件

阅读更多Kafka一个高吞吐量的（high-throughput）分布式消息系统FeaturesFastAsingleKafkabrokercanhandlehundredsofmegabytes(兆)ofreadsandwritespersecondfromthousandsofclients.Scalable(可扩展)Kafkaisdesignedtoallowasingleclusterto
come_for_dream·2015-09-14 21:00

Kafka-消息中间件

阅读更多Kafka一个高吞吐量的（high-throughput）分布式消息系统FeaturesFastAsingleKafkabrokercanhandlehundredsofmegabytes(兆)ofreadsandwritespersecondfromthousandsofclients.Scalable(可扩展)Kafkaisdesignedtoallowasingleclusterto
come_for_dream·2015-09-14 21:00

Kafka->SparkStreaming

目的：将kafka输出的数据直接发给SparkStreeaming代码实现：packagecom.test; importjava.util.Map; importjava.util.HashMap; importjava.util.regex.Pattern; importscala.Tuple2; importcom.google.common.collect.Lists; impor
xuguokun1986·2015-09-06 20:00

Kafka->Mongodb->Es

实现了将Kafka中的数据推送给Mongodb，然后再将Mongodb中的数据推送给Es的过程。数据来源是来自txt文档中的180万条数据。准备工作：1）在Mongdb集群上创建一个数据库mydb，并创建一个空的Collection，命名为netflows@SuppressWarnings("deprecation") Mongomongo=newMongo("10.10.16.251",1011
xuguokun1986·2015-08-31 19:00

flume+kafka+Druid 流数据查询聚合工具

整个系统的架构是 flume->kafka->druid，flume 与kafka的整合之前在搭建flume->kafka->storm的时候有详细文
shen_jz2012·2015-08-28 19:00

flume写kafka topic覆盖问题fix

结构：nginx-flume->kafka->flume->kafka(因为牵扯到跨机房问题，在两个kafka之间加了个flume,蛋疼。。)
菜菜光·2015-04-25 18:07

flume写kafka topic覆盖问题fix

结构：nginx-flume->kafka->flume->kafka(因为牵扯到跨机房问题，在两个kafka之间加了个flume,蛋疼。。)
菜菜光·2015-04-25 18:07

flume写kafka topic覆盖问题fix

结构：nginx-flume->kafka->flume->kafka(因为牵扯到跨机房问题，在两个kafka之间加了个flume,蛋疼。。)
菜菜光·2015-04-25 18:07

storm准实时应用

2设计架构：1）客户端产生数据---2）kafka-生产者实时采集数据（保留7天）-----3）storm实时消费数据，处理数据4）把实时数据统计结果缓存到memcached中5）把数
li72li72·2014-12-29 22:16

storm准实时应用

2 设计架构：        1） 客户端产生数据---        2） kafka-生产者实时采集数据（保留7天）-----        3） storm实时消费数据，处理数据        4
lili72·2014-12-29 22:00

MongoDB【最新版V2.6】－ 系列 3： 架构的设计-Replica Sets

阅读背景：        在阅读MongoDB架构设计ReplicaSets之前，请先阅读Kafka-架构设计的博文。用以对比。
止静·2014-10-24 16:00

kafka【系统配置说明】 - server.properties

socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socket.request.max.bytes=104857600 log.dirs=/tmp/kafka
止静·2014-09-12 16:00

Kafka(1)Install on Redhat and Try Java Client

people.apache.org/~nehanarkhede/kafka-0.7.0-incubating/kafka-0.7.0-incubating-src.tar.gz >tar zxvf kafka
sillycat·2012-06-18 17:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他