Kafaka

Linux上安装部署Kafka

0.10.2.1/kafka_2.11-0.10.2.1.tgz一台Linux服务器Java环境安装部署kafka_2.11-0.10.2.1.tgz文件下载下来，移动到自己的目录下我这里是/opt/kafaka
爆裂码手·2018-05-10 17:01

kafak权限管理

网上中文资料又少，特此基于kafka0.9，记录kafaka的权限控制(flume需要1.7及其以上才支持kafka的SSL认证)。下面各位看官跟着小二一起开始kafak权限认证之旅吧！嘎嘎嘎！
shengjk1·2018-05-07 13:44

【Strom篇】Flume+Kafaka+Strom整合完成信息记录

第一部分：流程分析由flume收集客户端发送的信息，经过kafka集群消费者收集，然后给storm集群数据处理（数据清洗），最后再发给kafka集群收集。第二部分：集群搭建flume+kafka一、配合flume修改flume-env.sh里的JAVA_HOME的位置，（flume仅修改此处）（若查看flume的版本通过：./binflume-ngversion）二、创建fk.conf（flume
塵世星空·2018-05-06 18:56

【Kafka】如何彻底删除topic

kafka-logs”）相关topic目录2、Kafka删除topic的命令是：kafka/bin/kafka-topics.sh--delete--zookeeperZookeeper地址--topic主题名称如果kafaka
Diligent_ten·2018-04-24 19:48

【Kafka】如何彻底删除topic

kafka-logs”）相关topic目录2、Kafka删除topic的命令是：kafka/bin/kafka-topics.sh--delete--zookeeperZookeeper地址--topic主题名称如果kafaka
Diligent_ten·2018-04-24 19:48

kafka对比ActiveMQ

虽然不是作为传统的MQ来设计，在大部分情况，Kafaka也可以代替原先ActiveMQ等传统的消息系统。
Andy2019·2018-03-19 08:09

[Kafaka Broker Configs]--log.retention.hours

我们先看看官方最新说明：log.retention.hours：Thenumberofhourstokeepalogfilebeforedeletingit(inhours),tertiarytolog.retention.mspropertylog.retention.minutes：Thenumberofminutestokeepalogfilebeforedeletingit(inminut
highfei2011·2018-03-09 11:41

Flume异常kafaka-producer

线上运行的时单行日志超7M时会导致Flume异常，导致无法正常提供服务。2017-07-1014:55:10,649(SinkRunner-PollingRunner-DefaultSinkProcessor)[ERROR-org.apache.flume.sink.kafka.KafkaSink.process(KafkaSink.java:240)]Failedtopublisheventsj
一条湫刀鱼·2017-12-25 16:23

大数据知识点第1节

我们部署在哪个路径下，假如那个路径不存在，我们要先创建什么默认/usr/java，如果不存在，需要先创建4、flume的三个组件source:源端channel:通道memory|diskfilesink:目标端5、kafaka
CoderF·2017-12-18 15:29

Spark Streaming读取Kafka数据

Kafka为一个分布式的消息队列，spark流操作kafka有两种方式：一种是利用接收器（receiver）和kafaka的高层API实现。
明翼·2017-12-04 05:38

kafka 分区和副本以及kafaka 执行流程，以及消息的高可用

1、Kafka概览Apache下的项目Kafka(卡夫卡)是一个分布式流处理平台，它的流行是因为卡夫卡系统的设计和操作简单，能充分利用磁盘的顺序读写特性。kafka每秒钟能有百万条消息的吞吐量，因此很适合实时的数据流处理。例如kafka在线日志收集系统可作为flume的实时消息sink端，再通过kafka的消费者将消息实时写入hbase数据库中。卡夫卡以topic分类对记录进行存储，每个记录包含k
在路上------·2017-11-10 16:00

flume/kafaka/spqrk测试用例

flume/kafaka/spqrk测试用例一、flume+spark(一)flume代码#execsource+memorychannel+hdfssink#Namethecomponentsonthisagenta2
Kumquatlemon·2017-07-03 09:39

彻底删除Kafka中的topic

/bin/kafka-topics--delete--zookeeper【zookeeperserver】--topic【topicname】如果kafaka启动时加载的配置文件中server.propertie
两榜进士·2017-06-20 14:23

Kafka系列3-python版本producer生产者和consumer消费者实例

importsysimporttimeimportjsonfromkafkaimportKafkaProducerfromkafkaimportKafkaConsumerfromkafka.errorsimportKafkaErrorKAFAKA_HOST="127.0.0.1"KAFAKA
kuluzs·2017-05-04 15:57

ELK5.3+Kafka集群配置

Broker(input:filebeat;output:Kafka)10.101.2.2310.101.2.2410.101.2.25#2台4C*8G,安装Logstash——Indexer(input:Kafaka
howlshadow·2017-05-04 15:38

Language

TODOJava(jdk8),Scala,Spring,Spark,Python,Linux,C,Netty,HttpClient,HadoopYARN,RaspberryPiJetty,Tomcat,Kafaka
_再见理想·2016-11-22 21:00

kafka权限认证

网上中文资料又少，特此基于kafka0.9，记录kafaka的权限控制(flume需要1.7及其以上才支持kafka的SSL认证)。下面各位看官跟着小二一起开始kafak权限认证之旅吧！嘎嘎嘎！
shengjk1·2016-11-14 18:01

多数据中心kafaka，flume使用情况

作为互联网公司，网站监测日志当然是数据的最大来源。我们目前的规模也不大，每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完成，之前，业务中对实时的要求并不高，最多也就是准实时（延迟半小时以上），因此，我们使用Flume将数据收集到HDFS，然后进行清洗和分析。后来，根据业务需要，我们有了两个Hadoop集群，并且部署在不同的地方（北京和西安），而所有的日志收集服务器在北京，因此需要将
程序员成长史·2016-06-22 13:14

Kafka学习整理二(定义、特点、应用场景)

Kafka是一个分布式的、分区化、可复制提交的日志服务LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和，那么作为一个可扩展、高可靠的消息系统Kafaka的特点Kafaka是分布式的，其所有的构件
louisliao_1981·2016-05-27 14:50

Kafka学习整理(定义、特点、应用场景)

Kafka是一个分布式的、分区化、可复制提交的日志服务LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和，那么作为一个可扩展、高可靠的消息系统Kafaka的特点Kafaka是分布式的，其所有的构件
LOUISLIAOXH·2016-05-27 14:00

NATS之gnatcd初体验

现在MessageQueue有多种选择，比如Java的Kafaka/ActiveMQ、Erlang的RabbitMQ、Golang的NSQ以及这里要说的gnatcd。
CZ_Golang·2016-04-24 15:38

第89课程 Spark STREAMING kafka 测试完成!生产者发数据,消费者收数据

生产者发数据,消费者收数据 kafaka1.cat /usr/local/kafka_2.10-0.9.0.1/config/server.propertieszookeeper.connect=master
duan_zhihua·2016-04-23 22:00

第89课 SparkStreaming Kafaka 准备---安装Zookeeper

SparkStreamingKafaka准备---安装Zookeeper1、解压zookeeper-3.4.6.tar2.exportZOOKEEPER_HOME=/usr/local/zookeeper-3.4.6exportPATH=.:$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin:$HIVE_HOM
duan_zhihua·2016-04-23 19:00

kafka分布式搭建

192.168.230.129)master (192.168.230.130)slave1 (192.168.230.131)salve2 在master、slave1、slave2三台主机上配置kafaka
qq_25371579·2016-04-09 14:00

kakfa的常用命令总结

Kafka的版本间差异较大，下面是0.8.1的操作方法首先cd到kafaka的bin目录下;＃step1启动zookeeper服务nohupbin/zookeeper-server-start.shconfig
丹江湖畔养蜂子赵大爹·2016-03-09 17:00

消息队列（Message Queue)基本概念，如redis，kafka

##背景之前做日志收集模块时，用到flume，另外也有的方案，集成kafaka来提升系统可扩展性，其中涉及到消息队列，当时自己并不清楚为什么要使用消息队列，而在我自己提出的原始日志采集方案中不适用消息队列时
ronin47·2016-02-15 08:00

彻底删除Kafka中的topic

/bin/kafka-topics--delete--zookeeper【zookeeperserver】--topic【topicname】如果kafaka启动时加载的配置文件中server.propertie
fengzheku·2016-01-26 11:08

ELK平台性能优化（不断完善中）

架构层面在logstashshipper和index之间增加redis或kafaka代理缓存ElasticsearchES系统性能让JVM使用OS的max-open-filesulimit-n1000000
xtjsxtj·2015-11-11 17:00

Kafka协议翻译

关于Kafaka的协议，请参考kafkaprotocol。关于Kafka的设计理念，参考kafkalog。本文主要是记录kafka协议中
winlinvip·2015-09-17 16:00

Kafka VS ActiveMQ

虽然不是作为传统的MQ来设计，在大部分情况，Kafaka也可以代替原先ActiveMQ等传统的消息系统。
xuguokun1986·2015-07-24 17:00

Kafka 对比 ActiveMQ

虽然不是作为传统的MQ来设计，在大部分情况，Kafaka也可以代替原先ActiveMQ等传统的消息系统。
xuguokun1986·2015-07-24 17:00

kafaka学习

创建一个topic： [root@hdp1 bin]# ./kafka-topics.sh --create --zookeeper hdp1:2181 --replication-factor 1 --partitions 1 --topic justin Created topic "justin". [root@hdp1 bin]# pwd /usr/hdp/
·2015-07-15 10:00

kafaka+spark+hdfs简单实例

1.spark的standalone搭建很简单，简单列出相应的配置文件. vi spark-env.sh #!/usr/bin/env bash export SCALA_HOME=/opt/scala-2.10.3 export JAVA_HOME=/opt/jdk1.7.0_79 export SPARK_MASTER_IP=192.168.1.16 export SPARK_WO
hadasione·2015-05-09 12:00

Kafaka（分布式发布订阅消息系统）

http://kafka.apache.org/目前越来越多的开源分布式处理系统如ApacheStorm、Spark都支持与Kafka集成。组件Broker['brəʊkə]n.经纪人Kafka集群包含一个或多个服务器，这种服务器被称为broker。Topic每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。Partition每个Topic包含一个或多个Partition。Pr
chuchus·2015-04-17 16:00

Kafka常用操作

Kafka的版本间差异较大，下面是0.8.1的操作方法首先cd到kafaka的bin目录下，操作kafka的工具都在这里呢。如果发现找不到，或者名字不对，说明kafka版本不对。
卢禹·2014-04-17 17:00

Kafka消息订阅发布系统设计介绍

转http://hi.baidu.com/wupengwuhao/blog/item/b836e8c4985a8122f8dc61b7.html Kafka学习总结 一、Kafaka简介 Kafka
kavy·2012-05-15 11:00

kafka 消息订阅发布系统设计介绍

 Kafka消息订阅发布系统设计介绍转自:http://blog.csdn.net/dahaifeiyu/article/details/6455989Kafka学习总结一、Kafaka简介Kafka是一个分布式的消息发布
tylgoodluck·2012-03-12 14:00

Kafka消息订阅发布系统设计介绍

Kafka学习总结一、Kafaka简介Kafka是一个分布式的消息发布-订阅系统。它的特性如下：l 通过在O(1)的磁盘数据结构上提供消息持久化，对于即使数以TB的消息存储也能够保持长时间的稳定性能。
dahaifeiyu·2011-05-31 08:00
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他