Kafak

hadoop（十四）kafaka消息队列

kafka笔记1/kafka是一个分布式的消息缓存系统2/kafka集群中的服务器都叫做broker3/kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接4/kafka中不同业务系统的消息可以通过topic进行区分，而且每一个消息topic都会被分区，以分担消息读写的负载5/每一个分区都可以有多个副
cat a.zip >> b.jpg·2018-08-26 10:46

框架篇-springcloud config

框架篇-springcloudconfighttps://www.cnblogs.com/ityouknow/p/6931958.html消息推送靠什么推送呢看见推送就应该想到MQ公司ARK架构用的是Kafak
文青_周·2018-08-25 20:42

docker制作logstash镜像，实现kafaka到宿机文件

1：编辑相关文件cd/root/dockerFilechmod777logstashcdlogstashlogstash包括三个文件：Dockerfile，kafkafile1（777权限，数据就是往这个文件写），logstashKafka.conf（logstash的配置文件）Dockerfile文件内容：FROMlogstash:latestCOPYlogstashKafka.conf/usr
qq_34295546·2018-08-16 12:25

Spring cloud中链路跟踪（Sleuth+Zipkin）

zipkin是其中一种实现方式一种采用异步的方式，结合kafaka/rabbitmq等第三方中间件实现，提高效率##数据存储方式mysqlElasticsearch
carina_lily·2018-08-01 17:57

Hadoop————Kafka强化

producer//消息生产者consumer//消息消费者consumergroup//消费者组kafkaserver//broker,kafka服务器topic//主题,副本数,分区.2、安装kafaka0
Jorocco·2018-06-25 20:00

kafka运行错误：提示找不到或者无法加载主类错误解决方法

kafaka版本：kafka_2.11-1.1.0原因有2个：1目录不能有空格D:\Soft\kafka_2.11-1.1.0，放在ProgramFiles目录中一直有问题2修改D:\Soft\kafka
黑暗行动·2018-06-05 16:08

Linux上安装部署Kafka

0.10.2.1/kafka_2.11-0.10.2.1.tgz一台Linux服务器Java环境安装部署kafka_2.11-0.10.2.1.tgz文件下载下来，移动到自己的目录下我这里是/opt/kafaka
爆裂码手·2018-05-10 17:01

kafak权限管理

网上中文资料又少，特此基于kafka0.9，记录kafaka的权限控制(flume需要1.7及其以上才支持kafka的SSL认证)。下面各位看官跟着小二一起开始kafak权限认证之旅吧！嘎嘎嘎！
shengjk1·2018-05-07 13:44

【Strom篇】Flume+Kafaka+Strom整合完成信息记录

第一部分：流程分析由flume收集客户端发送的信息，经过kafka集群消费者收集，然后给storm集群数据处理（数据清洗），最后再发给kafka集群收集。第二部分：集群搭建flume+kafka一、配合flume修改flume-env.sh里的JAVA_HOME的位置，（flume仅修改此处）（若查看flume的版本通过：./binflume-ngversion）二、创建fk.conf（flume
塵世星空·2018-05-06 18:56

【Kafka】如何彻底删除topic

kafka-logs”）相关topic目录2、Kafka删除topic的命令是：kafka/bin/kafka-topics.sh--delete--zookeeperZookeeper地址--topic主题名称如果kafaka
Diligent_ten·2018-04-24 19:48

【Kafka】如何彻底删除topic

kafka-logs”）相关topic目录2、Kafka删除topic的命令是：kafka/bin/kafka-topics.sh--delete--zookeeperZookeeper地址--topic主题名称如果kafaka
Diligent_ten·2018-04-24 19:48

kafka对比ActiveMQ

虽然不是作为传统的MQ来设计，在大部分情况，Kafaka也可以代替原先ActiveMQ等传统的消息系统。
Andy2019·2018-03-19 08:09

[Kafaka Broker Configs]--log.retention.hours

我们先看看官方最新说明：log.retention.hours：Thenumberofhourstokeepalogfilebeforedeletingit(inhours),tertiarytolog.retention.mspropertylog.retention.minutes：Thenumberofminutestokeepalogfilebeforedeletingit(inminut
highfei2011·2018-03-09 11:41

kafka入门一：安装与使用

Kafak安装与使用一、前言kafka是Apache平台下的一种分布式发布/订阅消息系统，也就是消息中间件。
像从前那样·2018-02-26 18:24

Flume异常kafaka-producer

线上运行的时单行日志超7M时会导致Flume异常，导致无法正常提供服务。2017-07-1014:55:10,649(SinkRunner-PollingRunner-DefaultSinkProcessor)[ERROR-org.apache.flume.sink.kafka.KafkaSink.process(KafkaSink.java:240)]Failedtopublisheventsj
一条湫刀鱼·2017-12-25 16:23

大数据知识点第1节

我们部署在哪个路径下，假如那个路径不存在，我们要先创建什么默认/usr/java，如果不存在，需要先创建4、flume的三个组件source:源端channel:通道memory|diskfilesink:目标端5、kafaka
CoderF·2017-12-18 15:29

Spark Streaming读取Kafka数据

Kafka为一个分布式的消息队列，spark流操作kafka有两种方式：一种是利用接收器（receiver）和kafaka的高层API实现。
明翼·2017-12-04 05:38

kafka 分区和副本以及kafaka 执行流程，以及消息的高可用

1、Kafka概览Apache下的项目Kafka(卡夫卡)是一个分布式流处理平台，它的流行是因为卡夫卡系统的设计和操作简单，能充分利用磁盘的顺序读写特性。kafka每秒钟能有百万条消息的吞吐量，因此很适合实时的数据流处理。例如kafka在线日志收集系统可作为flume的实时消息sink端，再通过kafka的消费者将消息实时写入hbase数据库中。卡夫卡以topic分类对记录进行存储，每个记录包含k
在路上------·2017-11-10 16:00

Spark Streaming整合kafak

packageday05.dimportorg.apache.spark.{HashPartitioner,SparkConf}importorg.apache.spark.storage.StorageLevelimportorg.apache.spark.streaming.kafka.KafkaUtilsimportorg.apache.spark.streaming.{Seconds,St
freefish_yzx·2017-08-29 09:45

flume/kafaka/spqrk测试用例

flume/kafaka/spqrk测试用例一、flume+spark(一)flume代码#execsource+memorychannel+hdfssink#Namethecomponentsonthisagenta2
Kumquatlemon·2017-07-03 09:39

彻底删除Kafka中的topic

/bin/kafka-topics--delete--zookeeper【zookeeperserver】--topic【topicname】如果kafaka启动时加载的配置文件中server.propertie
两榜进士·2017-06-20 14:23

SparkStreaming中Kafak参数auto.offset.reset的说明

kafka+zookeeper,当消息被消费时,会想zk提交当前groupId的consumer消费的offset信息,当consumer再次启动将会从此offset开始继续消费.在consumter端配置文件中(或者是ConsumerConfig类参数)有个”autooffset.reset”(在kafka0.8版本中为auto.offset.reset),有2个合法的值”largest”/”s
Lin_wj1995·2017-06-16 11:00

Spark Structured Streaming、Kafak整合

StructuredStreamingSBT依赖包：groupId=org.apache.sparkartifactId=spark-sql-kafka-0-10_2.11version=2.1.1在Spark2.x中，SparkStreaming获得了比较全面的升级，称为StructuredStreaming，和之前的很不同，功能更强大，效率更高，跟其他的组件整合性也更好。Spark2.X提出了
千寻千梦·2017-05-26 13:49

Kafka系列3-python版本producer生产者和consumer消费者实例

importsysimporttimeimportjsonfromkafkaimportKafkaProducerfromkafkaimportKafkaConsumerfromkafka.errorsimportKafkaErrorKAFAKA_HOST
kuluzs·2017-05-04 15:57

ELK5.3+Kafka集群配置

Broker(input:filebeat;output:Kafka)10.101.2.2310.101.2.2410.101.2.25#2台4C*8G,安装Logstash——Indexer(input:Kafaka
howlshadow·2017-05-04 15:38

Language

TODOJava(jdk8),Scala,Spring,Spark,Python,Linux,C,Netty,HttpClient,HadoopYARN,RaspberryPiJetty,Tomcat,Kafaka
_再见理想·2016-11-22 21:00

kafka权限认证

网上中文资料又少，特此基于kafka0.9，记录kafaka的权限控制(flume需要1.7及其以上才支持kafka的SSL认证)。下面各位看官跟着小二一起开始kafak权限认证之旅吧！嘎嘎嘎！
shengjk1·2016-11-14 18:01

如何确定Kafka的分区数、key和consumer线程数

在Kafak中国社区的qq群中，这个问题被提及的比例是相当高的，这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。
u011616484·2016-10-31 16:00

多数据中心kafaka，flume使用情况

作为互联网公司，网站监测日志当然是数据的最大来源。我们目前的规模也不大，每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完成，之前，业务中对实时的要求并不高，最多也就是准实时（延迟半小时以上），因此，我们使用Flume将数据收集到HDFS，然后进行清洗和分析。后来，根据业务需要，我们有了两个Hadoop集群，并且部署在不同的地方（北京和西安），而所有的日志收集服务器在北京，因此需要将
程序员成长史·2016-06-22 13:14

Kafka学习整理二(定义、特点、应用场景)

Kafka是一个分布式的、分区化、可复制提交的日志服务LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和，那么作为一个可扩展、高可靠的消息系统Kafaka的特点Kafaka是分布式的，其所有的构件
louisliao_1981·2016-05-27 14:50

Kafka学习整理(定义、特点、应用场景)

Kafka是一个分布式的、分区化、可复制提交的日志服务LinkedIn使用Kafka实现了公司不同应用程序之间的松耦和，那么作为一个可扩展、高可靠的消息系统Kafaka的特点Kafaka是分布式的，其所有的构件
LOUISLIAOXH·2016-05-27 14:00

Kafka学习(六)：Kafka的生产者编程模型

很多条等待后，一次性发送）生产者每次都发送一条消息都会等待，zookeeper集群的确认，如果没有收到确认，则短暂的等待，再次发送，只到达到设置的最大的发送次数生产者客户端一次把所有的消息全部一次发送到kafak
杰布斯·2016-04-27 18:12

Kafka学习(六)：Kafka的生产者编程模型

，一次性发送）   生产者每次都发送一条消息都会等待，zookeeper集群的确认，如果没有收到确认，则短暂的等待，再次发送，只到达到设置的最大的发送次数  生产者客户端一次把所有的消息全部一次发送到kafak
ZuoAnYinXiang·2016-04-27 18:00

NATS之gnatcd初体验

现在MessageQueue有多种选择，比如Java的Kafaka/ActiveMQ、Erlang的RabbitMQ、Golang的NSQ以及这里要说的gnatcd。
CZ_Golang·2016-04-24 15:38

第89课程 Spark STREAMING kafka 测试完成!生产者发数据,消费者收数据

生产者发数据,消费者收数据 kafaka1.cat /usr/local/kafka_2.10-0.9.0.1/config/server.propertieszookeeper.connect=master
duan_zhihua·2016-04-23 22:00

第89课 SparkStreaming Kafaka 准备---安装Zookeeper

SparkStreamingKafaka准备---安装Zookeeper1、解压zookeeper-3.4.6.tar2.exportZOOKEEPER_HOME=/usr/local/zookeeper
duan_zhihua·2016-04-23 19:00

kafka分布式搭建

192.168.230.129)master (192.168.230.130)slave1 (192.168.230.131)salve2 在master、slave1、slave2三台主机上配置kafaka
qq_25371579·2016-04-09 14:00

Kafak 集群部署

背景：1.服务器：linux  IP地址分别为：10.243.1.17，10.243.1.18，10.243.1.192.kafka版本：kafka_2.10-0.8.2.23.安装路径：/usr/local/搭建zookeeper集群 1.进入解压后的目录/usr/local/kafka_2.10-0.8.2.2 2.进入config目录下，修改zookeeper.properties文件tic
xxh2580·2016-04-05 15:50

Kafak 集群部署

背景：1.服务器：linuxIP地址分别为：10.243.1.17，10.243.1.18，10.243.1.192.kafka版本：kafka_2.10-0.8.2.23.安装路径：/usr/local/搭建zookeeper集群1.进入解压后的目录/usr/local/kafka_2.10-0.8.2.22.进入config目录下，修改zookeeper.properties文件tickTim
冷暖己知·2016-04-05 15:50

kakfa的常用命令总结

Kafka的版本间差异较大，下面是0.8.1的操作方法首先cd到kafaka的bin目录下;＃step1启动zookeeper服务nohupbin/zookeeper-server-start.shconfig
丹江湖畔养蜂子赵大爹·2016-03-09 17:00

消息队列（Message Queue)基本概念，如redis，kafka

##背景之前做日志收集模块时，用到flume，另外也有的方案，集成kafaka来提升系统可扩展性，其中涉及到消息队列，当时自己并不清楚为什么要使用消息队列，而在我自己提出的原始日志采集方案中不适用消息队列时
ronin47·2016-02-15 08:00

彻底删除Kafka中的topic

/bin/kafka-topics--delete--zookeeper【zookeeperserver】--topic【topicname】如果kafaka启动时加载的配置文件中server.propertie
fengzheku·2016-01-26 11:08

使用Datadog在docker环境下监控Java, Tomcat, Nginx, Kfaka, ZooKeeper

不断的向datadog官方发邮件，幸运的是问题都一一解决了，这里记录一下重要配置方便以后查看：操作平台：linuxubuntudocker下面的container有：servertomcatnginxkafaka
小小西芹菜·2016-01-12 18:00

Spark集成Kafka源码分析——SparkStreaming从kafak中接收数据

整体概括：要实现SparkStreaming从kafak中接收数据分为以下几步(其中涉及的类在包org.apache.spark.streaming.kafka中)：1.创建createStream()
a822631129·2015-12-18 17:00

Kafka（二） -- Kafka 用在哪

从Kafak官网介绍来看，它适用于如下七类场景 消息分发(Messaging)Kafka可以替代传统的消息中间代理系统，相比之下Kafka有更高的吞吐量，内置的数据划分、多副本、容错机制使得它是大规模消息处理应用的一个很好选择
bibithink·2015-12-08 11:00

Spark Streaming集成Kafak的问题之Ran out of messages

Caused by: java.lang.AssertionError: assertion failed: Ran out of messages before reaching ending offset 264251742 for topic topicpartition 1 start 264245135. This should not happen, and indicates tha
luckuan1985·2015-11-16 15:00

ELK平台性能优化（不断完善中）

架构层面在logstashshipper和index之间增加redis或kafaka代理缓存ElasticsearchES系统性能让JVM使用OS的max-open-filesulimit-n1000000
xtjsxtj·2015-11-11 17:00

Kafka系列(一)安装和配置说明

单机模式 修改kafak安装文件中 ...
·2015-11-11 09:14

大数据架构分析

1.kafak分布式写入采集系统。 2.Hbase写入信息。 3.storm处理数据。 4.结果保存MySQl。 日志系统: 1.日志写入。 2.hbase存储。
·2015-10-31 09:31

apache kafka技术分享系列(目录索引)

原文地址：http://blog.csdn.net/lizhitao/article/details/39499283 kafka开发与管理： 1）apache kafka消息服务 2）kafak
·2015-10-21 12:51
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他