E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Kakfa
【原创】
Kakfa
api包源代码分析
既然包名是api，说明里面肯定都是一些常用的Kafka API了。 一、ApiUtils.scala 顾名思义，就是一些常见的api辅助类，定义的方法包括： 1. readShortString: 从一个ByteBuffer中读取字符串长度和字符串。这个ByteBuffer的格式应该是：2个字节的字符串长度值N+N个字节的字符串 2. writeShortString: 与read
·
2015-05-06 11:00
api
【原创】
Kakfa
cluster包源代码分析
只有弄懂了这些概念，你才真正地使用
kakfa
来帮助完成你的需求。因为scala文件不多，还是老规矩，我们一个一个分析。
·
2015-04-29 10:00
cluster
【原创】
Kakfa
log包源代码分析(二)
八、Log.scala 日志类，个人认为是这个包最重要的两个类之一(另一个是LogManager)。以伴生对象的方式提供。先说Log object，既然是object，就定义了一些类级别的变量，比如定义了一个日志文件的后缀名是.log; 索引文件的后缀名是.index; 要被删除的文件的后缀名是.deleted; 要被执行日志清理的临时文件后缀名是.clea
·
2015-04-23 15:00
log
Spark Streaming源码分析
1.全局类图 蓝色背景运行在Worker节点，绿色运行在Driver节点2.WorkerReceiver接收消息时序（以
Kakfa
Receiver为例）3.Driver接收WorkReceiverblock
Jinuxwu
·
2015-04-20 18:00
【原创】
Kakfa
log包源代码分析(一)
Kafka日志包是提供的是日志管理系统。主要的类是LogManager——该类负责处理所有的日志，并根据topic/partition分发日志。它还负责flush策略以及日志保存策略。Kafka日志本身是由多个日志段组成(log segment)。一个日志是一个FileMessageSet，它包含了日志数据以及OffsetIndex对象，该对象使用位移来读取日志数据。 下面我们一个一个地分析，先
·
2015-04-19 09:00
log
【原创】
Kakfa
metrics包源代码分析
这个包主要是与Kafka度量相关的。 一、KafkaTimer.scala 对代码块的运行进行计时。仅提供一个方法: timer——在运行传入函数f的同时为期计时 二、KafkaMetricsConfig.scala 指定reporter类，以逗号分隔的reporter类，比如kafka.metrics.KafkaCSVMetricsReporter，这些类必须要在claassp
·
2015-04-08 09:00
源代码
【原创】
Kakfa
network包源代码分析
kafka.network包主要为kafka提供网络服务，通常不包含具体的逻辑，都是一些最基本的网络服务组件。其中比较重要的是Receive、Send和Handler。Receive和Send封装了底层的入站(inbound)和出站(outbound)字节传输请求，而Handler在此二者间做了一个映射。一个handler就代表了一个函数，该函数接收Receive类型的对象并返回Send类型的对象
·
2015-04-08 08:00
NetWork
【原创】
Kakfa
common包源代码分析
初一看common包的代码吓了一跳，这么多scala文件！后面仔细一看大部分都是Kafka自定义的Exception类，简直可以改称为kafka.exceptions包了。由于那些异常类的名称通常都定义得很直观，笔者就不在一一赘述了。现在我们说说common包中其他的代码。 一、AppInfo.scala 这是一个object，实现了KafkaMetricsGroup trait。后者可以认为
·
2015-04-01 11:00
com
【Kafka七】使用Kafka Consumer Offset Monitor 进行
Kakfa
监控
1.获取KafkaConsumerOffsetMonitor安装包http://pan.baidu.com/s/1kT5KeQ7 2.KafkaConsumerOffsetMonitor启动脚本kafkacom.shjava-Xms128M-Xmx256M-Xss1024K-XX:PermSize=128m-XX:MaxPermSize=256m-cpKafkaOffsetMonitor-ass
bit1129
·
2015-04-01 10:00
Monitor
【Kafka七】使用Kafka Consumer Offset Monitor 进行
Kakfa
监控
1.获取KafkaConsumerOffsetMonitor安装包http://pan.baidu.com/s/1kT5KeQ7 2.KafkaConsumerOffsetMonitor启动脚本kafkacom.shjava-Xms128M-Xmx256M-Xss1024K-XX:PermSize=128m-XX:MaxPermSize=256m-cpKafkaOffsetMonitor-ass
bit1129
·
2015-04-01 10:00
Monitor
【Kafka七】使用Kafka Consumer Offset Monitor 进行
Kakfa
监控
1.获取KafkaConsumerOffsetMonitor安装包http://pan.baidu.com/s/1kT5KeQ7 2.KafkaConsumerOffsetMonitor启动脚本kafkacom.shjava-Xms128M-Xmx256M-Xss1024K-XX:PermSize=128m-XX:MaxPermSize=256m-cpKafkaOffsetMonitor-ass
bit1129
·
2015-04-01 10:00
Monitor
【原创】
Kakfa
serializer包源代码分析
这个包很简单，只有两个scala文件: decoder和encoder，就是提供序列化/反序列化的服务。我们一个一个说。 一、Decoder.scala 首先定义了一个trait: Decoder[T]。在这个trait中定义了一个抽象方法fromBytes，用于将一个字节数组转换成一个类型T的对象。实现此trait的子类的构造函数中必须要接收一个VerifiableProperties。
·
2015-04-01 09:00
Serialize
【
Kakfa
五】Kafka Producer和Consumer基本使用
0.Kafka服务器的配置 一个Broker， 一个Topic Topic中只有一个Partition（） 1. Producer： package kafka.examples.producers; import kafka.producer.KeyedMessage; import kafka.javaapi.producer.Producer; impor
bit1129
·
2015-03-31 17:00
kafka
【
Kakfa
五】Kafka Producer和Consumer基本使用
0.Kafka服务器的配置 一个Broker， 一个Topic Topic中只有一个Partition（） 1. Producer： package kafka.examples.producers; import kafka.producer.KeyedMessage; import kafka.javaapi.producer.Producer; impor
bit1129
·
2015-03-31 17:00
kafka
【
Kakfa
五】Kafka Producer和Consumer基本使用
0.Kafka服务器的配置 一个Broker， 一个Topic Topic中只有一个Partition（） 1. Producer： package kafka.examples.producers; import kafka.producer.KeyedMessage; import kafka.javaapi.producer.Producer; impor
bit1129
·
2015-03-31 17:00
kafka
【Kafka四】
Kakfa
伪分布式安装
在http://bit1129.iteye.com/blog/2174791一文中，实现了单Kafka服务器的安装，在Kafka中，每个Kafka服务器称为一个broker。本文简单介绍下，在单机环境下Kafka的伪分布式安装和测试验证 1. 安装步骤 Kafka伪分布式安装的思路跟Zookeeper的伪分布式安装思路完全一样，不过比Zookeeper稍微简单些(不
bit1129
·
2015-02-22 11:00
kafka
【Kafka四】
Kakfa
伪分布式安装
在http://bit1129.iteye.com/blog/2174791一文中，实现了单Kafka服务器的安装，在Kafka中，每个Kafka服务器称为一个broker。本文简单介绍下，在单机环境下Kafka的伪分布式安装和测试验证 1. 安装步骤 Kafka伪分布式安装的思路跟Zookeeper的伪分布式安装思路完全一样，不过比Zookeeper稍微简单些(不
bit1129
·
2015-02-22 11:00
kafka
【Kafka四】
Kakfa
伪分布式安装
在http://bit1129.iteye.com/blog/2174791一文中，实现了单Kafka服务器的安装，在Kafka中，每个Kafka服务器称为一个broker。本文简单介绍下，在单机环境下Kafka的伪分布式安装和测试验证 1. 安装步骤 Kafka伪分布式安装的思路跟Zookeeper的伪分布式安装思路完全一样，不过比Zookeeper稍微简单些(不
bit1129
·
2015-02-22 11:00
kafka
【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析
第一步，Flume和
Kakfa
对接，Flume抓取日志，写到Kafka中 第二部，Spark Streaming读取Kafka中的数据，进行实时分析 本文首先使用
Kakfa
自带的消息处理
bit1129
·
2015-02-14 13:00
Stream
【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析
第一步，Flume和
Kakfa
对接，Flume抓取日志，写到Kafka中 第二部，Spark Streaming读取Kafka中的数据，进行实时分析 本文首先使用
Kakfa
自带的消息处理
bit1129
·
2015-02-14 13:00
Stream
【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析
第一步，Flume和
Kakfa
对接，Flume抓取日志，写到Kafka中 第二部，Spark Streaming读取Kafka中的数据，进行实时分析 本文首先使用
Kakfa
自带的消息处理
bit1129
·
2015-02-14 13:00
Stream
kafka中处理超大消息的一些考虑
但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，
Kakfa
应该如何处理？针对这个问题，有以下几个建议： 最好的方法是不直接传送这些大的数据。
doubletree
·
2015-02-01 00:00
Apache Kafka 集群环境搭建
publish在
kakfa
中是一个producer
BigCat2013
·
2015-01-14 16:00
apache
kafka
分布式消息系统
【Kafka】kafka环境搭建及使用
producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.下面来看下如何简单的使用：首先，去官网下载
kakfa
chiweitree
·
2015-01-14 10:00
kafka
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他