【原创】Kakfa common包源代码分析

初一看common包的代码吓了一跳，这么多scala文件！后面仔细一看大部分都是Kafka自定义的Exception类，简直可以改称为kafka.exceptions包了。由于那些异常类的名称通常都定义得很直观，笔者就不在一一赘述了。现在我们说说common包中其他的代码。

一、AppInfo.scala

这是一个object，实现了KafkaMetricsGroup trait。后者可以认为是一个创建各种度量元的工厂类。主要利用Yammer Metrics框架创建各种度量元，比如guage，meter，timer和histogram等。而在AppInfo object中只定义了一个方法：registerInfo

该方法没有返回值，它会首先判断是否已经注册过(isRegistered == true):如果已注册直接返回。之后判断这个类是否来自于jar包，如果不是的话也直接返回。最后程序创建一个Manifest对象并从中读取版本信息并使用该version信息创建一个guage。

 

二、ClientIdAndBroker.scala

发现kafka源代码中有很多类似于AAndB或AB这样的命名，基本上就是创建一个类，接收2个参数A和B的意思。这个scala文件也不例外，有两个case类：ClientIdAndBroker和ClientIdAllBrokers。基本上前者就是创建一个类保存一个clientId和一个broker；而后者给定一个clientId输出clientId-AllBrokers。

 

三、ClientIdTopic.scala

与ClientIdAndBroker.scala完全一样，只是这次保存的是(clientId, topic)的信息——元组对的方式非常有用，因为在后面Stats对象创建时会大量使用它们。

 

四、Config.scala

代码不复杂，就只是一个简单的trait，里面只有一个无返回值的方法： validateChars——目的也很简单就是验证给定的属性值里面有没有非法字符。目前只允许字母，数字，句点(.)，下划线(_)以及横线(-)。其他字符都视为非法字符，一旦发现存储非法字符立即抛出异常。Producer和Consumer都有对应的config实现了这个Config trait。

 

五、ErrorMapping.scala

为common包中的每个异常做一个序号，并加入到一个Map中，同时提供很多方法可以双向检索——即根据序号返回异常实例或根据异常返回该异常序号

 

六、OffsetMetadataAndError.scala

该scala文件中提供了两组伴生对象:OffsetAndMetadata和OffsetMetadataAndError。我们先说第一组

OffsetAndMetadata object提供了三个常量字段：InvalidOffSet(-1)、NoMetadata("")以及InvalidTime(-1)，主要用于出现错误时将OffsetAndMetadata字段的初始化。于是，同名的class构造器也接收三个参数: long型的位移信息、字符串表示的metadata信息以及一个时间戳。该class就提供了一个toString方法来格式化输出这个offset+metadata+timestamp的信息。

第二组OffsetMetadataAndError，从名字来说感觉就是offset+metadata+errorcode的风格。一看代码果不其然。OffsetMetadataAndError class的构造函数就是接收这三个参数。当然也提供了2个辅助构造函数只是用了很多的默认值，也没什么大不了的。asTuple方法就是将这三个字段打包成一个元组返回。toString就自不比说了。

定义了class之后，OffsetMetadataAndError object起到了工厂类的效果，实例化了4个类实例，分别是

NoOffset: 无效位移，无元数据(metadata)，无错误异常

OffsetsLoading: 无效位移，无metadata，位移加载中异常

NotOffsetManagerForGroup: 无效位移，无metadata，consumer无对应coordinator异常

UnknownTopicOrPartition: 无效位移，无metadata，未知topic或分区ID不在有效范围内[0, numPartitions-1]

七、Topic.scala

刚看到Topic.scala时小小激动了一把。终于又看到与核心功能有点关联的代码了。本来预期Topic代码会很长，没想到并没有太多，只是简单地定义了一个object，几个字段加上一个方法就搞定了。名为Topic，其实更像是对Kafka topic的一个验证类。下面我们具体看一下。首先Topic的合法字符依然是字母、数字、句号，下划线和横线，另外topic最大长度不能超过255个字符。唯一的方法validate就是为给定的topic名做合法性检验。另外这个object中还维护了一个Set保存topic，后面在consumer的白名单、黑名单过滤时会用到。不过貌似这个集合只有一个topic：__consumer_offsets，而且整个kafka代码中也没有代码对其进行插入/删除操作,因此只是在内部使用的，正常的topic不应该加到这个Set中。

 

八、TopicAndPartition.scala

遵循以往的命名风格，这个类应该是同时保存一个topic和一个partition信息，并提供各种方式初始化该类实例，另外也提供了asTuple方法以元组的方式返回(topic, partition)