flume 1.9 源码阅读(四) Source配置
上一篇文章最后说到了AgentConfiguration这个类，他是flume配置文件中最核心的东西。我们先放一放看一下flume配置文件到底都有哪些东西然后回头再来看这个类以及sources、channels、sinks等组件是如何实例化的。
从官网上扒下来的一些资料：
AvroSource
| 属性名称 | 默认值 | 描述 |
|---|---|---|
| channels | - | sources要连接的channels |
| type | - | source的类型，这里是avro |
| bind | - | 要监听的主机名称或者是ip地址 |
| port | - | 监听的的端口 |
| threads | - | 最大线程数 |
| selector.type | ||
| selector.* | ||
| interceptiors | - | 用空格分开的拦截器 |
| interceptiors.* | - | |
| compression-type | none | 这个值应该为 none 或者 deflate， 压缩类型必须匹配AvroSource的压缩类型 |
| ssl | false | secure socket layer(安全套接层)，当ssl被启用时，还必须同时制定keystore和keystore-password，可以在component级别设置，也可以在全局进行设置。 |
| keystore | - | java keystore 文件路径，如果这里面没有指定，将使用全局keystore,如果全局keystore也没有配置，将会报错。 |
| keystore-password | - | java keystore的密码，如果这里面没有指定，将使用全局keystore-password,如果全局keystore-password也没有配置，将会报错。 |
| keystore-type | JKS | java keystore 类型， 可以取值为 jks 或者 pkcs12。 如果这里没有指定将使用全局keystore-type，如果全局keystore-type没有配置，将使用默认值JKS |
| exclude-protocols | SSLv3 | 要排除的 SSL/TLS 协议列表(以空格分开)，SSLv3协议会一直被排除在外 |
| include-protocols | - | 要引入的 SSL/TLS协议列表(以空格分开), 当此配置为空的时候，将引用所有支持的协议 |
| exclude-cipher-suites | - | 要排除的加密方法(以空格分开) |
| include-cipher-suites | - | 要引入的加密方法(以空格分开)，当此配置为空的时候，将引入所有支持的加密方式 |
| ipFilter | false | 为netty添加 ip 过滤 |
| ipFilterRules | - | 定义netty ipFilter 匹配规则 |
例如:
a1.sources = r1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 4141
Exec Source
| 属性名称 | 默认值 | 描述 |
|---|---|---|
| channels | - | sources要连接的channels |
| type | - | source的类型，这里是exec |
| command | - | 要执行的命令 |
| shell | 执行命令的shell | |
| restartThrottle | 10000 | 尝试重新启动之前要等待的时间（以毫秒为单位） |
| restart | false | 当执行命令的cmd挂掉是否重启 |
| logStdErr | false | 标准错误的输出是否要被记录到日志 |
| batchSize | 20 | 可以一次读到的最大行数并发送给channel |
| batchTimeout | 3000 | 超时时间（以毫秒为单位，当缓存没有达到刷新大小时 |
| selector.type | replicating | 这个配置为 replicatiing 或者 multiplexing |
| selector.* | 根据 selector.type值决定 | |
| interceptors | - | 拦截器列表(以空格分开) |
| interceptors.* |
例如:
a1.sources = r1
a1.channels = c1
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /var/log/secure
a1.sources.r1.channels = c1
shell配置用来通过命令行调用命令，通常shell配置为 /bin/sh -c，/bin/ksh -c，cmd /c，powershell -Command等
例如：
a1.sources.tailsource-1.type = exec
a1.sources.tailsource-1.shell = /bin/bash -c
a1.sources.tailsource-1.command = for i in /path/*.txt; do cat $i; done
Taildir Source
监视指定的文件，近实时查看文件尾部，当有新一行被追加的时候，这个source会一直读取这一行直到整个行写完，这个source非常可靠，即使在文件回滚的时候他也不会丢失任何数据，他周期性的将最后读到的位置信息已json格式存到文件中，当flume因为一些原因停止后，他还可以通过记录位置文件重新获取上次读到的位置。
| 属性名称 | 默认值 | 描述 |
|---|---|---|
| channels | - | sources要连接的channels |
| type | - | source的类型，这里是TAILDIR |
| filegroups | - | 一些用空格分开的文件集合，每一个集合代表一些列要被读取的文件 |
| filegroups. |
- | 文件集合的绝对路径 ，正则表达式只能用于文件名 |
| positionFile | ~/.flume/taildir_position.json | 以json格式记录的inode，记录每个文件的绝对路径以及该文件最后读到的位置信息 |
| heders. |
- | Header value which is the set with header key. Multiple headers can be specified for one file group. |
| byteOffsetHeader | false | Whether to add the byte offset of a tailed line to a header called ‘byteoffset’. |
| skipToEnd | false | 是否直接定位到文件尾部，以防没有写入位置文件 |
| idleTimeout | 120000 | 超时时间(ms)，用来关闭长时间未激活的文件，如果已经被关闭的文件有新的行被追加，这个source将会自动重新打开该文件 |
| writePosInterval | 3000 | 将位置信息写入位置文件的间隔时间 |
| batchSize | 100 | 每一次读到最大的行数并发送给channel, 一般推荐使用默认值 |
| maxBatchCount | Long.MAX_VLUE | 控制从同一文件连续读取的批次数。 如果source读取多个文件，并且其中一个文件的写入速度很快，则它可能会阻止其他文件被处理，因为繁忙文件将被无休止地读取。 在这种情况下，请降低此值。 |
| backoffSleepIncrement | 1000 | 最后一次尝试未找到任何新数据时，重新尝试轮询新数据之前的时间延迟增量。 |
| maxBackoffSleep | 5000 | 当最后一次尝试未找到任何新数据时，每次重新尝试轮询新数据之间的最大时间延迟。 |
| cachePatternMatching | true | Listing directories and applying the filename regex pattern may be time consuming for directories containing thousands of files. Caching the list of matching files can improve performance. The order in which files are consumed will also be cached. Requires that the file system keeps track of modification times with at least a 1-second granularity. |
| fileHeader | false | 是否增加一个header用来存储文件的绝对路径 |
| fileHeaderKey | file | Header key to use when appending absolute path filename to event header. |
例如：
a1.sources = r1
a1.channels = c1
a1.sources.r1.type = TAILDIR
a1.sources.r1.channels = c1
a1.sources.r1.positionFile = /var/log/flume/taildir_position.json
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /var/log/test1/example.log
a1.sources.r1.headers.f1.headerKey1 = value1
a1.sources.r1.filegroups.f2 = /var/log/test2/.log.
a1.sources.r1.headers.f2.headerKey1 = value2
a1.sources.r1.headers.f2.headerKey2 = value2-2
a1.sources.r1.fileHeader = true
a1.sources.ri.maxBatchCount = 1000
Kafka Source
kafka source就是一个消费者用于消费kafka 某些topics的，如果有多个kafka sources运行， 我们可以配置他们为同一个消费者组，这样每一个消费者将会读取一个唯一的partitions集合，这个source只支持0.10.1.0以上版本
| 属性名称 | 默认值 | 描述 |
|---|---|---|
| channels | - | sources要连接的channels |
| type | - | source的类型，这里是org.apache.flume.source.kafka.KafkaSource |
| kafka.bootstrap.servers | - | 要执行的命令 |
| kafka.topics | - | 逗号分隔topics |
| kafka.topics.regex | - | 正则表达式要订阅的topics，这个配置的优先级高于kafka.topics，他会覆盖kafka.topics |
| kafka.consumer.group.id | - | 消费者id，当有多个source或者agent的时候使用相同的此配置代表他们的consumer group相同 |
| batchSize | 1000 | 一次batch中最大可写入channel的消息数 |
| batchDurationMillis | 1000ms | 当batchSize没有达到最大值的时候，超过这个时间也会写入到 channel |
| backoffSleepIncrement | 1000 | Initial and incremental wait time that is triggered when a Kafka Topic appears to be empty. Wait period will reduce aggressive pinging of an empty Kafka Topic. One second is ideal for ingestion use cases but a lower value may be required for low latency operations with interceptors. |
| maxBackoffSleep | 5000 | Maximum wait time that is triggered when a Kafka Topic appears to be empty. Five seconds is ideal for ingestion use cases but a lower value may be required for low latency operations with interceptors. |
| useFlumeEventFormat | false | By default events are taken as bytes from the Kafka topic directly into the event body. Set to true to read events as the Flume Avro binary format. Used in conjunction with the same property on the KafkaSink or with the parseAsFlumeEvent property on the Kafka Channel this will preserve any Flume headers sent on the producing side. |
| setTopicHeader | true | When set to true, stores the topic of the retrieved message into a header, defined by the topicHeader property. |
| topicHeader | topic | Defines the name of the header in which to store the name of the topic the message was received from, if the setTopicHeader property is set to true. Care should be taken if combining with the Kafka Sink topicHeader property so as to avoid sending the message back to the same topic in a loop. |
| kafka.consumer.security.protocol | PLAINTEXT | Set to SASL_PLAINTEXT, SASL_SSL or SSL if writing to Kafka using some level of security. See below for additional info on secure setup. |
| mere consumer security props | If using SASL_PLAINTEXT, SASL_SSL or SSL refer to Kafka security for additional properties that need to be set on consumer. | |
| Other kafka Consumer Properties | - | These properties are used to configure the Kafka Consumer. Any consumer property supported by Kafka can be used. The only requirement is to prepend the property name with the prefix kafka.consumer. For example: kafka.consumer.auto.offset.reset |
例如：
tier1.sources.source1.type = org.apache.flume.source.kafka.KafkaSource
tier1.sources.source1.channels = channel1
tier1.sources.source1.batchSize = 5000
tier1.sources.source1.batchDurationMillis = 2000
tier1.sources.source1.kafka.bootstrap.servers = localhost:9092
tier1.sources.source1.kafka.topics = test1, test2
tier1.sources.source1.kafka.consumer.group.id = custom.g.id
tier1.sources.source1.type = org.apache.flume.source.kafka.KafkaSource
tier1.sources.source1.channels = channel1
tier1.sources.source1.kafka.bootstrap.servers = localhost:9092
tier1.sources.source1.kafka.topics.regex = ^topic[0-9]$
# the default kafka.consumer.group.id=flume is used
以上是我们项目中用到的一些source，https://flume.apache.org/FlumeUserGuide.html#setting-up-an-agent 官网上可以找到所有source的完整配置。需要的朋友可以去看一下。
flume 通过这些配置，将用户想使用的 source 实例化。