Python logging将日志输出到Kafka

Python logging用于输出Python程序运行的日志。现实中往往一个项目会部署在多台机器之上，这种情况下，为了方便对各主机运行日志进行收集，往往会使用消息队列。通过消息队列将各台机器上的日志收集并写入日志文件。本文使用Python logging结合Kafka作为范例，将日志输出到Kafka消息队列。

Python的logging模块对于日志的处理在Handler中。因此，我们可以通过继承logging.Handler模块并重写emit函数来实现自定义处理日志。

class KafkaLoggingHandler(logging.Handler):

    def __init__(self, **kwargs):
        logging.Handler.__init__(self)

        self.kafka_client = SimpleClient(hosts=HOSTS)
        self.key = kwargs.get("key", None)
        self.kafka_topic_name = TOPICS

        if not self.key:
            self.producer = SimpleProducer(self.kafka_client, **kwargs)
        else:
            self.producer = KeyedProducer(self.kafka_client, **kwargs)

    def emit(self, record):
        # 忽略kafka的日志，以免导致无限递归。
        if 'kafka' in record.name:
            return

        try:
            # 格式化日志并指定编码为utf-8
            msg = self.format(record)
            if isinstance(msg, unicode):
                msg = msg.encode("utf-8")

            # kafka生产者，发送消息到broker。
            if not self.key:
                self.producer.send_messages(self.kafka_topic_name, msg)
            else:
                self.producer.send_messages(self.kafka_topic_name, self.key,
                                            msg)
        except (KeyboardInterrupt, SystemExit):
            raise
        except Exception:
            self.handleError(record)

在完成自定义Handler之后，我们需要在logging中指定Handler。

# 获取handler实例
handler = KafkaLoggingHandler()

logger = logging.getLogger()
# 添加handler
logger.addHandler(hdlr=handler)
# 输出日志
logger.info(msg='balabala.......')

这样就实现了将Python日志输出到Kafka。Kafka消费者端不再赘述，由用户自行定义。