日志采集系统的个人看法

ELK：filebeat -----> logstash --------> ES---》kibana

这一套ELK是Elastic这个公司提出的一套组件。

在数据分析和大数据领域，ES不算是最著名的团队，而是Hadoop代表的一整套动物园。。。

另一套数据采集方案是flume采集数据-----> kafka ----> Hadoop(存到hdfs文件系统等)

日志采集系统的形式和变化都很多，比如beat可以直接传到ES中，flume可以直接到Hadoop/ES。

当然，在云时代，docker提供了es容器，配合go语言等可以实现数据存储。

总结就是：采集-》传输-》离线存储(服务出现故障拿取相应日志分析问题、接口召回率的分析、记录接口的输入和输出参数进行接口升级和回归性测试)-》实时计算/流式分析（淘宝推荐相关产品等）

 

实时处理有相关的框架，比如将日志存储到kafka-》实时计算引擎Storm、Spark streaming、flink...

以上方案具体使用什么根据业务选择。

 

 

工具推荐：

如果想上传文件到云端保存，常用onedrive等太慢了。可以使用docker在阿里云上创建NextcCloud容器。