去年10月,我开始对两项技术充满着好奇,一个是ELK,另一个是docker。
ELK的核心是一个“分布式实时搜索引擎”,光听名字就会被吸引住,因为即便有专门的团队,要做一个这样的搜索引擎也不是件容易的事情;对于小团队,或创业公司,能有ELK使用是一种福音,所以我们花时间来学习这项技术是非常值得的,说不定哪天就可以派上用场。ELK的使用场景一般有两个:
- 作为全局日志收集中心,将非结构化的日志转化为结构化的信息进行存储,存储后,你可以做很多事情,例如监控服务是否正常,排查某个用户反馈的问题等,同时,ELK还可以帮你把结果进行可视化展示
- 把它作为公司网站的搜索引擎,搜索引擎是互联网行业中的明星技术,有了它,老板们再也不用为搜索引擎的开发成本发愁了。
简单介绍完ELK,下面说下docker,docker是近几年来的一个革命化产品,通俗点说,它是一个轻量级的虚拟机,运行时额外消耗的资源少,使用它可以统一公司的开发环境,规范化部署,更重要的是,它可以把一个服务依赖的所有组件一起打包,通过操作一个包来管理所有的组件,这不是革命是什么,没有比这更好的解放程序员重复劳动的工具了,所以,你可以看到的是,基本上所有互联网公司都在使用它,在2016年的《ThoughtWorks技术雷达》里,你甚至可以看到
docker, docker, docker!
这样简单粗暴的标题,不止是重要的事情说三遍,还有一种终于等到你的感觉。
总的来说这两项技术可以极大的节省开发成本,提升工作效率,让工程师们专注于提升自己的价值、为公司创造财富的事情上,正因为此,才有了我今天想说的docker-elka,从名字上,可以把它理解为ELK的docker化产物,即把ELK打包成一个服务,那么最后面的a是什么,a是elastalert,它是专门为ELK量身打造的监控报警软件,当你想监控某个值是否异常,例如超出阈值、波动非常大等,当这些条件发生时,你还可以通过邮件等多种方式报警,让我们可以更为主动的处理异常事件。所以,docker-elka打包了4个软件,分别是elasticsearch、logstash、kibana和elastalert,你可以在我的github上查看并使用它:http://t.cn/RaBICBl
这个项目并不是从零开始的,它基于github上的两个独立的项目,一个是docker-elk,一个是elastalert-docker,我只是把它们整合起来,同时对国内用户更为友好。
最终这个项目呈现出来的内容是非常简单的,但由于也是初学docker,让我走了不少弯路,下面我主要结合docker化的思路,和国内用户使用docker的正确方式这两点来做下总结
docker化的思路
知道了docker这项技术后,便产生了马上把它用起来的想法,虽然我不知道它的全部细节,但我知道“那个地方”是一个“更好的世界”,先来看看在docker化之前我设计的ELK拓扑图:
第一眼的映像应该是相当复杂的,但它的可用性、可扩展性和吞吐量却可以令人满意,唯一的缺点是,每次部署需要花费比较多的时间,因为在每台机器上,都需要做以下事情:
- 拷贝必要的软件
- 安装软件
- 配置、启动软件
当然你可以用一些自动化工具(例如saltstack)来提高效率,但如果你的规模很小,自动化工具对你的帮助会比较有限,这时docker化的ELK优势就非常明显了,它能让你在任何有需要的地方,一键启动最基本的组件,对比起来,如果用四两拨千斤来形容这种工作方式,我认为再适合不过了。
docker化一般思路是先把每个服务build成docker image,然后把它们push到docker hub,创建docker-compose文件,通过这个文件把所有的images组合到一起,同时将配置文件和数据通过docker volume的方式,把宿主的文件夹挂载到docker容器中,从而达到容器和宿主间数据共享的效果(在这里需要注意权限问题,尤其是elasticsearch的数据权限),在新的环境运行应用前,只需要调整配置,然后执行docker-compose up命令,它会从docker hub上下载对应的images,并且运行它们。
之前走的弯路是,省去了上传docker hub这一步,导致了每次切换环境都要build所有的images,而build时间往往比较长,这在后续的使用中是不能忍受的,github上还有另外一个elk的docker化项目:http://t.cn/RMyq7pl,就是按照这样的方式实现的,感兴趣的同学可以对比下差异。
国内用户使用docker的正确方式
国内使用docker的首要问题是速度太慢,直接使用别人的项目往往会进行不下去,所以第一个需要解决的问题就是提速,docker提速需要注意两个方面:
- docker hub的加速,加快镜像下载的速度
- container内部安装软件的加速
docker hub的加速非常直接,也很简单,推荐使用阿里云加速器,以Linux为例,只需要配置/etc/docker/daemon.json即可
container内部软件的加速要区别对待,假设你使用ubuntu基本镜像,你不能直接修改apt源——我就犯过这样的错,导致完全没有速度——而要找到自带国内apt源的基本镜像,中科大的基本镜像比较全;除此之外的软件加速,则需要手动配置了,例如pip源,则需要修改/root/.pip/pip.conf和/root/.pydistutils.cfg这两个文件。
这两类源设置后,再操作docker,会让你事半功倍。
总结一下,本文主要是docker和elk的简要介绍,希望能帮你能清晰的认识到它们是什么,能对在工作中是否有机会应用它们做出判断,同时结合自己在使用过程中遇到的问题,让你在使用时少走弯路,最后再附上docker-elka这个项目的github地址:http://t.cn/RaBICBl,有任何问题可以直接和我交流