我关注的一周技术动态 2015.11.01

分布式系统实践

1. Hadoop新型数据库Kudu应用经验分享

https://mp.weixin.qq.com/s?__biz=MjM5NzAyNTE0Ng==&mid=400119136&idx=1&sn=dd0663537c799d44553ce57a26c2348b&scene=1&srcid=1026Pny5k9xDNGm2yEKPi5yd&key=b410d3164f5f798efd7fe6a9ab4cf9f52a5aef7b6b4f09d1161d27f15f50cfc79c9cc057b5a8716956de2e8295fa74d7&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=iGRjoa%2F0hOO5k1eM%2BR3sddgW%2BkEopu%2BtwALtr2eSU3KWwT4nQUAqRBDMIOCoqD4z

要点: 原来小米团队一直在参与kudu的开发, 这篇访谈介绍了小米在开发和应用kudu的一些经验

2. open-falcon编写的整个脑洞历程 

http://mp.weixin.qq.com/s?__biz=MjM5OTcxMzE0MQ==&mid=400225178&idx=1&sn=c98609a9b66f84549e41cd421b4df74d&scene=2&srcid=1028BIXhzmVdUytAJoaq6qZE&from=timeline&isappinstalled=0#wechat_redirect

要点: 监控系统说起来简单做起来一点也不简单. 通常监控系统分为数据收集系统, 数据存储系统, 数据分析系统和数据可视化系统加上报警系统. 每个子系统其实都是一个分布式系统, 本文介绍了小米开源的open-falcon监控系统的设计思路以及实现过程中遇到的各种问题.

3. 电商搜索引擎的架构设计和性能优化

http://news.oneapm.com/dangdang-oneapm/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 我们是做搜索的, 对于通用搜索非常熟悉. 而电商搜索有他自己的特点, 本文科普性的介绍了电商搜索引擎的架构特点.

服务化和资源管理技术

1. 从Borg到Kubernetes，PaaS产品设计探讨

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400125249&idx=3&sn=b54fbae44f4443e56f3c9123e77e78d0&scene=0&key=b410d3164f5f798e4b542c53ea818fbd199c78da4d9dc337dfc8fe4d8aab71a53e16d2dd38a9afc28eae45565223dd32&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=iGRjoa%2F0hOO5k1eM%2BR3sddgW%2BkEopu%2BtwALtr2eSU3KWwT4nQUAqRBDMIOCoqD4z

要点: 随着Docker的流行，集群编排系统开始成为人们大规模使用容器技术的必经之路，Google在这个时候发布Borg的论文和开源的Kubernetes系统。这个演讲主要谈谈以下几个主题：1.Borg系统主要解决什么问题？Google是怎么用Borg来解决集群管理，提升资源使用率等问题的？2.Kubernetes仅仅是开源版的Borg吗？Kubernetes的设计架构演化 3.PaaS业界的发展趋势，华为在这方面做的一些工作。4.未来的云可能需要怎么样的基础设施？

2. 访谈 | 如何记录短生命周期的容器

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400137520&idx=1&sn=9896e62d1deb24c53b88b15128f2d52d&scene=0&key=b410d3164f5f798e58f673e0243d5c1ce711755f0a1da8d18749bb2602f6ef8b679db64692e8727a3ea12d40d541da42&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=bbENTYcST1G8BgE18KTLJs0IV6zOOyU8CAf6u3Otsei07RaXhW2ClO66dnR5z8e5

要点: 这篇访谈来自于一位google工程师在东京举办的OpenStack大会的一个分享, 短生命周期容器其实就是无状态容器, 要想实现无状态容器就必须把持久化数据从容器中剥离出来.

3. 可执行镜像——开发环境的Docker化之路

http://www.infoq.com/cn/articles/docker-executable-images

要点: 原来我们说的镜像都是服务性质的, 也就是长时间运行的镜像, 这种镜像也叫做服务镜像, 对于生命周期短的镜像, 叫做可执行镜像, 可执行镜像自然继承了镜像本身的优点, 对于构建开发环境有着天然的优势, 本文介绍了如何使用可执行镜像构建开发环境

4. OCI标准和runC原理解读

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400156227&idx=2&sn=ef40c2b3e8319982577743da5d40a056&scene=0&uin=Mjk1ODMyNTYyMg%3D%3D&key=04dce534b3b035ef6713451ab9d538c461d558e7d4841a478bc9f6d25be915573d9deee2235fb75cc45f18afabd6e1da&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&lang=zh_CN&pass_ticket=Jw%2BkXF2lspAnJrOJ5ceUhYo1DCM88cZmwlwE7hVqX9oyjP%2BD7Gm47PRosCHa4Yg6

要点: Linux基金会于2015年6月成立OCI（Open Container Initiative）组织，旨在围绕容器格式和运行时制定一个开放的工业化标准。该组织一成立便得到了包括谷歌、微软、亚马逊、华为等一系列云计算厂商的支持。那么容器标准化是什么东西, 和docker有什么区别, 本文做了详细的阐述.

服务调度和 Trace 技术

1.  系统负载能力浅析

http://www.rowkey.me/blog/2015/09/09/load-analysis/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 简要的介绍了衡量系统负载的方法, 并且列举了优化思路, 适合初学者.

2. 服务发现的可行方案以及实践案例

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400146438&idx=2&sn=629a0f001c5d882fda5680d5378ed777&scene=0&key=b410d3164f5f798e2bc213b79c9135b23a98e0cb7d8e423190ec15ddb7469eae349b085b0c6928a1282797b856c00205&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=g9y8ITuma4Sz11vQ%2FJqNjETeRTuspbBV40N3%2FwXvl5VwQQuunF99jrHpiLTNNxyn

要点: 这篇文章我认为对服务发现系统讲的非常透彻, 对常见的几种不同类型的服务发现机制做了很好的总结和优缺点对比, 大家如果需要确定服务发现系统的选型, 不妨先读读这篇文章.

DevOps 技术

1. 滴滴自动化运维实践

https://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=400203198&idx=3&sn=216430b94700652db3e623d1351e6bb2&scene=1&srcid=1028W4XoXaf3i78kzl0wd1sE&key=b410d3164f5f798eae4428d4ec67316e37af45638a04e4b900d5218de609cf8dc93d4085333c721b9169e395db08c4a4&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=g9y8ITuma4Sz11vQ%2FJqNjETeRTuspbBV40N3%2FwXvl5VwQQuunF99jrHpiLTNNxyn

要点: 前百度人分享的滴滴自动化运维实践

2. 中小企业监控体系构建实战

http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=400138875&idx=1&sn=01b4ea2978370d215442e4a22d7d2a7f&scene=0&key=b410d3164f5f798ebb7e9c73eaceab4493a19ef09928ec29dc71d094f6c23c0924f6c1dbc8da3507fe4eff7fdad01b2c&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=g9y8ITuma4Sz11vQ%2FJqNjETeRTuspbBV40N3%2FwXvl5VwQQuunF99jrHpiLTNNxyn

要点: 这篇文章非常有意思, 基本上描述了一个系统从无到有构建监控的过程, 然后回过头来, 回答了一个问题就是"监控的本质是什么".

3. 十大云运维监控工具横向评测

https://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=400257019&idx=1&sn=559babae1517dcb2abd4b99e6f0bb3ed&scene=0&uin=Mjk1ODMyNTYyMg%3D%3D&key=04dce534b3b035ef9a6cf74742f34be58ca23fff4c5f240d2c6e01aecc89797ccc7d59a38298b97818bf62998aeb8235&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&lang=zh_CN&pass_ticket=RAzzS3ZE2BRqq%2BReiUfHvdK5%2F2sw8CMKfB0ABbYciM6zhUriSCeKfY4t7lXZdeQe

要点: 本文对业界常用的开源监控系统进行了基本的优缺点对比, 帮助大家快速了解系统功能.

4. 服务化架构系统监控难题解决方案

http://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=400374109&idx=1&sn=7f344cbbc8a7095371f425d0e423df54&scene=0&uin=Mjk1ODMyNTYyMg%3D%3D&key=04dce534b3b035ef13810b950f09e7d704a90e77db2d5e236a77321211a41f3764d3bc08de0fa5491506458d73f3392d&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&lang=zh_CN&pass_ticket=RAzzS3ZE2BRqq%2BReiUfHvdK5%2F2sw8CMKfB0ABbYciM6zhUriSCeKfY4t7lXZdeQe

要点: 本文介绍了OPPO自主研发的监控系统OMP, 功能覆盖了数据收集, 数据传输, 数据存储, 数据查询等多个方面, 既实现了metric类数据汇聚和查询功能, 还实现了服务调用链的请求追踪, 以及全文日志检索, 很有借鉴意义.

工具集合

1. iTerm - 让你的命令行也能丰富多彩

http://swiftcafe.io/2015/07/25/iterm/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: mac用户必备终端, 不多说了.

2. 论架构师的自我修养

http://mp.weixin.qq.com/s?__biz=MjM5MjAwODM4MA==&mid=400269902&idx=2&sn=1ed2d161dc449f24968c9eedea53d70b&scene=0&key=b410d3164f5f798e17836dfe0bc11c150a5ee05250f63b9337a1e5ae3a70b4fe41d73bc5caa7951777e7baea0892860e&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=iGRjoa%2F0hOO5k1eM%2BR3sddgW%2BkEopu%2BtwALtr2eSU3KWwT4nQUAqRBDMIOCoqD4z

要点: 架构师这个角色有时候很虚, 如果换成研发团队的技术leader, 可能就比较容易理解了, 其实这篇文章的很多观点对于技术leader甚至一个系统的设计者而言都非常实用.

3. 超级系统工具Sysdig，比 strace、tcpdump、lsof 加起来还强大

http://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=400257019&idx=2&sn=3e37dd36b2a522283482b05f790549d7&scene=0#wechat_redirect

要点: 非常强大的工具, 大家可以试试.

4. Linux /dev 常见特殊设备介绍与应用

http://mp.weixin.qq.com/s?__biz=MzAxODI5ODMwOA==&mid=402265161&idx=2&sn=d300c0271aa68663dda86c948653168e&scene=0&uin=Mjk1ODMyNTYyMg%3D%3D&key=04dce534b3b035efeab118105b9c886f527eca27df072290303ea744d6fd9e7619e7ea89684b04302330f64901f659b8&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&lang=zh_CN&pass_ticket=RAzzS3ZE2BRqq%2BReiUfHvdK5%2F2sw8CMKfB0ABbYciM6zhUriSCeKfY4t7lXZdeQe

要点: 这些特殊的设备不仅有助于加深我们对linux系统的理解, 还可以辅助测试.