分布式技术一周技术动态 2016.02.07

分布式系统实践

1. Paxos算法和Uniform Consensus

https://mp.weixin.qq.com/s?__biz=MzIwMDI1MTYwMQ==&mid=402351348&idx=1&sn=012db2d4680c7cd281d68cc09cdd63b3&scene=0&key=710a5d99946419d9d842a545661f2e989449e6a80843c33d92990ae4cb676097314ff79e6bfbfbae3e19e4bc80271c45&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=USK2WKIzmM7sxVGkh2dPqTaIE0%2F3s9EUv6kgrodnXRdRMl9ER5deCkXE4vhqwYHp

要点: 上周给大家分享过"分布式系统发展史"系列文章中对于故障的相关理论, 本文是这一系列文章的一篇, 讲述了paxos算法是如何解决在一定故障条件下, 实现分布式一致性的. 如果大家之前了解过paxos算法, 本文看起来会容易理解一些, 否则请大家自行阅读paxos的相关论文.

2. 架构师需要了解的Paxos原理、历程及实战

https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=403582309&idx=1&sn=80c006f4e84a8af35dc8e9654f018ace&scene=0&key=710a5d99946419d9ede79fe41ef354dcf3777fe8c29091d1385c8a77e0a11a1879913add630283eeb75a9273d00c2191&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.2+build(15C50)&version=11020201&pass_ticket=x6wmQvAo0agNQBx90wCShABuYU9wsI2c%2BetgCsSzG90H1ZoqWGlJEjaS1JpyiWT3

要点: paxos协议我们更多的是用在类似zookeeper/etcd这样的一致性分布式存储服务中, 本文介绍使用paxos协议来同步数据库的redo日志, 使得多个数据库实例满足redo日志的一致性, 从而实现数据库的高可用. 文章不仅说明了基本的理论模型, 而且对工程实践中出现的问题和解决方法都做了详细的说明, 是一遍实践paxos方面难得的好文章.

 

服务化和资源管理技术

1. 下一代超大规模软件定义网络技术实践

https://community.qingcloud.com/topic/336/%E4%B8%8B%E4%B8%80%E4%BB%A3%E8%B6%85%E5%A4%A7%E8%A7%84%E6%A8%A1%E8%BD%AF%E4%BB%B6%E5%AE%9A%E4%B9%89%E7%BD%91%E7%BB%9C%E6%8A%80%E6%9C%AF%E5%AE%9E%E8%B7%B5?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 这篇文章详细介绍了SDN的基础知识, 以及问题和解决方案, 讲解的非常细致, 文章特别长, 希望大家仔细阅读.

2. HTTP 2.0的那些事

http://music4kid.github.io/blog/http2/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 这是一篇介绍HTTP 2.0的文章, 文章从HTTP 1.0的弊端开始, 由浅入深的介绍了HTTP 2.0的原理和优缺点, 特别是文章中还包括了很多有价值的引文, 是我欣赏的文章类型.

3. gRPC 官方文档中文版

http://doc.oschina.net/grpc?t=58008

要点: gPRC是google开源的基于protobuf的多语言RPC库, 这是对官方文档的中文翻译.

4. Cgroup – Linux的网络资源隔离

http://liwei.life/2016/02/05/cgroup_linux_network_traffic_control/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 本文从linux内核对网络包队列的管理方式开始, 深入的介绍了各种队列算法, 以及cgroup对网络资源隔离技术的实现. 本文很长, 如果大家希望了解cgroup的原理, 那么请大家仔细阅读, 其实linux的队列调度算法不仅仅可以用于处理网络包上, 任何存在队列的系统都可以使用, 特别是codel算法.

5. Docker 1.10发布：超过100项更新，移除对LXC的支持

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=401619262&idx=1&sn=b504eabd367a341ea5e6d6f442e10b3b&scene=0&key=710a5d99946419d91bfa37649c9b6da87f33b491676e32d19639b32d6deb04ac21da5d0f0dbd3d3aaf1ab48a13d72597&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=DFRScVhLrVt3KLjYrqHsxSmYlUaSWYGRUv0RY%2F3Y03f0m3bSTtI%2B2GwHlB1Z2Npp

要点: docker 1.10发布了很多增强型功能, 我比较关心的有: 对IO的限制能力; 实时更新容器资源能力; 更强大的网络虚拟化支持. 

 

服务高可用技术

1. 支撑微博千亿调用的轻量级RPC框架：Motan

https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=403874424&idx=1&sn=22d5f15814c297c623ffd2cac4e797ba&scene=0&key=710a5d99946419d9f97f07f2373a379a2bff618948c4638c73d3f7b5e5bf096e80ea80794c0ecfeda05145c0f23f9b4c&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=jJmCf594vX3PgMrRJ2DljAE8Py0uv8EjW2jnZGdrGJUJbk8r9fJIkoPULVmAEH66

要点: 本文介绍了微博使用的基于java的RPC框架 Motan, 按照作者的分类, Motan属于服务治理型RPC, 不支持跨语言, 提供了负载均衡, 高可用, 服务发现等机制.

2. 限流系统如何发现系统的热点

https://mp.weixin.qq.com/s?__biz=MzAwNjQwNzU2NQ==&mid=401946835&idx=1&sn=302617aaeed187c96b39b2fb14efbde5&scene=0&key=710a5d99946419d9b19d28ee7c56df1f48fd30fe05eb4c987878bbe4bd415a3ff252dbaa06c2267a8971961404d9bb7c&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=jJmCf594vX3PgMrRJ2DljAE8Py0uv8EjW2jnZGdrGJUJbk8r9fJIkoPULVmAEH66

要点: 限流系统是对资源调用的控制组件，主要涵盖授权、限流、降级、调用统计等功能模块。本文主要介绍限流系统是如何发现系统热点的. 这就势必需要一个高性能数据结构, 文章中介绍了google团队用于guava里的ConcurrentLinkedHashMap , 适用于java语言. 事实上baidu-rpc里提供了一个叫做bvar的基础组件, 也比较好的支持了统计功能.

 

DevOps 技术

1. 奇虎360大规模集群上的业务线环境部署

https://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=402605862&idx=1&sn=a8b4d6e7762c5548d460e5dade8ed454&scene=0&key=710a5d99946419d9c945b94ba40b4a25bb231e62b84b075d2bebca2f988cb46f1321476b4c2b5a05eb00448783333040&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=a6nd67v3V8t5k7%2BB%2FGwuoMsZeWjXPOj6dAe%2FnJC3cqrQ6dpAFDg98nzfBDSiyzXG

要点: 本文介绍了360公司开发的集群部署系统, 分为Hulk管理平台, 包管理系统和配置管理系统. Hulk管理平台直接对接用户, 提供良好的用户体验, Hulk底层使用包管理系统部署软件包, 使用配置管理系统同步配置的修改. 成功的支持了线上3000多台虚拟机组成的在线服务集群.

2. DevOps高手的九项隐藏技能

http://toutiao.com/news/6246156097883734530/?tt_from=weixin&utm_campaign=client_share&app=news_article&utm_source=weixin&iid=3527603308&utm_medium=toutiao_ios&wxshare_count=1

要点: 这些软技能看看你都具备了吗.

3. 深度解读下一代配管工具MGMT

https://mp.weixin.qq.com/s?__biz=MjM5MDAxNjkyMA==&mid=402328176&idx=1&sn=e776f71eb84c95557c9c80a8fb9eebf6&scene=0&key=710a5d99946419d97ab02f1ff1d19d70c4826cc97005ebe8573124e9e8d35aa5a3a163827cad84e132968f526bdc759c&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=USK2WKIzmM7sxVGkh2dPqTaIE0%2F3s9EUv6kgrodnXRdRMl9ER5deCkXE4vhqwYHp

 要点: 该篇文章作者是RedHat员工，Puppet专家。他用golang基于etcd开发了个配管项目叫mgmt，本文介绍了开展这个项目的几个重要原因，也算是自身对配置系统的理解和思考。总结来说：要能并发执行，通过事件驱动节约资源和时间，通过分布式系统解决扩展性问题。英文原文: https://ttboj.wordpress.com/2016/01/18/next-generation-configuration-mgmt/

 4. 如果有个DevOps能力坐标系，你的团队会处在什么坐标？

https://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=402844087&idx=1&sn=c1f22aca1aa3c58d2016d48336a64497&scene=0&key=710a5d99946419d961416fe46a507b9b1f97722d1e0b60adcd062ef4217b9057f7bf61ac1b17faea65f5de3e4fcb0a85&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=jJmCf594vX3PgMrRJ2DljAE8Py0uv8EjW2jnZGdrGJUJbk8r9fJIkoPULVmAEH66

要点: 这篇文章给DevOps能力划分成了4个阶段, 表示团队DevOps能力的4个层次, 大家看看自己的团队属于哪个阶段.

 

大杂烩

1. Libc堆管理机制及漏洞利用技术

http://www.freebuf.com/articles/system/91527.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 这篇文章对libc的内存管理机制分析的非常透彻, 如果你对malloc背后的故事感兴趣, 那么推荐这篇文章.

2. 提高Linux工作效率的十大bash技巧

http://www.techug.com/ten-tips-for-wonderful-bash-productivity

要点: 几个bash的小技巧, 希望能够帮助大家提高效率

3. 多线程内存问题分析之mprotect方法

http://www.yebangyu.org/blog/2016/02/01/detectmemoryghostinmultithread/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 多线程编程如果发生内存越界问题, 追查起来是非常困难的, 表现在函数栈被写乱, core往往不是在立即出错的地方等. 本文提出了利用mprotect函数进行调试的方法, 并提供了源码和例子.

4. 推荐系统和搜索引擎的关系

https://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=402656056&idx=1&sn=2ebfde6f4df33ec690836f22c7f14d07&scene=0&key=710a5d99946419d9fd5450ce96e4656c13437fa5c63ed923d834da59e674345cc40975ab821a219871dea86ad63d1c04&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=jJmCf594vX3PgMrRJ2DljAE8Py0uv8EjW2jnZGdrGJUJbk8r9fJIkoPULVmAEH66

要点: 推荐系统和搜索引擎有很多共同点, 但是又面临很多细微的差别, 本文概要性的介绍了二者的关系.

5. Linux目录结构（Linux文件系统结构）

https://mp.weixin.qq.com/s?__biz=MzAxODI5ODMwOA==&mid=415328296&idx=1&sn=fa4d90b807f1f1552b8cf94a356009e8&scene=1&srcid=0205Lg7seSfMjZyYhabVKFaf&key=710a5d99946419d9ae2ac5c97dabb6f0efa854666a64ea5703f7eccf816d422834f2574d5103a98ca2a74ee3c3f74fc1&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=DFRScVhLrVt3KLjYrqHsxSmYlUaSWYGRUv0RY%2F3Y03f0m3bSTtI%2B2GwHlB1Z2Npp

要点: 本文详细介绍了linux各个目录的命名和含义.