分布式技术一周技术动态 2015.12.06

分布式系统实践

1. 小米抢购限流峰值系统「大秒」架构解密

https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=402182304&idx=1&sn=1bd68d72e6676ff782e92b0df8b07d35&scene=1&srcid=12045k1zDgO7DLlMLwimBKjC&key=ac89cba618d2d9760e3683067d4bff29f8bb89fc3bf97b2e474e526125c134f4ac64f36ebde25dd6eea41fb060cc002f&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=zWmI5jvmzrBpeGth%2Flwe%2FJzKodOSqz2DWlR3Hu72WXSqXyHYg%2BjlXbiI8Xlb3LKM

要点: 本文介绍了小米抢购系统"大秒"的系统架构以及模块划分, 讲述了各个模块的难点和解决方案, 是一篇比较不错的案例分享文章.

2. 记录一下互联网日志实时收集和实时计算的简单方案

http://lxw1234.com/archives/2015/11/569.htm?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 使用kafka进行数据远程传输的一个案例, 供大家参考.

3. LinkedIn是如何优化Kafka的

http://mp.weixin.qq.com/s?__biz=MzAwNjMxNjQzNA==&mid=401589968&idx=1&sn=984d8d7dac44c03aac74732f2154ec10&scene=0&key=ff7411024a07f3eb2f3dfe8acb650ab40de105a759104e4e2b764773e71a5602bd68dea9c52c390d25b69fd108cc0c8a&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=vnN3nJ7Pf%2Bjda9TY%2BATrOHy7xBbwFHegumfG7WodK805wd3xhpa3ilBwV7%2FPhio2

要点: 本文介绍了linkedin在优化kafka上的一些思路, 但是没有详细的说明如何优化, 仅供参考吧.

4. TiDB alpha is released! 

http://www.pingcap.com/posts/alpha-release.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 还记得我之前给大家分享过的, 号称唯一支持标准SQL的分布式数据库TiDB吗? 现在他发布了alpha版本, 使用hbase作为底层的存储引擎, 开发了分布式事务层支持多行事务, 感兴趣的同学可以试用, 仅限于测试环境.

5. 面向鲁棒性的系统设计

http://mp.weixin.qq.com/s?__biz=MzIzMzEyMjU3MQ==&mid=400757941&idx=1&sn=8cb52a9710842a21a42765879e8fa882&scene=0#wechat_redirect

要点: 经常发现线上的代码对各种异常考虑不够, 也就是系统鲁棒性不好. 这篇文章给出了很多缺乏鲁棒性的例子, 并且给出了对应的解决方案, 看看有哪些错误是你犯过的?

 

服务化和资源管理技术

1. 当Unikernel遇上Docker,会发生什么?

http://dockone.io/article/857?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 【编者的话】本文主要是对在巴塞罗那举办的DockerCon大会上介绍的Unikernel的总结。Unikernel是一种新的容器化发展方向,使用Rump Kernels构建Rump Kernels微服务,可以像传统的容器一样管理使用,能充分利用到现有容器生态系统的优点。

2. 用浏览器管理 Docker

https://mp.weixin.qq.com/s?__biz=MjM5NjQ4MjYwMQ==&mid=400504357&idx=1&sn=97076ad27a74972289a15ac744171c80&scene=0&key=ff7411024a07f3ebace2e036b38c710f712a5262b7ace3cf782eca7836362a3c26284ff197a6bc8f0134c0f41aca2b5d&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=vnN3nJ7Pf%2Bjda9TY%2BATrOHy7xBbwFHegumfG7WodK805wd3xhpa3ilBwV7%2FPhio2

要点: 记不住docker那么多复杂的命令? 没关系, 提供一个webUI如何, 本文介绍了一个基于docker的WebUI工具, 方便的通过WebUI操作docker.

3. 我们与Docker编排的故事

https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=400621313&idx=1&sn=104f425b3bafc825f8b95365484204de&scene=0&key=ff7411024a07f3eb44520bc4163fe1abc2a9679874cc65cde061b955f8f30a6bf161d68541295f2ad28fa5aa0ff83156&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=IHqpcWeHcCSGGqaMp3fLPqQa5cyoIjO3TIgYCZtgLsBS8QwrI0GDXR7SggOMcyzX

要点: 经常阅读技术动态的同学对容器编排的概念应该比较熟悉了, 本文概括了确定一个容器编排系统的技术选型需要考虑的问题.

4. Docker 监控- Prometheus VS Cloud Insight

http://news.oneapm.com/docker-prometheus-cloud-insight/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 又是docker监控的一篇文章. 这篇文章对docker上比较成熟的两套监控系统普罗米修斯和cloud insight进行了功能对比, 总体上看二者功能上差别不大.

服务调度和 Trace 技术

1.  缓存常用更新策略对比

http://carlosfu.iteye.com/blog/2245723?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 对缓存的常见更新策略进行了简单的对比, 内容比较浅显, 适合初学者.

2. 高性能IO模型浅析

http://www.cnblogs.com/fanzhidongyzby/p/4098546.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 这篇文章对网络编程中常用的术语, 比如reactor, proactor, IO多路复用, 异步IO, 进行了比较直观的解释, 让大家再遇到这些概念时不再陌生. 

DevOps 技术

1. 设计全球级的分布式、任务关键型应用——从实际项目中得来的教训

http://www.infoq.com/cn/articles/design-global-level-distributed-mission-critical-apps-part01?utm_campaign=rightbar_v2&utm_source=infoq&utm_medium=articles_link&utm_content=link_text

要点: 这篇文章结合作者资深的经验, 分享了在大规模分布式服务设计, 部署和运维中的一些教训, 包括数据分片, 监控和测量, 自动化服务和配置的部署, 消防演习, 最小化表面积等建议.

2. 运维自动化与标准规范化:解析、设计及实现

http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=400710527&idx=1&sn=e99bf2534c911ed915bf931c31935241&scene=0&key=ac89cba618d2d976d5effb59cd4dcc08248e98e774a0bc255161a0c2d7c8c416aaf969fd3841bc87a92b107c404343c7&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.1+build(15B42)&version=11020201&pass_ticket=JA6TS4FkeNsCq7ISGasxmgPTnSZdjLZk5Ndn2G82XBAbNzhuF%2F4UBfuP7jmsBPI%2F

要点: 所有的运维都希望自动化, 那么就必须先对运维流程进行标准化, 比如noah中的N多流程, 其实都是为了标准化而生的. 本文介绍了实现一个自动化运维平台的过程, 包括数据库, 工单和WebUI.

 

工具集合

1. 《ZooKeeper官方指南》ZooKeeper 使用 ACL 进行访问控制

http://ifeve.com/zookeeper-access-control-using-acls/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 给zookeeper都加上权限吧, 重要性不多说了.

2. 浅谈操作系统对内存的管理

http://blog.jobbole.com/95499/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 本文简单介绍了操作系统对内存的管理。这些基础概念对于很多开发人员是很有帮助的。文章图文并茂, 讲解的很生动.

3. 专访豌豆荚搜索技术负责人:应用内搜索——移动时代的搜索技术

http://www.infoq.com/cn/articles/wandoujia-search-in-app

要点: 一篇对豌豆荚站内搜索的访谈, 技术内容不多, 技术套路和我厂也比较类似, deep link+调起技术.

4. 和开发组长聊聊沟通

http://zhuanlan.zhihu.com/fangtalk/20372309?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 不管你是不是团队的技术负责人, 很多同学都或多或少的承担着开发组长的职责, 看一下合格的开发组长应该怎么思考问题.

4. zookeeper 分布式锁的实现

http://www.open-open.com/lib/view/open1426730315851.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

要点: 这篇文章介绍了如何使用zookeeper实现分布式锁的功能, 逻辑不复杂, 基本上就是按照官方文档描述的标准流程设计的. 如果大家使用java语言, 那么这些其实都不用自己实现, 开源的aurora项目把基于zookeeper的常用功能都封装好了, 包括分布式队列, 选主, 分布式锁等等. 如果使用其他编程语言, 那只能自己实现一遍了, 这里不得不再一次吐槽zookeeper的c api, 提供的接口太过于底层了, 用起来要做很多封装, 希望也有c++版本的aurora项目出现啊.

 

你可能感兴趣的:(分布式技术一周技术动态 2015.12.06)