小伙伴们手滑集

郑昀 创建于2015/5/28 最后更新于2015/5/29

关键词： 误删除、线上事故、误操作、

本文档适用人员：全体技术人员

携程旅行网的技术团队今天注定是一个不眠之夜，我的猜测是自动化运维系统过于强大以至于误操作后覆水难收，加之历史悠久规模庞大各种新老系统交错，全面从新部署与平常迭代上线肯定不一样，难度系数更高。

 

这也就是为什么过去我反复强调审计历年来对我们做的企业内部安全审计非常重要，他们提出的意见，我们必须认真审视认真去落实。

为了警醒各位技术人员，下面列出本次携程误操作事件引发的各种手滑吐槽。

 

• Rebuild：
• 当年酷壳在亚马逊的时候，AWS的一个新人在工作第一天做熟悉开发环境自助培训时，他本来想连测试环境，结果连不上，老员工给了他一个配置，他没分清哪个是测试的，哪个是生产的，不小心联上了生产线数据库，把整个数据库给 Rebuild 了，导致全美 Netflix 停止服务数小时；
• Recreate：
• 某人用 hibernate 反向生成数据库的一张表，并且连的是测试库，结果一个配置没加，把所有的表都格式化掉并重新创建了一次。
• UPDATE没有WHERE条件：
• 十一年前，某人手写 SQL UPDATE 线上数据库，由于引号把 WHERE 子句截断，用户原创内容几乎全都被清空，不幸的是运维也出错了，备份程序停了半个月，于是全公司同事手工到搜索引擎快照中找回用户的文章。
• 以前更新错误数据，结果手滑 where 条件还没写完呢，想动一下鼠标，结果点到执行。一下子把所有的采购单数据的某个金额给改了，后来 dba 立刻恢复我操作以前的数据，就这三五分钟的时间，客服那边就接到了超多投诉电话。
• 配错了：
• 有次做带宽调度算法，方向写错了，瞬间给一个 CDN 提供商搞了 100G 上下的带宽，持续 16 小时。给公司造成了近 20 万的带宽费用。某人至今最贵的bug。
• 自己挖坑：
• 某人曾把整个服务器全部抹掉了。事情是这样的，有一个硬盘是镜像备份，挂载的时候用 sda1 这样的名字，没有用 uuid。后来加了个硬盘，结果原来的数据盘成了 sda1，等于说从一个空盘做镜像。
• 在高盛刚入职的时候一不小心把生产环境 compliance 数据库锁了，纽约 gsam 的 equity trading 停顿了15分钟，完了经理跟我说，没事儿，我闯过更大的祸。
• 胆子太大
• 好几年前刚开始学着做 windows 服务器管理，把几个 windows 服务禁用，结果造成有服务互相依赖启动不了，停机几十个小时。
• 已然不知道该怎么说了：
• 某年研发部所有电脑硬盘被偷，95%+的产品都丢了源代码，为了维护一个已经上线的产品不得已，挂 HttpHandler 来处理。
• 某客户为了重新部署系统，将数据导出备份到移动硬盘，然后将 Raid 重新格式化，重新安装系统，当进行 Oracle 数据库重建，导入数据时发现，移动硬盘上的数据无法正确读取，文件缺失一半。
• 曾经在 catch 里写过 system.exit。
• drop 过生产环境数据库表的路过。
• 刚入行时曾在代码里加过 system rm，然后测试环境里的大部分程序都失踪了，天真的以为是黑客干的。
• 曾经把图片的地址都写成了“undefined”，上线后以为被 ddos 了。
• rm -rf：
• 血泪史参考《被小伙伴们吓哭了：可怕的命令》。
• 理工科其他手滑方向：
• 血泪史参考《理工宅之——那些年我们闯过的祸……系列》。

 

更多参考：

1，2015， 让自家系统瘫痪，这事我也干过；

-EOF-