我曾在淘宝写过一段时间代码,2012年在一家百强民企做电商副总,当时在极为艰苦的条件下带队开发了一个B2C网站,走支付宝和银联支付通道,年营业额千万级(当然实在太少了,我只是说这个网站投入了实际的运营)。
也就在那个时候,我对“12306”嗤之以鼻,觉得他们做得太烂了,认为自己能带队花几百万元用半年时间做个好的出来。于是我狂妄地想做一个开源的订票系统给他们。我花了一个星期时间思考建立数据模型,思考到库存这一步的时候,我才发现,“12306”的库存复杂性比淘宝、京东高很多倍,运算量也大很多倍。传统的分布式数据库、缓存、负载均衡技术并不能恰好满足“12306”的需求。
淘宝技术的确比“12306”强大很多倍,淘宝现在的系统也是花了10倍于“12306”的钱、时间和人力才做起来的。根本原因还是铁路运力不能满足春运需求,淘宝也解决不了这个问题。
“12306”这一年来进步非常大。从前端动画验证码、分时段抢票,到后端去小型机、虚拟化、内存数据库的运用。可以说,这是中国官方部门做得最强大的网站(电商系统)。至于“12306”一期工程3个亿(含硬件)贵不贵我不评价,我只提供一个数字供参考:百度一年的研发费用(不含硬件)是10亿元,这来自百度财报。3亿元看起来好大一个数字,真用到超大型的电商系统、搜索引擎系统里面,其实也不算天文数字了。
你不知道的“秒杀”
为什么秒杀压力大,为什么“12306”的动态库存很复杂?
先说秒杀。
2013年12月25日前后,天猫搞了一个圣诞季积分兑换活动,持续几天。25日上午10时12分,放出了15000个天猫魔盒,从成交记录上看,19秒内全部抢完。
实际上,我也参加秒杀了,那天的题目特别简单——请输入×××汉字的拼音首字母,我5秒内答题完毕并提交订单,结果系统告诉我排队的人太多,挤不进去,并提示14秒后重试。人太多就是因为题目太简单了,门槛越低,5秒内挤进去的人也越多,如果题目换成“2克浓度为3%的U235在大亚湾核电站能发多少度电”,5分钟之内都不会有1万5千人跟我竞争。
我想,14秒以后哪还有我的事呀,于是重新答题秒杀,结果出现了服务器错误的页面。反复刷新几次,秒杀就已经结束了。
淘宝是什么技术水平呢,淘宝有至少4000名技术人员,至少4万台服务器(这是两年前的公开数据)。2013年11月11日成交额351亿元,2012年全年成交额超过1万亿元。
淘宝拥有各种自主研发团队:服务器、交换机;操作系统、Web服务器、Java语言虚拟机、数据库、负载均衡器、Java运行容器。淘宝还有数不清的开源项目和中间件,如高性能Java通信中间件HSF、分布式数据库中间件TDDL、异步消息系统notify等等。
以淘宝这样的技术水平,都还不能做到秒杀时让每个用户都没有拥挤感,为什么?
一是要尊重物理原理,一台服务器一秒钟能承受的计算量是有极限的,任你怎么优化,采用多高效的算法和编程语言,都突破不了某个极限,比方说汽车发动机驱动的F1赛车至今也不能突破400公里的时速。
二是要考虑经济效益,“十一”黄金周的时候,北京主城区到八达岭长城的路堵得严严实实,但不能因为黄金周的高峰,就把这段路修成长安街那样10车道的高速公路,否则花费天文数字(“12306”那3个亿大概只够修1-3公里)修了一段路,平时晒谷子?
淘宝目前的硬件和带宽数量,已经超出日常运营的需求了,目的就是留出相当大的余量给大促销。
再说动态库存。
淘宝秒杀天猫魔盒的时候,只有一个商品(SKU),它的库存是15000个。有一个人秒杀到了,库存就减1,19秒卖完的,每秒要成功产生789个订单。想象一下,你在广场上卖火车票,一秒钟内有8万人举着钱对你喊:卖给我!
很多人都知道,比秒小的时间单位还有毫秒、皮秒、飞秒。但交易系统登记一个交易可不像电子绕着原子核跑一圈那么简单,它要做这些事:检查是否恶意访 问、取到系统时间、取到顾客默认收货地址、核对顾客秒杀资格、生成订单号、把顾客ID系统时间订单号收货地址写入订单系统、扣除顾客天猫积分、商品库存减 1、给顾客打标记(每人只能秒一个)等等,每件事都要花费毫秒级别的时间,这些操作加起来的时间可能是接近1秒级别的,但由于淘宝的服务器比较强悍,而且 采用了分布式和集群技术,结果比1秒理想一点。但即使有1万台服务器,也不能把这个时间稀释成万分之一秒,因为,商品只有一种,它有15000个库存,对 应的数据库记录只有一行,所有的交易请求都要到这里来处理。
能不能把这15000个拆分成5000个商品并分配到5000台服务器上呢?那样不就可以5000台服务器同时处理了吗?答案是不能,首 先,5000个商品,意味着有5000个商品详情页,5000个购买按钮,这对前期的营销、引流是个灾难。基本上就没法做引流入口了,显然这违背了商业管 理原则,人为增加了信息混乱程度。其次,天猫魔盒秒杀也不是啥大事,即使按官方标价399元来计算,也就600万元的交易。如果600万的交易要花费那么 大的配套成本,就太不划算了。再次,淘宝有十几亿商品,这十几亿商品的展示交易和管理,本来就是分布到上万台服务器上去了。没有必要再把每个商品按库存拆 成多个商品了。
这789人抢到了,还不一定会付款,所以就又带来订单取消重新恢复库存的问题。还有想要的消费者们,会认为还有机会,继续在前台刷一会儿,最终这个秒杀会被热情的消费者们猛刷30秒到1分钟。
12306的“变态”库存
好了,讲了半天淘宝,回到正题“12306”——我以北京西到深圳北的G71次高铁为例,它有17个站(北京西是01号站,深圳北是17号站),3 种座位(商务、一等、二等)。表面看起来,这不就是3个商品吗?G71商务座、G71一等座、G71二等座。大部分吐槽的人就是在这里栽第一个跟头的。
实际上,G71有136×3=408种商品(408个SKU),怎么算出来的?请看:如果卖北京西始发的,有16种卖法(因为后面有16个站),北京西到:保定、石家庄、郑州、武汉、长沙、广州、虎门、深圳……分别都是一个独立的商品。
同理,石家庄上车的,有15种下车的可能,以此类推,单以上下车的站来计算,有136种票:16+15+14……+2+1=136。每种票都有3种座位,一共是408个商品。
再看出票时怎么减库存,由于商务、一等、二等三种座位数是独立的,库存操作也是一样的,下文我就不再提座位的差别,只讨论出发与到达站。另外,下文说的是理论模型,不是说“12306”的数据库就是这么设计的。
旅客A买了一张北京西(01号站)到保定东(02号站)的,那么北京西到保定东这个商品的库存就要减1,同时,北京西到石家庄、郑州、武汉、长沙、广州、虎门、深圳等15个站台的商品库存也要减1,也就是说,出一张北京西到保定东的票,实际上要减16个商品的库存。
这还不是最复杂的,如果旅客B买了一张北京西(01号站)到深圳北(17号站)的票,除了北京西到深圳北这个商品的库存要减1,北京西到保定东、石 家庄、郑州、武汉、长沙、广州、虎门等15个站台的商品库存也要减1,保定东到石家庄、郑州、武汉、长沙、广州、虎门、深圳北等15个站台的商品库存要减 1……总计要减库存的商品数是16+15+14+……+1=120个。
当然,也不是每一张票的库存都完全这样实时计算,可以根据往年的运营情况,在高峰时段预先对车票做一些分配,比如北京到武汉的长途多一点,保定到石 家庄的短途少一点。我没有证据证实铁道部门这样做了,但我相信,在还没有“12306”网站的时候,就有这种人工预分配的策略了。
再想象一下,8万人举着钱对你高喊:卖给我。你好不容易在钱堆里找到一只手,拿了他的钱,转身找120个同事,告诉他们减库存,而这120个同事也 和你一样被8万人围着;也和你一样,每卖出一个商品要找几十个人减库存……这就是“12306”动态库存的变态之处。比你平时买东西的任何网站的库存机制 都复杂几十上百倍。
空谈技术无益解决问题
防软件抢票,也不是加个图片验证码那么简单。图片验证码有6种机器暴力破解的办法,抢票插件用的是OCR识别。验证码设置得复杂一点行不行?有人又 要提意见了:这只是便宜了大学生和办公室白领,农民工连26个字母都认不齐,怎么搞?搞动画验证码吧,也有人说,视力不好的人怎么办?最后验证码被搞得很 简单,皆大欢喜。其实最高兴的是开发抢票插件的公司。
就算采用了机器完全不可能识别的验证码,也防不住社会工程学的破解办法。招募一堆网吧打游戏的青少年朋友,每成功输入50个验证码给1块钱,或者等 值的虚拟货币、游戏装备,我保证想赚这个钱的人数不胜数。这点钱对转卖车票的利润而言,是可以接受的成本。有没有什么技术可以防住社会工程学的破解办法 呢?能防住网吧青少年的验证码只有——“2克浓度为3%的U235在大亚湾核电站能发多少度电”。
以上讨论只是把“12306”当成和淘宝一样没有历史包袱从零起步的交易系统,实际上它不是,它后面的票池还有电话售票、火车站售票、代售点售票等 多个传统渠道要服务。除了客运服务,“12306”还有全国最大(很可能也是全球最大)的大宗物资货运系统。架空政策(包括定价政策、警方打击“黄牛”政 策、身份验证政策)谈技术,是不可能解决春运抢票困局的。
还有人说,KFC的食品可以单卖,也可以卖套餐,为什么没像我一样搞出这么多SKU?那是因为,KFC门店的“人肉查询”频率非常低,没必要为了优化查询性能把库存结构设计成那样。
专家普遍认为“代码狗”所言在理:“12306”已接近技术极限
填补春运运能尚无有效“神器”
2014年春运大幕已经开启,网络和电话购买火车票平台“12306”再次成为社会关注焦点。
自从“12306”诞生之日起,急着回家过年的人们已不再需要卷着铺盖、带着干粮去火车站排队买车票,电话线和网线承载了绝大部分希望。然 而,“12306”并不像人们所期待的那样给力,漏洞多多、时常瘫痪,炒票的“黄牛”转战网络仍然活跃……近日,一位自称“前淘宝技术人员,且曾在某民营 公司做过电商副总”的名为“代码狗”的网友在网上发帖,详细分析“12306”网站的技术特点和它所面临的“不可能完成的任务”,直言这个官方网站已经穷 尽所能试图解决购票难题,但无法单纯依靠技术手段彻底填平铁路运能与春运需求之间的鸿沟。
这引起了人们对“12306”的新一轮审视。“代码狗”所言有无道理?“12306”平台从技术角度看到底处于怎样的水平?羊城晚报记者就此采访了多位专家、电商技术人员以及铁路部门工作人员。
现实情况可能更复杂
“这篇文章所有的分析都是站在普通读者能接受的、常识的基础上展开的,在逻辑上没有什么问题,在对系统的分析上也基本成立。‘12306’崩溃的情 况现在已经不多见了,在访问量如此之大的情况下这确实是非常难得的。比如前不久有一个比较出名的电商网站因为访问量太大崩溃了,而它的访问量和 ‘12306’其实是没办法比的。”广州某金融公司电商技术负责人李松在接受羊城晚报记者采访时表示。
李松认为,“12306”在售票过程中所要处理的“秒杀”式营销确实在技术上难度很大。“稍微有一个细节处理不好,就容易出现进不了页面、不能点击 购买、购买成功却付不了费、付了费没反馈等情况,一般的电商网站都会遇到这样的问题,作为‘庞然大物’的‘12306’当然更难幸免,我们不能过分苛求。 解决好这些问题需要时间和资金、技术的投入,必须经过调整、磨合,不是短时间内能办成的。”
对于“代码狗”的分析,大多数受访的业内人士都认为其角度、逻辑比较客观。
资深电脑工程师王谢认为,“代码狗”为了行文方便,实际上简化了“12306”的购票模型,真正的“12306”系统比他说的要复杂很多。“(他) 没有考虑每张车票的座位属性,这是很关键的,否则旅客好不容易挤上车,就要开始抢座了。事实上,应该考虑这样一个方案:以文中列举的G71次列车来看,假 设该车次总共有M个座位,共16个站段,那就是16×M个商品,而不是简单的408个。”
技术手段并非万能药
“‘代码狗’的分析有些道理,但是有些问题铁路部门也有不可推卸的责任。比如最近‘四喜丸子’实名登车、‘路过打酱油’也能买到车票等等。此前很长 时间铁路的购票系统对购票者身份证号码没有任何验证措施,随便输入一个虚假身份证号也能买票,‘实名制来得太晚’。”——北京某网络公司资深系统技术专家 陈亚飞告诉羊城晚报记者,“对于‘12306’网站的问题,只有公开方案设计,或者最起码在较大的专业人士层面公开自己的方案设计,争取更多大脑的参与, 才可能发掘出更好的方案。而这正是‘12306’所缺乏的。”
有些技术专家将“黄牛”炒票行为屡禁不止的责任也归咎于铁路部门。
“对于普通的购票旅客来说,当初到火车站排队买票,常被‘黄牛’插队,轮到旅客时票已经卖完了。现在在‘12306’买票,又被‘黄牛’用抢票软件 插队,一开卖才几十秒,稍微输错个验证码再进去,票又没了。那么多‘黄牛’用软件抢票,售票系统却没有对此做出有效应对,应该在技术上对外挂应用程序进行 更细致的甄别和防范。”广州电脑工程师车宙表示。
知名互联网专家信海光也认为,现在“12306”的基本策略是“水来土掩”,对网络“黄牛”的活动都是采取事后措施补救,“应当加强技术建设,填补漏洞,提前做好各种应急预案”。
对于这个问题,中国铁路总公司副总经理胡亚东在接受记者采访时表示:“今年铁路总公司更新了‘12306’网站版本,采取了一些封堵应对措施,铁路 公安部门‘猎鹰战役’也破获了一批案件。下一步,还要和国家身份认证权威部门进行互联网的身份认证联网,近日正在调试,很快就可以上线运行,可以在更大程 度上防范‘黄牛’。”
(代办一体化资质www.sjwyhr.com)整理并发布