2018年3月,研发中心设计的第一版PAYGo系统计划在非洲.尼日利亚部署使用。
系统部署架构是自建私有云平台+自建短信猫,其中私有云平台不受地域限制;但是短信猫设备必须部署在本地,否则算国际短信。
当时找了几家短信服务商,价格都比较高,而自建短信猫要便宜好几倍/条,技术上支持了上/下行方案。
预研了:租用当地机房、自建机房、就近国家租用服务器三种部署方案;
租用当地机房:尼日利亚基建很不发达,拉网线成本非常高,一般的网络都是走无线(装流量卡的路由器),谈了几家本地提供机房租用服务商,价格都比较高,而且服务稳定和安全保障未知,该方案优先级调低;
自建机房:当时老板有意自建,毕竟服务器都在自己可控范围内,不存在被人掐脖子,公司租用的办公楼也预留了机房的位置。
从国内发了3台服务器过去,没想包装再严实,运到后全部被摔碎,硬盘都掉出来了,惨不忍睹。
考虑到当地供电非常不稳定,一天大部分时间停电,所以该方案只应用了部署短信猫设备,服务器也改成低功率工控设备(停电后蓄电池能够撑8个小时左右);设备在高频上/下电、高温环境下运行还算稳定。
短信猫设备是从国内采购,然后自己带过去的,可以同时用16张卡。说是工业级,但是到达率和稳定性并不咋样,很多问题厂家也解决不了,只能自己研究和测试,折腾的够呛。
就近国家租用服务器(当前方案):运维部门在欧洲(法兰克福)租用了3台高配物理服务器(虚拟出15台服务器),搭建了企业私有云平台,部署了OTT全套系统、公司和子公司官网、商城、PAYGo(CRM+WMS)等。考虑到公司后续其他系统业务,预留了70%的资源(光这3台机器、网络和IP一个月就花掉8000RMB)。
通过2018年一整年的迭代开发,PAYGo系统业务、云平台稳定性、运维响应、短信方案重构、支付方案覆盖率和销售模式摸索等等都逐渐成熟;
直至2019年初,公司结构大调整,运维部、测试部和研发部合并。
我接管了公司所有线上系统,并重新对服务器资源做了规划,运维人员租用了价格较低的服务器,成本从8000RMB/月降到了约2000RMB/月。
低廉服务器的服务商非常不专业,1个月内经常随意重启服务器,导致数据库文件损坏、硬盘坏道、网络被禁、被随意断网做测试等一系列问题,导致我们大量时间耗在折腾服务器上面,果断更换了服务商并重新规划部署方案。
当前部署方案:
-关键服务部署到阿里云ecs服务器;
-数据库换成阿里云实例主备高可用;
-采用阿里云+七牛云双备份数据;
-短信对接了阿里云、华为云、创蓝、云片,自建短信猫做应急备选;
-子系统全部Docker化,采用自建容器云管理系统环境安装、升级,实施了全套DevOps理念。
从0到1的过程虽然很艰辛,但是只要跨过这道坎后,一切都变得非常简单。虽然折腾了,但团队成长了,以当前的研发能力和第三方业务对接能力,随时可多国方案快速复制。
从法国到尼日利亚访问延迟大概200毫秒左右,整体体验还算过得去。今年“华为云”在南非布了点,据说到肯尼亚延迟在50毫秒内,纳入下阶段测试计划。
总结:
1、如果是新市场,基建就用业界已有的稳定产品,后面再替换成自己的,把精力放在开阔市场和产品优化改进上,前期真心没必要折腾。
2、用熟悉或大品牌服务器服务商,稳定、靠谱很重要,贵不了几个钱;
3、永远要有Plan B;
4、不要以为一下子就能做成一个大而全的系统,一个实用系统都是要靠不断的设计、体验实践、持续优化迭代出来的;
5、不要重复造轮子,在非洲,抓住合作机会,抱团发展才有出路。
- end -