环信iGeek Camp第四期六大技术干货全解析

1月9日，环信在北京中关村创业大街成功举办了第四期iGeek Camp系列技术沙龙活动。环信旨在以开放的心态，分享深厚的技术积累，推动并打造一个互联网技术创新的平台，以期能够将有价值的技术资源整合推出，让更多的技术人开始分享技术，获得价值。

现场近200名开发者座无虚席

环信市场VP程开源致欢迎词
这次的活动主题内容涉及运维平台的体系化设计、IT运维分析与海量日志搜索、反垃圾(anti-spam)技术实现、基于Flume的日志收集和报警系统的实战等众多经验心得。包括日志易CEO陈军、阿里云生态首席架构师石立勇、北京数人科技有限公司CTO肖德时、野狗科技资深工程师廖彬旭、小米运维架构师孙寅、环信高级架构师粱彦杰等业内大咖悉数到场，与现场近200名开发者进行了深入交流，气氛十分热烈。
【反垃圾(anti-spam)技术实现】
演讲嘉宾：环信高级架构师-粱彦杰

当某平台达到一定热度，很容易出现被垃圾信息所骚扰的情况，结果会导致平台发生产品缺陷、安全漏洞、利益损失，损害用户体验以及导致政治风险，危害极其严重。梁彦杰在活动中从技术、内容等层面，讲解了环信产品反垃圾的成果。即利用算法，通过用户点击操作等行为捕捉判断其所发出的是否是垃圾信息;或通过把用户行为特征提取混合计算，判断其是否会产生垃圾信息。

环信反垃圾服务架构图
环信利用自身大数据的基础，与客户合作，能够第一时间发现平台上是否有垃圾信息存在。环信会通过机器学习模型不断丰富自身资料库，以精准自身判断，防止垃圾信息骚扰用户。在这之前，环信还会做一些预处理工作，包括用户的隐私保护、数据完整性处理等动作，进阶到特征提取，最终能够对用户行为和内容作出正确判断。
截至12月份，已经有数十家环信老用户试用开通了环信反垃圾服务。某知名女性社交App在申请试用环信反垃圾服务以后，环信选择其数据使用环信行为识别系统进行识别，发现该App目前的垃圾消息占比高达40%，其中，垃圾消息主要分为非法广告和虚假兼职两类，比例为9：1，极度影响用户体验。
通过环信行为检测系统，垃圾消息监测准确率高达99%，垃圾消息召回率高达82%。该社交产品负责人表示：“环信反垃圾服务上线后用户活跃度获得了明显提升，以后再也不用为各种色情、政治类消息提心吊胆了。”
环信反垃圾服务将于近期正式对外开放申请，具体请联系环信商务或者关注环信官网(http://www.easemob.com/)更新。
【使用Go开发秒杀系统】
演讲嘉宾：北京数人科技有限公司CTO-肖德时

数人科技专注于云DCOS和构建在DCOS之上的企业应用。数人科技CTO肖德时给大家带来的分享主题是《如何使用Go开发秒杀系统?》。以下是会场实录：
一般谈到高并发，程序员都会想尽办法做系统调优，这我这次分享会剑走偏锋，我们直接使用最廉价的2Core CPU/4GRAM作为主力机型搭建我们的秒杀系统。从秒杀架构上，我们需要100%能接的住动态的秒杀请求，所以这一块我们要先使用IaaS层的负载均衡ELB作为主力分解请求的服务，后面可以直接挂上我们的Proxy集群。通过压测，我发现使用2Core CPU/4G RAM的虚拟机跑1000并发的服务，可以持续的抗的住请求，所以我可以买1000台主机来接。通过数人云的分布式云操作系统，统一的管理这1000台主机的资源。然后把Proxy，Queue Manager, Redis, Mysql等多个组件下发到数人云中。这个过程只要IaaS启动速度够快，数人云可以在1，2个小时之内就可以完成秒杀系统的搭建。
那么，问题就来了，我们为什么要使用Go来写高并发秒杀系统呢?它的优势在哪里。通过我一年多的创业体会，我发现Go在语言层面，直接帮开发者写好了一个高并发的机制：goroutine，任何一个程序员在学习很短的时间之内都可以很快写出一套像模像样的高并发应用。这个是以前没有做到的事情，需要资深的工程师来写这种多线程的程序，是没法保障不出错的。所以Go是目前最具使用价值的云时代的C语言。我们使用Go +数人云为国内电商提供端到端的秒杀红包营销活动，即能充分利用IaaS厂商的资源特点，又能在不调优的情况下快速开发红包秒杀服务。所以，我推荐大家都可以到数人云尝试一把，搭建自己的秒杀服务。
【阿里云产品体系及实践】
演讲嘉宾：阿里云生态体系首席架构师-石立勇

ECS弹性计算服务：云服务器(Elastic Compute Service简称ECS)是一种简单高效，处理能力可弹性伸缩的计算服务。能够帮助客户快速构建更稳定、安全的应用。提升运维效率，降低IT成本，使您更专注于核心业务创新。
1、稳定：云盘数据可靠性不低于99.999%自动宕机迁移，数据备份和回滚系统性能报警。2、安全：防DDoS系统、安全组织规划保护，多用户隔离、防密码破解。
3、弹性：10分种内可启动或释放百台云服务器，5分钟内停机升级CPU和内存，在线不停机升级带宽。
4、高性能：随机IPOS 1.2万、300MB/s本地SSD盘性能，多线BGP骨干网络接入，高性价比，节约成本。
【基于Flume的日志收集和报警系统的实战】
演讲嘉宾：野狗科技资深工程师-廖彬旭

随着互联网使用者的快速增长,网络安全问题也不断增多.传统的基于日志的入侵检测系统在处理海量信息时存在着实时性不足。Apache Flume是一个分布式数据收集服务，它从各位源收集数据流并把汇总发送给处理这些数据的服务。
设计目标：可靠、可伸缩、易扩展、易管理。Flume agent就像水管一样串联起来，水管铺在大楼附近，然后水管到各家各户。Flume agen就像管子汇聚到一起，解决单点问题，分担负载。
【IT运维分享与海量日志搜索】
演讲嘉宾：日志易CEO-陈军

IT运维分析，即IT Operation Analytics，简称ITOA，是个新名词。以前IT运维是ITOM，IT Operation Management，IT运维管理。这两年大数据技术开始普及，把大数据技术应用于IT运维，通过数据分析提升IT运维效率与水平，就是ITOA。
通常结合日志与网络抓包，能够覆盖大部分IT运维分析的需求。日志因为带有时间戳，并由机器产生，也被称为时间序列机器数据。它包含了IT系统信息、用户信息、业务信息。日志是非结构化文本数据，如果分析，最好把它转换为结构化数据。抽取了各个字段，把日志结构化了，结构化之后，统计、分析就很方便了。
【运维平台的体系化设计】
演讲嘉宾：小米高级运维架构师-孙寅

近年，各个中型、大型互联网公司都在投入大量人力物力建设内部基础设施平台，乃至私有云。其根本原因为，互联网公司发展至中型后，最重要的两个方面——成本和效率，极受运维能力影响，而基础设施平台的能力正是运维综合能力的体现。而小米运维平台的服务树、服务变更、监控告警，这三大核心部分是如何有机整合为体系的呢?
首先，服务树是小米的创新产品，它对传统的CMDB进行了服务视角的延展，展现服务和服务的关系，同时兼顾管理人对服务、人对服务器的权限。它为其他各个运维子系统，提供了一个公共的视图和标准。小米的创新在于给服务器打上各种tag，通过一个有序的shema即可展示出所期望的服务树，十分灵活。同时，小米设定了一个全平台最重要的标准——用8个固定的tag进行组合，对每个服务进行全局唯一标识，并以此作为所有子系统的通用标识。
其次，对于服务变更，发布标准十分重要，为了少绕圈子，减少复杂度，标准或规范能够有利于简化设计。同时小米要求全量发布，即无状态服务的全量，其好处为回滚等于发布上一个版本。线上的目录规范，同样是为了全量发布，日志和数据都是状态，它们如果和程序目录混在一起，就无法做到全量发布。孙寅讲道：“大多数互联网公司，都通过LVS来做内外网NAT穿透，以及web service的负载均衡，我们为web service，也实现了自动注册LVS的RS，来达到自动接引流量的功能。首先我们通过规划，为每一个机房的每一种出口线路，做一组lvs集群，集群用ospf协议聚成cluster然后我们通过web提交VS-RS的配置，以node的结构存放到etcd里，改造每个lvs集群的keepalived，让它能够感知etcd的变更，并且同步自身的内存配置。这样也就达到了可以自动化变更和管理LVS配置的效果。”
最后，还有一项很重要的管理内容就是监控，当有众多服务器和服务要维护，为了发现故障，就需要无死角监控。小米的企业级监控系统open-falcon是开源系统，在这一体系里，有哪些关键设计?
其实，小米监控的几个关键设计决定了falcon能够被称为企业级监控。在设计中，所有的数据，都走falcon-agent以推的方式上报给监控服务器，但业内几乎所有的监控系统都不是这样的，它们都是服务器端向agent端去拉数据。小米要求只存在两类监控，一类是基础监控，一类是服务监控。基础监控，是放在每个falcon-agent上，由falcon-agent无条件上报;服务监控，只能和服务绑定在一起部署，上报给本服务器的falcon-agent，再由它转发上报。这两个条件一综合，就可以做到既限制了不会有很多无效数据上报，又解决了漏配置导致监控缺失的问题。所以，全push采集的设计让小米做到了，监控项的采集几乎是完全免配置的。
·演讲嘉宾PPT合集下载：http://www.imgeek.org/article/825307534