网易双11“超级工程”：反欺诈系统应用实践
每年双十一，不仅是剁手族的狂欢节，更是各大电商技术团队技术水平与技术创新实践检验的舞台，不断创新高的销售额、交易峰值、支付峰值，这些惊人数字的背后都离不开强力的技术支撑。IT168希望通过技术报道的形式向读者揭秘各大电商平台在双十一这一“超级工程”背后的巨额投入与技术创新，让更多人了解技术，尊重技术，促进同行业之间的技术交流分享，推动提高行业整体技术水平。
作者：赵红程
简介：网易高级产品运营，上海理工大学外语学院硕士，加入网易后一直从事反作弊研究工作，先后参与网易考拉、严选、新闻端客户端的反作弊项目。
本文摘要
2016年11月11日，网易考拉海购11.11“超级洋货节”集聚了70多个国家、3, 000多个品牌的20,000多件商品，销售额更是翻了几倍。经历了一年的技术打磨，今年的双11“超级工程”，网易又将以什么样的方式继续前行呢?
在双11这样的购物狂欢节中，消费者不仅关心商品的质量、送货速度，更关心各大电商平台的优惠力度，这也给了“羊毛党”们可乘之机。面对所有电商平台都极其头疼的“反欺诈系统”构建问题，网易又有什么好的解决方案呢?作为电商平台，如何应对“羊毛党”的欺诈行为?如何设立反欺诈规则以提高作弊成本?反欺诈系统如何架构才能达到理想防御效果?
正文
每当临近双11购物狂欢节，大部分用户一早便摩拳擦掌等在电脑前，不断刷新页面准备抢几张优惠券，并相信收藏的商品志在必得。但即便你准点刷新，优惠券还是瞬间消失，心爱的商品库存秒变为0，这是为什么呢?
这样的场景想必经历过电商狂欢日的用户都曾体验过。你不知道的是，同样坐在电脑前与你拼手速的除了正常用户，还有一批专业的羊毛党，作为抢夺用户福利的直接竞争对手，我们有必要认识一下这些“熟悉的陌生人”。
一、反欺诈系统构建之了解“羊毛党”作案流程及工具
1、作案团伙：从“贪便宜民间组织”到“职业地下灰产”
如果有兴趣在社交平台以“羊毛”为关键字搜索一下，你就会发现各种薅羊毛线上组织规模大小不一，清晰可见。
在互联网形形色色的营销活动中，企业为了拉新、促销、宣传等商业目标，会有各种面向消费者的抽奖、拉新送福利、送优惠券、折扣券等活动。除了正常领取这些优惠的普通消费者之外，还有一群专业的薅(hāo)羊毛组织专门选择互联网公司的优惠营销活动，通过新用户注册、刷单、抢券、低价买进高价卖出等，以低成本甚至零成本换取高额奖励。我们称这样的人为“羊毛党”。
羊毛党早已不再是“贪便宜民间组织”这么简单，而是已经形成了利润丰厚、组织严密、组织化程度极高的灰产组织，粗略估计全国有数十万团伙。上至互联网巨头，下到普通公司，只要举办市场活动，都可能面临羊毛党的巨大威胁。
那么，羊毛党究竟在薅谁的羊毛?
2、作案目标：主攻电商、O2O、互金、社交
最活跃的营销活动平台就是羊毛党的主要作案目标，包括O2O平台、电商平台、社交平台、互联网金融平台。
一些网贷平台为拉取新用户常推出一些收益丰厚的活动，如注册认证奖励、充值返现、投标返利等，催生了以此为生的P2P羊毛党。在P2P平台，一个促销从几十到上百元不等，“羊毛党”每个月可以赚几万到几十万，可以说收入“非常可观”。
在今年的共享单车大战中，国内某知名共享单车曾推出“骑行领红包”活动，同样遭遇了羊毛党伪造使用地址刷单抢红包的情况。羊毛党利用定位修改软件和批量手机号软件，足不出户就可以做到骑行单车并领取其派发的红包。据估算，平均每人每次能刷5元左右红包，一天16次大约收入80元，多个账号批量操作可以日进数万元。
3、作案危害：撸垮上市公司不是危言耸听
除了对正常用户的福利损害，羊毛党更多的危害还是对企业利益的无形吞噬。羊毛党分分钟撸垮一个上市公司也不是没有发生过。
仅以近两年大火的视频直播为例。据媒体调查，2016年8月，某上市公司旗下的全资子公司力推直播软件，只要注册并每天直播10分钟，前三天均可获得30元奖励，以后每天可获得10元，第二天即可提现。用单个账号主播，其余小号刷礼物，一天收入上万元也是可能的。
2016年底，根据统计机构数字表明，该直播软件的活跃用户数与其投入的16亿资金极其不成比例(净亏损约10亿元)，仅主播分成就达到近14亿，而被僵尸军团撸走的利润就不可估计了。羊毛党分分钟撸垮一个上市公司不是说笑，因羊毛党导致平台破产的案例不在少数。
同样，羊毛党们对每年一度的双11备战一点不比电商平台松懈，作为专业“薅羊毛”地下团队，没有人比他们对平台、商家的促销和优惠信息更加敏锐。
4、作案工具：日进斗金背后的专业配备
羊毛党们可不是素人素身，想日进斗金也需要专业作案工具。我们从作弊者的角度来看看有哪些东西可以利用来作弊：
1.1.帐号
不少商家提供帐号售卖服务，大量批发还会更便宜(微博、微信、各种邮箱帐号等)。直接购买就可以使用(提供帐号密码)，省去注册流程。
1.2.IP
售卖代理IP的商家也不在少数，价格低廉甚至还提供包月服务。当然自己写爬虫收集代理IP也可以，如果掌握了一些肉鸡就更方便。用不同的IP登录不同的帐号是隐藏行踪的好方法，通常很多产品都会对IP做高频限制(同IP下参与用户数过多)。
1.3.打码平台
图片验证码和手机短信验证码都有专业的打码平台。对于简单的验证码，用机器识别即可(成功率相当高)，对于复杂度较高的验证码，打码平台支持人工打码7*24小时服务。
对于短信验证码，打码平台使用自身或购买的卡商资源，提供相应的api或者工具包，方便作弊工具自动获取手机号和验证码，作弊工具可使用各种未经实名认证的手机号码在各电商平台注册。打码平台的上游卡商实际掌握了大量手机卡，他们利用猫池等设备实现多手机号自动接收和解析短信验证码，并将手机号和短信验证码提供给打码平台，最终作弊工具可通过打码平台全自动获取手机号和短信。
1.4.模拟器
模拟器通常是指安卓模拟器，安卓模拟器非常强大且种类繁多，基本可以模拟一个真实手机的全部功能，比如BlueStacks，GPS，MAC地址等信息都可模拟。
1.5.专业定制工具
黑客技术人员编写有针对性的工具和程序，结合模拟器以及上面提到的各种黑灰产资源，可以做出一整套自动化作弊工具。比如现在很多帐号注册机，就支持更换IP、更换手机号码、对接打码平台等功能。据说有这样技术的高端黑客上游，一个可以支撑数十个下游的黑产团队。
具体一个活动中的作弊用户可能有很多，不同团队的作弊水平有高有低。基本可以按作弊手段里结合黑产资源的多少也就是作弊成本高低来区分。对于低水平作弊用户，用简单的规则和手段封堵某些点就可以。但是对于高明的作弊手段，就很难用片面的策略来发现了。那么在做防御方案时，就需要用系统化的方案全面应对。
二、面对双11购物狂欢节，电商网站反欺诈系统应该如何构建?
作为全民购物狂欢节，双11自然是各大电商网站受到攻击最为频繁的时候。那么在双11全民消费狂欢日的当前，电商平台应该如何应对羊毛党大军?
抓住羊毛党的关键在于如何将他们与正常用户的行为区分开来。在长期为网易产品提供反作弊服务的过程中，网易云安全(易盾)团队积累了丰富的战斗经验，目前已有一套较成熟的电商反作弊体系。
1、电商反作弊体系架构基本原则
既然很多作弊都是程序自动化完成的，那么人机识别是值得尝试的一种预防方法。由于作弊手段多样，所以防御措施也没有一劳永逸的，但是可以遵循的一个基本防御原则——提升作弊成本：
验证码：图形验证码是最简单粗暴的人机识别手段，一旦有了验证码，羊毛党薅羊毛就需增加图片OCR技术，这在无形中提升了作弊成本。但以目前的OCR技术水平而言，图形验证码早已形同虚设。为此，网易云安全(易盾)研发了各种新型验证码，如拖条、拼图、文字点选等智能验证码，在人机识别和用户体验上都得到了广泛认可。
手机短信验证：虽然有打码平台的存在，但接入也需要成本，并且是按手机号码个数计费，成本不低。
IP规则：IP也是有限的资源，虽然有很多代理售卖，但也需要成本。IP高频限制，可以作为最基本的防御措施。
设备ID/浏览器指纹：利用设备特征生成唯一稳定的设备ID和浏览器指纹，并基于此做高频限制和统计分析，是非常有效的反作弊手段之一。但如何获取到真实的设备信息(不是篡改之后的)，以及确保设备信息在传输过程中不被篡改和伪造则需要安全、专业的技术方案，并且还需要长期的安全对抗和技术积累。网易云安全(易盾)依托多年的反作弊经验，推出了专业的、安全可靠的设备ID和浏览器指纹算法，并将其使用于企业客户的反作弊服务中。
网易云安全(易盾)依靠多年大数据、云计算、人工智能技术力量已形成有效的反作弊防御机制，并多次护航各应用在复杂场景下的大型隐患对抗，在电商、直播、游戏等行业积累了丰富的对抗经验，保障企业大型营销活动有效平稳进行，保护消费者和企业利益不受黑灰产侵害。
2、网易云安全(易盾)反作弊实例解析
笔者仅以网易考拉海购(下文简称“考拉”)的订单环节反作弊检测为实例，简析在电商狂欢日背后，网易云安全(易盾)是如何有效识别羊毛党、保障大促平稳进行的。
目前考拉的反作弊系统对于风险订单的识别主要基于规则引擎，同时结合用户画像评分、关联网络模型和业务名单库等检测手段。
规则引擎根据规则条件实时抓取有作弊特征的订单，然而不是所有满足规则条件的订单都存在问题，如何将其中的正常用户订单剔除呢?这时就需要使用用户画像评分模型、关联网络模型和业务名单库来提高结果的准确性。
2.1、规则引擎
规则引擎支持对规则的动态配置和实时统计，系统可以按照不同的时间窗口，在线统计各订单所符合的规则特征情况，并实时返回结果。规则系统可以输出的结果有两种：
a、订单数据经过所有规则检测，将各命中规则的分数累加，计算出总分数输出;
b、取命中规则中等级最高的结果。
2.2、用户画像
此处的用户画像主要指在囤货行为上的用户画像评分，区别于普通平台对用户的综合信用评分。我们选取了几个维度，如用户购买的商品类目数、活跃度、毛利贡献数、历史恶意行为、常用设备等，利用统计方法得出用户综合分数，再给分值区间定级，最后得到所有用户在囤货行为上的画像评分，该模块的加入可以很大程度地提高反作弊系统的准确性。
2.3、关联网络模型
结合无监督学习+有监督学习方法来发掘羊毛党团伙作案的网络模型。首先，考察用户在一段时间内所有订单相关数据的关系链，这些关系链将构成一个总网络;然后，搜索网络中的所有子网络，进行连通图分割;其次，遍历每个子网络，获取网络标签，挖掘网络特征;最后，通过机器学习构建识别羊毛党的网络模型，图2就是一个典型的关联网络图。
网络模型判定结果可以与规则条件结合，在不同业务场景下灵活选择最匹配的风险判定结果，最大程度满足各业务场景的反作弊需求。
2.4、名单库
反作弊系统名单库细分的类型个数，取决于各业务场景的需要。比如，今年大火的拼团促销形式，活动对于团长和团员的购买限制是不同的，这就导致团长囤货和团员囤货在订单行为模式上的表现不同。若要定制拼团活动的黑名单，那就应该对两者做区分，以确保业务黑名单准确无误。
除了黑白名单还有灰名单，这些灰名单用户也许在某些大利益点活动时无法参与，将风险拦截在前端，以保障重大活动平稳顺利进行。
网易云安全(易盾)反作弊系统依托其规则引擎，结合用户画像，关联网络模型以及各业务名单库，可以精准高效地识别羊毛党囤货行为。这套体系将保障普通消费者在每次促销活动中公平、有序地享受平台提供的优惠，尽情买买买。
反作弊系统的对抗过程，本质是作弊和防御成本的较量。在这场旷日持久的战争中，企业只有不断抬高作弊成本，羊毛党才可能望而却步。
来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31077337/viewspace-2153999/，如需转载，请注明出处，否则将追究法律责任。
转载于:http://blog.itpub.net/31077337/viewspace-2153999/