python信用评分卡（附代码，博主录制）
https://study.163.com/course/introduction.htm?courseId=1005214003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share
当谈论设备指纹时，我们到底在说什么？ ( 丁杨 作者系同盾反欺诈研究院丁杨)
“设备”和“指纹”作为独立名词存在时，其具有非常典型的硬件属性；一旦将他们结合起来变成“设备指纹”，就完全变成了一个软件层面的概念。近年来随着智能风控技术日益强大，很多风控系统都逐渐尝试加入这个重要的功能模块。
2014年笔者刚加入同盾科技时即负责设备指纹1.0版本研发，随着产品的迭代升级以及无数次与客户现场的沟通，也逐渐积累了一些自己的思考。今天就让我们抛开具体的技术细节，从一个更高的视角来共同探讨设备指纹的发展。
设备指纹诞生于网络未知
在互联网发展初期，人们发现商业的边疆可以被极大的拓展，我们可以跟某个素不相识的人在一秒以内完成一笔真实交易。但是，更多的机会也带来了更多的风险。很多在人们看来理所当然的线下正规业务场景，一旦转换到线上，就会衍生出意想不到的风险。比如，从前一个卖家可以通过“察言观色”、“一手交钱一手交货”、“摄像头监控”等等方式很精准的去判定一个买家是不是欺诈者。这意味着对于“什么人”在“什么时候”用“什么方法”做了“什么事”这个亘古不变的业务链条，每个环节卖家都一清二楚。但如今在互联网上，所有的识别环节都被打破，实实在在的行为被打散为不同的单个请求，并且这些请求分布在许多复杂的业务模块中，线下积累的经验无法直接适配线上。于是人们发明了各种各样的方式试图重新去补全这个业务链条，而“设备指纹”就是当下用于判定业务主体是“什么人”的一种重要技术。
设备指纹的“前世今生”
早期，在一些对安全要求非常高的线上场景中，例如一些银行的网上银行，常常使用U盾这样的纯硬件技术去追踪业务主体，也就是上文所说的定位“什么人”。同时，因为业务往往都是发生在浏览器页面中，而浏览器是属于操作系统上层的应用程序，运行在其中的脚本代码受到沙盒的限制，所以用户也需要安装一个可以跳出浏览器沙盒直接跟操作系统对接的控件，来读取U盾里面的安全数据。
相对来讲，这很安全。不过随着互联网的发展，这种“控件”+“U盾”的结合方式已经越来越落伍。笔者总结了如下几点原因:
1、使用控件的用户体验非常差，需要冗长安装、更新流程，普通用户难以操作；
2、移动互联网已成为绝对主流，而iOS，Android等移动互联网入口都不支持控件；
3、不仅仅在移动端，某些控件在pc端适用范围都很小，很多只支持PC上的IE内核浏览器。同时Chrome和Firefox等份额较大的桌面浏览器也在逐步淘汰控件的使用；
4、基于控件的本地溢出漏洞层出不穷，用户很容易中木马或者被钓鱼，反而给系统的安全造成严重危害。
基于以上几点，纯依赖js的web设备指纹技术逐渐被越来越多的厂商使用。它具有”免安装”、”动态更新”、”用户无感知”、”兼容移动和桌面端所有操作系统浏览器”的优点。此外，由于js天然受到浏览器沙盒的限制，在某些安全性要求更高的场景，内嵌于各种app的SDK设备指纹技术也得到广泛的应用。
“好”的设备指纹是怎样的
很多人对设备指纹不了解，容易一开始便纠结在一些意义不大的机制和参数上。下面就让我们一起探讨下什么是“好”的设备指纹。
1、不侵犯用户隐私
这是所有设备指纹产品需要严格遵守的红线。侵犯用户隐私，基于用户敏感信息(比如用户浏览历史记录，用户输入的敏感数据等)研发的设备指纹产品，即使功能再强大，也毫无意义，这无需多言。
2. 安全性和用户体验的平衡
好的设备指纹需要在安全性和用户体验之间找到最佳的平衡点; 其实这个概念可以衍生到更广的层面，即“安全防护应该是在安全性和业务发展之间找到最佳平衡点”。
对于安全从业者来说，这是我们要牢记的第一准则 —— 安全永远是为业务服务的。上文提到的淘汰“硬”设备指纹(U盾)而发展“软”设备指纹(js,SDK)就是对该理念的有力印证。虽然“软”设备指纹在某些情况下功能性和安全性稍差，但在用户体验上获得了极大的提升，再通过结合其他维度的综合风险识别，实践证明”软”设备指纹机制有效且风险可控。
3、保证稳定性、兼容性和性能
实验室创新并不等同于工厂技术，在实验室诞生的创新技术距离实际的工业化生产还有非常远的路要走。这在设备指纹领域也很明显，我们常常能看到不少”奇思妙想”的技术被炒作为可以用来做设备指纹，但考虑到兼容性和稳定性，实际上绝大多数都不能应用在线上环境中。这些往往只有真正开发设备指纹的技术人员才有深刻体会。
稳定性，兼容性，性能等等都需要重点考虑，复杂的客户端环境和多样的使用场景，一款好的设备指纹产品一定是久经考验的“战士”。以同盾的SDK举例，我们做了大量的线上线下测试(针对众多偏门机器或者山寨机的兼容性测试、运行的耗电情况统计、上亿装机量的线上运行、高性能服务端集群压测、极端情况的完备降级处理方案等等)来确保最后交付的产品质量。
4. 迎合技术发展
无论是web技术还是移动端技术都在飞速发展，一些老旧的技术也在不断被淘汰，设备指纹是一种集合多种技术的集大成类产品，所以也一定要时时迭代，符合新技术发展的潮流。例如前几年HTML5技术刚兴起的时候，我们就对其中“websocket”、”canvas”、”cors”、”local storage”等进行了研究，挖掘了不少有价值可利用的技术。另一边，千疮百孔的flash已经在淘汰的边缘，绝大部分桌面端浏览器都已经默认不开启，我们也在最新的版本里给它判了“死缓”。
不仅仅是功能迭代要利用新的技术，设备指纹的应用场景和使用方式也要尽可能与技术发展一致。比如当下很多厂商都采用“混合式app开发”框架，我们就有针对性的研发了适配功能，将app中的h5与本地的sdk结合起来做综合的设备识别。
5. 贴合业务场景
很多人都知道设备指纹有两个“著名”的评估标准:“稳定性”和“唯一性”。稳定性用来评估历史上出现过的设备依然能够被识别回来的能力。这就好像一个罪犯，不管怎么变装 易容，依然能被警察找到。唯一性则从另一个角度，评估把一个设备识别成另一个设备出错概率。同样的比方，警察知道一个罪犯的特征是“175公分”、“短头发”，但是并不能把大街上所有具有这两个特征的人都当罪犯抓起来，因为这两个特征并不能唯一定位到一个人。换句话说，这两个特征的“熵”太少。但是如果再加上另一个特征—— “左脸眼睛下面有一个3公分的横向刀疤”，这就非常明显了，通过这三个特征，警察有非常大的把握可以追踪到该罪犯。其中这个“刀疤”特征，就是一个不错的可以用来做设备指纹唯一性判定的参数。
实际使用过程当中，“稳定性”和“唯一性”也是不可兼得的，此外性价比也是一个关键因素(会有一些办法可以在保证一个特性的同时加强另一个特征，但是其中投入的开发和技术成本，厂商也要考虑是否能承受)。
那我们就又需要去找平衡点，怎么找到这个点呢? 答案就是要贴合业务场景。直白点讲，就是厂商想怎么去用设备指纹。我们举两个典型案例:
案例一: 广告营销
广告营销场景常常需要结合不同人群的兴趣爱好推送不同的广告，达到精准投放的目的。很多时候需要定位到一个用户的设备，然后画一个基于兴趣的设备画像。对于这个场景的设备指纹，其实可以放弃一部分的“唯一性”，去迎合“稳定性”。因为这个时候业务考虑更多的是人群总体覆盖度，而不用纠结在是不是每一个人每一台设备都定位精准了。所以有时候我们会发现在手机的app里浏览一个商品，过段时间电脑上就推荐了，这不是什么黑科技，有可能广告厂商用的仅仅是你的外网ip当作设备指纹。
为了更好的解释这一点，我常常举这么一个例子:营销场景的设备指纹就好像给1000个人去标记兴趣，其中有一个人错了没啥大问题，顶多推荐一个他不喜欢的广告;反欺诈则不同，如果1000个里面有一个标记错了，非常有可能那一个人就是一个欺诈者，或者把一个优质的客户给误杀了，这个影响就很大。换一个角度说，用营销的设备指纹去做反欺诈，效果非常难以保证。
刚刚提到了外网ip，我们可以简单扩展下思路，随着IPv6的发展，ip地址非常充裕，其实可以在一个人出生的时候就给他一个固定的ip用来上网，这样所有的网络行为都能做到精确追踪。不过这样可能也未必是什么好事。
案例二 :可信设备体系
反欺诈领域有两种不同的世界观:一种是从一堆未知请求中寻找可能的欺诈;一种是允许已知的优质用户操作，其余未知的都需要经过短信验证或者更严格的身份二次确认。两种方式一种增强了对坏人的覆盖度，一种增强了已知好人的用户体验。高级的反欺诈系统往往混合使用这两种机制。所谓的可信设备体系就是第二种，基于已知的可信操作沉淀出可信的设备体系。
这种情况下使用的设备指纹应该更关注“唯一性”还是“稳定性”?
答案依然是“稳定性”，不过应该比案例一的营销场景更偏一些唯一性。可以这么理解，对于黑产来说，想要伪装成一台全新的设备很容易，大不了重装系统。但是想要伪装成一台已知的可信设备就很难了。随着维度的增加，难度也会呈指数级增长。打个比方，如果我们是根据”ip归属地城市”、”系统语言”、”wifi名称”三个维度交叉得到的可信设备，那么对于一个特定的可信账号，黑产很难模拟出一套相同的环境。
有人会问:为什么不完全偏向“唯一性”呢，这样似乎更安全?那是因为正常用户也会有一些潜在可能的环境变化，比如一个人在家里上网，可能用手机、台式机、或者笔记本电脑，而且常常在多个设备间切换，如果完全偏向“唯一性”，每一个参数的微小改动都需要用户重新进行全流程的二次验证，对于用户的体验会非常差;对厂商来讲，进行二次验证往往需要付出一些成本，比如发短信，当用户量大了之后这些成本的增加也很可观。
以上只是众多业务场景中典型的两种，最终怎么设定设备指纹平衡点，完全看业务需要。从商业化的产品角度来看，怎么更好的解决这个问题呢?
我们抛出一个答案 —— 灵活可配置化。同盾科技同时提供了多个id，每个id分别有不同的稳定性和唯一性偏好，客户可以根据自己的业务场景，灵活选择。
上文所说的只是贴合业务场景的一个层面:“稳定性”和“唯一性”。其实作为“业务”风控产品，方方面面都要努力做到这一点。
6. 设备异常环境识别
很多人误解，设备指纹只能做设备的唯一标识，也就是“设备ID”的追踪。但其实设备指纹能做的远不止这些，甚至可以说设备ID的功能只占其全部功能的三成左右。上文我们举的两个案例:可信设备和广告营销，可以说这并不算反欺诈的典型业务。当下国内最典型的是“账户”和”营销”这些场景，也是黑产获利最多的场景。这些场景里，黑产往往可以通过伪造新设备或者伪造某些系统底层参数(比如地理位置，imei号等等)的方式来绕过业务的限制。上层设备指纹获取的所有参数都是伪造的，基于这些伪造的数据计算得到的设备ID就毫无意义了。就像一个美丽的空中楼阁，没有了深入地下的坚实基础。而夯实基础关键在于”系统环境异常的识别”。对于常见的黑产改机框架、改机软件、伪装软件等，设备指纹都一定要做到针对性的识别。只有确定当前的系统环境没有异常，设备ID才是可信、可用的。
以同盾的设备指纹举例，目前我们几乎能识别所有的Android和iOS底层改机和伪造行为。此外通过对常见的黑产软件有针对性的监控和逆向研究，结合服务端的数据分析和建模，可以给设备打上30多种异常标签，包括“调试行为、“模拟器虚拟机”等等。
对于”软”设备指纹，设备异常环境的识别可能比设备ID更重要。
7.强大的自我保护机制
设备指纹是一个从”端”到”云”的综合系统，这里面既有客户端的交叉验证、劫持检测，又有服务端的数据建模、联防联控,任何一点的疏忽都有可能被黑产攻破，所以需要对客户端的代码做很强健的加固保护。
这也是为了在跟黑产对抗的过程中保持信息不对称性的优势，一定程度上我们就是通过这种信息不对称性在攻防之间保持微弱的领先优势。所以对很多设备指纹系统来讲，” 开源”也就意味着平庸和被绕过。双方都在绞尽脑汁拼个你死我活，突然就把家底送给别人看了，后果可想而知。
谈论设备指纹时这些尖锐的问题你该知道
这几年笔者现场接触了很多客户，也回答了很多设备指纹的问题，其中不乏一些专业到位、一针见血的问题。以下是笔者简单梳理出的一些问题与大家共分享。
问题一: 怎么评估设备的“稳定性”和“唯一性”，有没有量化的标准?
答:
这似乎是一个悖论:如果能有一个良好的判定设备指纹的参数，为什么不拿它当设备指纹呢?
不过仔细想想也未必没有解决方案。我们排除掉粗暴的大样本环境测试(样本再大相比线上也是九牛一毛)，剩下最好的办法便是基于一些业务数据和生活常识去做这个判断。保密原因我不会详细说，但是我们内部已经形成了一套行之有效的评估预警机制。
问题二: 如果我刷机，重装系统，你还能找回这个设备吗?是不是设备指纹就没用了。
答:
软件层面追踪硬件一定有它的局限性，某些小”trick”可以做到即使刷机和双清，仍然可以还原。但是如果真的是彻底的底层变更，甚至是修改硬件，比如换块硬盘，那光靠设备指纹一定是不够的，需要完整的风控系统。设备指纹不是银弹，我们做的也不是百分百绝对防御，提升黑产作案成本是关键。
问题三: 可不可以这样用你们的设备指纹，我自己获取一些你们要的参数，然后传给你，你们给我们返回一个设备ID？
答:
这种方式没有太大意义。
上文笔者提到，设备指纹是一个从”端”到”云”的系统，这种单纯使用”云”不使用”端”的方式，很有可能导致服务端接收的数据完全是黑产伪造的。我们常常说”数据决定了模型的上限”，很多客户更关注服务端模型，但数据的不可靠让模型的效果非常差甚至为负。
问题四: 能不能把设备指纹开源给我们，我们担心你们做一些不安全的事情？
答：
上文我们也提到，设备指纹的开源意味着设备指纹的死亡。对于一个商业产品来说，给一个客户的开源意味着给所有客户的开源，同样意味着给黑产的开源。安全类产品的核心代码一定是不开源，否则对黑产来讲就是照着说明书攻击了。
安全上的担心，可以理解。但是换个角度，互联网的发展其实就是基于供应链各个环节互相的信任。我们从来不担心浏览器窃取用户隐私，不担心微信支付宝窃取用户隐私，即使他们大多数代码也是不开源的。对同盾来讲，作为坚持第三方中立的风控领域领头羊，我们非常感谢6000多家客户给予的信任和支持。
问题五: 为什么要使用三方的产品，而不是自己进行技术研发？
答：
难度非常大，成本非常高，投入非常多，需要谨慎考虑。专业的事情还是交给专业的人做。
问题六:为什么说同盾的设备指纹是最好的设备指纹?
答:
试过就知道。
