黑卡逻辑

黑卡产生的历史

1.

所谓的黑卡,一般通指的利用过支付漏洞或者是盗刷信用卡等通过非法途径获得的游戏点卡及游戏CDK(游戏奖励物品)，积分等有价值的虚拟产品

2.

一般的电商都有用户的完整信息，如果出现支付问题，可以通过法律途径追诉使用的用户

3.

某些国家（比如美国）刷信用卡不用 输密码，只需要输卡号，持卡人和卡背面数字就可以

4

特别是某些公司或某类业务（如：游戏，积分，虚拟物品等）,它们为了拉用户而不愿意因为开始因为验证用户个人信息的麻烦而导致用户流失

 

1.  

 这就好比我们盗刷了别人的信用卡，商家 给了你物品，当发现后又无法起诉你一样

6.

这特别是不少的海外消费，信用卡是不需要密码验证的，给了人以可趁之机

7.

他们通过搜集过期的和捡拾的信用卡， 通过国外的系统，大量购买国内的虚拟币，积分等虚拟物品，然后低价卖出，充值到用户的账号中

8

 因为使用黑卡的用户中，有的是故意使用，有的是偶尔使用，有的是不知道只是图个

 便宜，这就需要业务部门进行区分

9

我们一般都是惩治使用黑卡的人，手段不一样，通常是用封停账号，回档（就是回到某个正常时间点的数据）解决

充值记录组成

1. 因为所有的充值系统，都会记录下充

       值的账号，金额，充值时间，充值的设备

       的id

 2. 特别是充值的设备id是对所使用的终端的

      唯一标识。特别是安卓用户的应用，提供

      充值的渠道都会提供类似黑卡识别信息，

      这样公司的损失会小一些

3. 对于苹果用户，苹果公司要求是必须用

    苹果的账号 。他们和公司之间都是一个月

     结账一次，且不通过使用黑卡用户的信息

     (如账号)和封停该账号

4. 所以对于苹果的用户就会导致公司的充值

    实际大量是虚假的，苹果公司也不会结账

    ，这种往往会占到苹果总收入的一半以上

对于黑卡的检索需求

 

1.

公司因为黑卡带来的收入损失（而且如果

     不加以惩戒，会愈来愈严重）,必须要对

     使用黑卡账号进行甄别

2. 通常方法：小公司充值都是交给第三方公

     司实现，自己只是做了个记录，所以这也

     就让第三方公司解决

稍微有点规模的公司都是要自己完成，

     因为充值信息对于公司是属于核心机密了

对于黑卡的业务判断

1 .  黑卡一定要在业务层面找到规律(很多的

       需求都是如此)，这是解决问题的开始

2.一般情况下，黑卡数量是有限的，而用户

     需求是大量的。 这就不可能做到一个用户

      一个黑卡

3.经常使用黑卡的基本可以判断是有意为之

     

 

处理使用黑卡用户

1

我们只能处理使用黑卡的账号（或称为

      用户id）,但是又不能一刀切，就是凡是

      使用的都封停账号，这涉及最终还是希望

       用户能带来收益

2

基于以上的情况，我们就需要分别找到

      使用黑卡的账号的充值次数，充值金额

      （当然还有用户总的充值金额，我们这

        里不做，因为可能会有其它部门已经做了）

3. 我们还要对在一年以内使用黑卡的账号的

     使用频率和钱数进行判断

4. 我们还要对一个月内使用黑卡的账号的

    使用 频率和钱数进行判段

5. 我们还要对一周内使用黑卡的账号的使

     用频率和钱数进行判断

6. 我们所做的就是把使用黑卡的用户在历史

     上，在年内，在月内，在周内使用的频率

     和金额每天计算出结果提供给业务部门

    使用

我们的作用

1.

我们是通过数据的规范化放入大数据系统

     （规范化就是每个字段的意义都确定和

        一样）,这样便于我们对于数据的计算和

      查找

2.

计算的核心是总的充值次数,按用户账号

     充值次数,充值金额

黑卡的计算难点

1.  

在黑卡中最重要的是和业务部门的沟通，

      从不断沟通中找到黑卡的规律（就是一个

      卡给很多人充值）。我们再根据业务部门

       的交流中，在记录日志中确定卡的唯一标

        识是查找的关键因素

2

2

所有中RDD的结构的了解，可以简化很多

      的过程，如充值的次数只要找元祖的个数

计算黑卡中的知识

1

对于业务要重视，沟通的重要性

2

日志数据的规范化，这可以简化后期的开

      发成本和代码的复用成本

3

spark的算子的应用组合，对key和value的

     深刻理解和应用，使得整个程序变得简单

      实用

4.

理解前期和后期的数据的写入和导出可

    通过多种方式实现(sqoop,spark,python)

5.

对于结果还可以存入hdfs和parquet。用hive

    提供查询，可用前端插件实现查询展示

 （如：presto,kylin）

6.

或者存入hbase提供查询展示