关于大数据处理平台的基本概念浅析

没有深入接触大数据解决方案这块，仅是聊一下我个人的观点概念。

所有大数据处理平台本质上都是一样的，就像同一玩法的游戏更换一下背景设定和美术设计就可以作为另一个游戏，比如把一款三国题材改成二战题材，就可以说是不同的游戏，但在程序开发上并没做变动，只不过一些数值和字段做了改动，表现出来的同样是打仗、招兵、建立城池。大数据平台也一样，从简单的逻辑上来说就是双向的条件筛选，要吗通过输入手机号等信息，后台经过查询或者更复杂的关联性查询，这里更关键的是看各家平台的数据量，输出给客户这个号码对应的个人信息，要吗通过设定一些模糊的条件，输出给客户符合这些条件的人群或者其他元素，只不过会根据行业特征在模糊条件上做一些变动，而这时需要的是产品人员为客户去想到一些他可以没有想到的获取方式，比如某侦查系统，可能并不会想到嫌疑犯连接过的个人wifi，而连接过这个wifi的人和这个嫌疑犯都可能会产生关联。或者在某一个小范围内只存在两个移动设备时，而其中一个是嫌疑犯，另外一个有很大的几率是和嫌疑犯有关联的。

再说利用大数据来做风险管控系统就是根据现有的条件去对未来做出的预测，相信有些人看过汤姆克鲁斯的《少数派报告》这部电影，这部电影的设定就是通过几个先知来预先发现罪案，提前抓捕犯罪嫌疑人来避免案件发生，虽然是因为一部错案才产品了这部电影，但风险管控系统所表现出的效果是类似的，放到平时的生活中其实有一定的普适性，如果一个人从小有受虐的经历，那他成长后很容易出现反社会人格或者其他心理缺陷，那么他就有很大的概率会出现伤害事件，我们可以认为生活中一个看似偶然的事件其实是有很多条件组合在一起的必然事件，当然其中的逻辑或者因果关系的处理上就要做得合理，不然就会出现那个笑话。

A男在酒馆里，酒保看他垂头丧气的喝酒，就上前找他聊天。

酒保：怎么愁眉不展的

酒保：我刚丢了工作

酒保：你什么工作

A男:逻辑学家

酒保：逻辑学家是干嘛的

A男：就是聊天做点“逻辑推理的”

酒保：“逻辑推理”又是什么

A男：那我给你举个栗子吧，你养狗吗?

酒保:养

A男：那你很喜欢动物喽

酒保：对的

A男：那么推理下来你很喜欢你的孩子咯

酒保:当然

A男：那你有孩子肯定有老婆吧

酒保:我老婆很漂亮的！

A男：那总结下来那你肯定不是基佬喽

酒保：日！太准了！

A男：酒喝完了，我该去找工作了

酒保:祝你好运

15分钟之后....

B男进来

B男：刚才你们在聊什么

酒保：那个人说他是逻辑学家

B男：逻辑学家是干什么的

酒保：那我试验给你看

B男：...

酒保：你养狗吗?

B男:NO

酒保: 那么你是个gay

所以这中间出现了什么问题，就是我们事先建立的模型本身就存在bug，只有在有孩子的情况下才会产生后面的推断，而我们默认就给他打上了有孩子的标签，通过爱动物只可能推断是可能也喜欢小孩，但推断不出我喜欢小孩并且还有个孩子。大数据在风控方面的应用只是把这种逻辑学家的经验更系统化的提炼出来建立一个模型，而优势就是这个模型中数据量远比单个人类获取的更多。