大数据平台基础组件选型主要的考量点有哪些?

如何进行大数据平台的架构设计是当前金融企业面临的难题。同时,随着认知时代的到来,人工智能将能如何在大数据的基础之上更进一步地帮助金融企业业务创新也是当前大数据架构师们关注的问题。

以下内容来自“金融机构大数据平台化架构设计思路及未来人工智能应用探讨”,仅代表社区会员观点,供大家参考。

 

大数据平台组件选型问题?

大数据平台基础组件选型,开源?开源+自主改造?星环?华为?主要的考量点有那些,需要做哪些测试来支撑选型。

sandcun  银行架构师:

一般企业应用很少会介入核心组件的改造或优化工作,因为一方面是技术能力制约,另外还有与开源社区后续版本的兼容性问题。排除掉自行研发或改造,剩下的关键问题就是组件选型。

其实无论是CDH/HDP还是国内的几个发行商,都是基于开源社区的组件进行集成,所选取的范围有区别,这个要根据企业的自身需要进行衡量,但从功能上看总体差别也不是太大。

更重要的是技术服务能力的评估,目前大数据厂商的支持能力相对传统厂商在成熟度上还是要差些,企业自身或集成商要具备较强的能力,这个要有心理准备。此外如果进行了定制化的改造,要考虑产品厂商是否有能力将其推入社区或持续跟进,目前国内厂商对开源社区的影响力还是小些。

至于选择开源的方式,如果技术力量允许也不是不可行,但对一般企业不太推荐。

-------------------

 

如何在大数据平台建设之初考虑好性能和可靠性的问题?

sandcun  银行架构师:

其实对性能和可靠性的评估,大数据技术和传统技术差别不大。

1)系统最终的可靠性和性能等指标首先依赖于系统的架构设计,基于不同的应用需求选择合理的技术方案。总体来说这些场景的数据使用模式是比较有限的,基本上都可以在互联网或者领先企业的应用中找到实践样例。

2)可以适当的根据应用场景;做一些原型测试或产品选型测试。具体到不同的技术组件,会有一些官方的测评结果可供参考,但由于测评组织者的倾向性和产品调优程度不同,还要具体情况要充分判断测试结果是否具备参考价值。

3)更具体一些的系统调优则依赖于对技术组件的原理层面充分理解和技术人员的实践经验。

-------------------

 

IBM的Power Cognitive Systems认知系统,与谷歌的TensorFlow平台相比较如何?

jcui  系统架构师:

Cognitive System是一个完整的认知系统平台,包含了:

1. 硬件

如服务器、存储、高速网络。IBM进行了严格的兼容性和性能优化。

2. 计算框架

如Caffe,Tensorflow,Theano,Torch等。TensorFlow是其中的一个计算框架,因为开源计算框架各有优劣,所以用户往往会同时使用多个框架,Cognitive System提供多了多个选择。

3. 深度学习平台

在计算框架的基础上提供超参数搜索算法,提供如高效率的并行参数服务器,数据管理,模型管理,训练过程监控等,这些功能往往是企业实践中真正需要的。

4. 技术支持和服务

深度学习是比较复杂的技术,涉及到数学、概率论、计算机等多学科。IBM的技术支持和服务可以帮助企业用户快速驾驭深度学习技术,用到实际业务应用中。

-------------------

人工智能在国内金融企业是否有落地的应用场景和案例?

sandcun  银行架构师:

比较普遍应用的就是人脸识别/自然语言处理/语音识别这三类。

人脸识别用于在终端或者柜面确认用户身份;自然语言处理(NLP)和语音识别用于客服系统的语音菜单和文字部分。另外比较人们的是智能投顾,去年已经有银行和很多互联网公司在尝试开展该业务,但对其具体服务模式似乎还没有统一的界定,其中包含可能涉及到的有量化投资、FOF、NLP等内容,也是在尝试的过程中,应用效果尚待讨论。

你可能感兴趣的:(大数据平台基础组件选型主要的考量点有哪些?)