基于Hadoop架构的可视化大数据挖掘建模平台

大数据挖掘建模平台（ 简称HB）是一套可定制的基于Hadoop架构的可视化数据挖掘建模平台，通过企业数据挖掘应用工具化的模式，使数据应用开发的速度更快，成本更低，让企业数据挖掘应用更简单。通过帮助中小企业挖掘各种市场活动和企业内部运作可能带来的收益，从而不断的发现新的收益增长点。 大数据挖掘应用主要包括三大模块： ETL数据整合模块、大数据挖掘模块和结果展现模块，其中大数据挖掘建模是整个应用的核心。

 

产品特点

1、支持CRISP-DM数据挖掘标准流程

CRISP-DM是数据挖掘的标准商业流程，与仅仅局限在技术层面上的数据挖掘方法论不同，CRISP-DM 把数据挖掘看作一个商业过程，并将其具体的商业目标映射为数据挖掘目标。有调查结果显示，目前绝大部分数据挖掘工具均采用CRISP-DM 的数据挖掘流程，它已经成为事实上的行业标准。

TipDM-HB 完全支持CRISP-DM 标准，这不但规避了许多常规错误，而且其显著的智能预测模型有助于快速解决出现的问题。

2、先进的体系架构

基于企业级数据挖掘应用需要，HB采用J2EE企业应用架构，应用框架的设计基于云计算、SOA、分层组件化的思想来规划。采用云计算技术，可高效实现海量数据的挖掘处理；采用SOA架构使平台的可扩展性大大增强，能够和其他业务系统进行高效整合；遵循组件化分层结构设计，能最大程度减少业务模块之间的耦合程度，促进软件的重用，使得业务系统能够敏捷地适应业务规则的变化。系统采用Web服务进行应用系统集成，保证了松散耦合与跨平台的突出优势，克服了企业应用在异构平台集成及集成安全性、灵活性方面的突出要求。

 

支持主流UNIX和Window平台，支持Oracle、SQL Server、Sybase、Mysql等主流数据库。

3、提供丰富的数据挖掘模型和灵活算法

HB提供多种数据挖掘建模方法，这些方法分别来自于机器学习、人工智能和统计学。每种方法都有自己的长处，并且可以整合在一起使用，可以灵活的解决各种类型的问题。这些模型算法分成五类：数据探索与预处理、分类与回归、聚类分析、关联规则挖掘、时序模式。

4、提供丰富的图表输出效果

HB提供丰富的建模过程图表，示例如下：

 

5、具有多模型的整合能力，使得生成的模型更加稳定和高效

HB通过数据流的方式构建数据挖掘模型，用户可以把不同模型按照需求顺次连接就可以达到整合多个模型的目的。举例来说：建模前用户可以选择先对样本属性进行主成分分析或属性选择进行降维处理，然后再指定某个算法进行建模。另外TipDM-HB还提供了多种模型效果的评估技术和思路（例如收益图表、投资回报图表、利润图表、响应图表及各类表格等）来检验模型的效果，从而使用户可以选择最稳定、高效的模型进行发布。

6、提供灵活多样的应用开发接口

HB提供一套基于行业标准的编程接口及常用的数据挖掘算法。它可用于开发各类数据挖掘应用程序，从简单的预测建模到庞大的集成系统。数据引擎可由JDBC和XML访问分析行业标准数据挖掘API。

TipDM提供Web Service、DLL 或是 JAR三种不同的使用接口，方便第三方软件商集成开发，快速构建出大型企业级海量数据挖掘应用系统。

7、海量数据的处理能力

HB是基于云计算平台分布式文件系统HDFS、并行计算框架MapReduce和MPP数据仓库基础上搭建的。由于架构在云计算平台之上，因此TipDM-HB克服了传统工具的问题，能够处理TB级的海量数据挖掘，具备了双向扩展、高容错性、易于部署等特点。

 

HB具有并行、多线程处理能力，并能提供优化机制以保障在海量数据和大规模计算时的性能。

• 发表于: 2018-01-152018-01-15 07:38:55
• 原文链接：http://kuaibao.qq.com/s/20180115C04UNN00?refer=cp_1026
• 腾讯「云+社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。