简单概述企业级大数据云平台该如何规划

一、大数据云平台应当具备

Real time 实时

• 海量实时计算

• 数据实时录入

• 动态实时标签

• 平台实时监控

• 数据实时应用

Efficient 高效

• 一键高效部署

• 数据高效整合

• 资源高效分配

• 模型高效计算

Control 监控

• 硬件监控

• 系统监控

• 数据监控

• 安全监控

• 权限监控

Value 价值

• 数据安全高

• 软硬件成本低

• 执行时间少

• 数据价值大

二、分布式数据系统

以数据价值和平台服务为导向，集成数据接入、整合、存储、计算和监控的分布式数据系统。

三、体现核心优势

数据接入

• 快速地整合同步存储在不同类型数据库中的数据，解决生产环境中ORACLE、MYSQL、文本、日志等主流数据库的结构化数据和非结构化数据的同步问题。

数据存储

• 建立分布式存储、分布式内存计算、分布式索引等技术，解决传统数据库面临的数据增长问题，可不停机情况下动态扩容。所有数据自动备份，不再需要混合架构，不再需要多数据库集群。

平台管理

• 为了更好地让开发及业务人员操作方便，提供数据查询、算法仓库、数据脱敏、监控预警、系统管理等可视化配置界面。

计算平台

• 集成交互式SQL、实时数据检索、机器学习、内存计算、流式计算、全文检索等技术，实现多数据源、多数据场景及多数据模型的联合计算平台，比传统型数据仓库和开源版分布式架构计算效率提升5-10倍。

四、技术提升点

批量数据导入效率

1. 多线程并发抽取，缩短抽取时间，抽取效率提升约100%。如：400张表（5G数据容量），单线程串行抽取耗时约2个小时，8-16线程并发抽取耗时约1小时10分钟；

2. 数据库整库抽取，数据源统一配置修改，提升部署效率（五分钟即可完成整库的数据抽取任务与定时调度任务的部署）。

流数据效率

支持按时间与按大小分隔当前输出日志，实现准实时的读写分离，提升日志提取实时率。可将日志实时同步率由T+1提升至毫秒级。

数据同步

1. 支持Oracle数据库到Hdfs、Hbase的实时数据同步，同步时间可达到毫秒级，对Oracle源系统性能影响在0.01%以下；

2. 支持Mysql数据库到Hdfs、Hbase的实时数据同步，同步时间可达到毫秒级，对Mysql源系统性能不受任何影响；

3. 支持Nosql、内存数据库、网络爬虫、文件数据、第三方数据的同步及导入功能。

SQOOP功能

1. 处理原sqoop组件无法抽取的oracle含有clob与blob字段的数据表的问题。抽取数据覆盖率提升至98%；

2. 自动化重启因为jobFailed引起的抽取报错的数据表的抽取进程。数据抽取容错率提升10%；

3. 同时支持Hive与hbase两种导入格式，可配置具体抽取方案。抽取数据的准确率提升至97%。

Flume功能

1. 支持多台服务器日志，以及同台服务器多份日志的同时收集功能；

2. 提供小文件的自动合并功能。优化HDFS文件存储，与任务执行效率，存储优化约节约90%的文件存储空间，降低90%的mapReduce任务数。

Hcinload功能

1. 支持Oracle、Mysql、MongoDB、DB2、Txt、Csv、Http等多数据源批量、实时同步功能，并实现多数据源、多数据格式同时并发的实时导入；

2. 支持百度统计、GA、微信等第三发平台的数据对接和导入；

3. 支持WEB、APP端采集的网页数据、网站行为数据、APP数据的采集、实时同步功能。

Yarn

1. 提升mapReduce运行效率；

2. 提升资源调度效率；

3. 提高磁盘容错率；

4. 提升metadata的稳定性。

HDFS

1. 提升hadoop原生系统稳定性，有连续有效运行时间超过700天的实施案例。

2. 优化HDFS中文件块的存储规则，系统整体容错性提升10%、任务运行效率约提升15%、网络传输消耗约降低15%。

HIVE

1. 提供稳定的hive-jdbc程序调用接口，解决原hive-jdbc接口12次调用约有一次失败的问题，容错率提升8%；

2. 与Hbase进行整合，hive-sql的数据结果准确度提升至95%；

3. 根据不同情况分配不同的mapReduce设置参数，提升hive-sql运行效率，运行效率约提升20%。

Hbase

1. 提升高效的key-value形式的数据调用效率，支撑大并发的前台应用。可支持每秒十万并发调用下的毫秒级数据返回；

2. 提供较高数据完整性与一致性的数据存放，与hive整合，提供hive调用hbase数据功能，数据准确率提升至97%，hive-sql的数据结果准确度提升至95%；

3. 根据需求提供高效的hbase二级索引功能。提高复杂查询需求的查询效率。约提升查询效率40%。

Hcupload

1. 支持60M/S的HDFS、HIVE、Hbase、Mysql、Redis等多数据载体的数据写入效率；

2. 按时间、大小、行业及职能等不同方式分隔当前数据，实现实时数据分类后上传；

3. 提供小文件的自动合并功能。

ZooKeeper

1. 优化zookeeper主从选举机制；

2. 提升分布式数据更新效率与一致性。

Gum

1. 适用所有类型样本分布规律，包括非高斯分布、不均匀密度、复杂高维空间的模型支持；

2. 提升算法在不同类型样本下的鲁棒性、抗噪音和异常值，算法适用性和稳定性提升10倍；

3. 算法准确率提升85%；

4. 算法运行时间平均缩短46%。

五、核心能力目标

• 日均10亿条数据实时处理能力；

• 累计5PB数据存储与计算能力；

• 上千台分布式集群连续3年不间断运行能力

更 多 精 彩 内 容 请 关 注 公 众 号（weikefangan），谢谢！