大数据相关技术

1大数据基础技术

1.1可视化分析

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

 

1.2数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

1.3预测性分析

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

 

1.4语义引擎

非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。

 

1.5数据质量和数据管理

大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。

大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

 

2大数据技术

2.1数据采集

ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

 

2.1.1数据采集相关技术

•       ETL

•       数据众包（CrowdSouring）

2.2数据存储/管理

关系数据库、NOSQL、SQL等。

 

2.2.1数据存储/管理相关技术

•       结构化、非结构化和半结构化数据

•       分布式文件系统

•       关系数据库

•       非关系数据库（NoSQL）

•       数据仓库

•       云计算和云存储

•       实时流处理

 

2.4数据分析

2.4.1自然语言处理

自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机”理解”自然语言，所以自然语言处理又叫做自然语言理解也称为计算语言学。一方面它是语言信息处理的一个分支，另一方面它是人工智能的核心课题之一。

 

2.4.2统计分析

假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。

2.4.3数据挖掘

分类（Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)

2.4.4统计分析/挖掘相关技术

•       A/B Testing

•       关联规则分析

•       分类

•       聚类

•       遗传算法

•       神经网络

•       预测模型

•       模式识别

•       时间序列分析

•       回归分析

•       系统仿真

•       机器学习

•       优化

•       空间分析

•       社会网络分析

•       自然语言分析

•       MapReduce

•       R语言

2.4.5模型预测

预测模型、机器学习、建模仿真。

2.4.6数据计算结果

云计算、标签云、关系图等。

1相关技术有：

•  标签云（Tag Cloud）

•  聚类图（Clustergram）

•  空间信息流（Spatial information flow）

•  热图（Heatmap）