大数据简单概述

大数据概述

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式文件数据库，云计算平台，互联网，和可扩展的存储系统。

大数据主要解决的问题是：采集，存储，处理。

1.大数据特点

具体来说，大数据的基本特征可以归纳为4V：

• 数据体量巨大
• 多样性（数据类型、数据来源）
• 处理速度快（1秒定律）
• 价值密度低

2.大数据的应用场景

只有通过分析才能获取很多智能的，深入的，有价值的信息。大数据技术可以帮助处理从客户体验到分析的一系列业务活动。举例：

• 可视化分析。大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对大数据分析最基本的要求是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

数据——MySQL——Java——图表（可视化）

• 产品开发。公司使用大数据来预测客户需求。通过对过去和当前产品或服务的关键属性进行分类，并对这些属性与产品的商业成功之间的关系进行建模，为新产品和服务构建预测模型。此外，还使用
  各渠道的数据与分析来规划、生产和推出新产品。
  
• 客户体验。客户资源的竞争一直存在。现在比以往任何时候都更有可能更清楚地了解客户体验。大数据能够帮忙从社交媒体、Web访问、通话记录和其他来源收集数据，以改善交互体验并最大化交付的价值。可以提供个性化优惠，减少客户流失，并主动处理问题。

构建用户画像——对用户进行分析

• 机器学习。机器学习是目前热门话题，数据（尤其是大数据）是原因之一。大数据的可用性用于训练机器学习模型使这成为可能。不再是停留在给机器编程，更多是教机器。

需要尽可能庞大的数据

3.大数据生态圈

（补充：Fliwk）

数据采集——数据存储——数据计算

HDFS文件存储是基石

4.工具：

根据上图顺序，入门较为重要：（Flume、Sqoop）（HDFS、Mongodb、HBase）（Spark、Flink）（Hive、Spark SQL、Flink SQL）

5. 开发工具补充：