大数据Hadoop/Hive学习笔记一（基础概念）

大数据Hadoop/Hive学习笔记一（基础概念）

一，概念介绍：

大数据：
大数据一般用来描述一种数量庞大，复杂的数据集，传统 数据处理应用程序难以应对。大数据通常应用于预测分析，用户行为分析或从数据中提取有价值的信息用于高级数据分析方法，并不局限与指某种特定规模的数据集
大数据的特征：
大数据具有多样性、体量（volume）和价值密度（value）/精准性（veracity）
体量Volume：
非结构化数据的超大规模和增长总数据量的80~90%，比结构化数据增长快10倍到50倍是传统数据仓库的10到50倍
多样性Variety：
大数据的异构和多样性，很多不同形式（文本，图像，视频，机器数据）无模式或模式不明显不连贯的语法句义
价值密度Value：
大量的不相关信息对未来趋势与模式的可预测分析，深度复杂分析（机器学习，人工智能Vs传统商务智能
速度Velocity：
实时分析非批量式分析，数据输入，处理与丢弃
大数据的重要性：
任何企业都不能否认数据的重要性，企业一直都在收集大量的历史数据将其保存在数据仓库中以便进行分析 。通过分析历史数据来获得新的增长点，这也证明了数