大数据基础知识(一):认识大数据

大数据的特点

  具体来说,大数据具有4个基本特征:

  一是数据体量巨大。百度资料表明,其新首页导航每天需要提供的数据超过1.5PB(1PB=1024TB),这些数据如果打印出来将超过5千亿张A4纸。有资料证实,到目前为止,人类生产的所有印刷材料的数据量仅为200PB。

  二是数据类型多样。现在的数据类型不仅是文本形式,更多的是图片、视频、音频、地理位置信息等多类型的数据,个性化数据占绝对多数。

  三是处理速度快。数据处理遵循“1秒定律”,可从各种类型的数据中快速获得高价值的信息。

  四是价值密度低。以视频为例,一小时的视频,在不间断的监控过程中,可能有用的数据仅仅只有一两秒。

大数据解决什么问题

       大数据解决对海量数据的存储、查询、分析计算等操作,主要应用在利用庞大的数据归类分析用户的偏好,利用用户的历史信息得出相应的统计账单等,将同行业的大公司的数据进行计算分析,可以挖掘出一些隐含价值。

学习大数据的基础

1)java SE,EE(SSM) 
因为90%的大数据框架都是java写的 
2)SQL 
特别是sql语句中的查询语句,因为对数据库的操作最多的是查询 
使用Hadoop作为大数据的分布式存储、计算和分析 sql的操作会重要 
3)Linux 
大数据的框架安装在Linux操作系统上

大数据框架安装功能来划分

海量数据存储:

HDFS、Hive(本质存储数据还是hdfs)、HBASE、ES

海量数据分析:

MapReduce、Spark、SQL

 

 

你可能感兴趣的:(大数据技术)