大数据学习 第一篇--基础知识入门篇

大数据入门

 

总结一下近期学习的大数据知识

学习之前没搞清楚的知识

传统的web应用(LAMP、JavaEE、NODE系等)与大数据什么关系?

之前一直以为大数据的东西就是来取代传统的Web应用的，其实并不是这样;即使是大数据的架构，应用层依然会是传统的web应用，但是会根据数据特点对数据存储(结构化数据依然会保存在传统的关系型数据库--如MySql，日志等非结构数据会保存在分布式文件系统--如Hadoop的HDFS)。

大数据的东西不是取代传统的web应用，而是对web应用的增强。基于分布式存储和分布式计算，以前单机或者小规模集群无法解决的问题，使用了大数据技术之后就可以解决了，比如日志等数据当数据量非常大的时候(TB甚至PB)，对这些数据的分析在传统架构上是不可能或者是非常慢的，使用了大数据技术之后就是可能的了--主要是将数据处理通过MapReduce等拆分到不同的节点(电脑)上执行，然后将节点上的结果合并，最后生成分析结果。

云计算和大数据

这个话题在林子雨老师的教程--“第一讲 大数据概述”里介绍的非常好，感兴趣的朋友可以自己去看看，这里概括总结为:“云计算为大数据提供了技术基础，大数据为云计算提供了用物之地”。

现在几乎所有的公司都把自己的产品吹成“云”...但是真的都是“云”么?其实很多都是传统的web应用部署到阿里云这些第三方云平台吧;还有一部分有自己服务器(一般配置)，然后搞个公网ip，部署上去也说自己是“云”。

Hadoop结构(更新)

参照厦门大学林子雨-大数据技术原理与应用-教材配套讲课视频-第2讲-大数据处理架构Hadoop

这部分内容请观看林子雨老师的视频，讲得比较透彻。下面的内容是在看视频之前(那会儿只看了林子雨老师的教材和博客，如林子雨老师在视频中说得，教材上的内容都是基于Hadoop1.0的，在视频中已经更新到了2.0)写的，作为一些参考吧。

学习历程 了解Hado