马老教你半小时入门大数据之Hadoop

马士兵大数据之hadoop_腾讯视频

学hadoop需要什么基础？Hadoop作为大数据工业中的主引擎，Hadoop就像是大数据世的一把钥匙，想要进入数据世界，首先你得显得得到这把钥匙，才能打开大门。那么科多大数据带你来看看。

学hadoop需要什么基础？Hadoop是一个分布式计算架构，更重要的是它是一个可扩展的生态系统，像IBM，EMC，Amazon，微软，甲骨文等大型IT公司都已经有了基于Hadoop的商业化大数据产品。虽然现在还有比Hadoop更为先进的分布式架构（Dremel，DataFlow等），但也都是基于Hadoop的改进升级，因此也说Hadoop是大数据的基础，基础的稳固决定了未来能走多远！！

当下社会，大数据依然是火的不要不要的，作为大数据基础的Hadoop自然也会备受重视，那么Hadoop的使用场景有哪些？下面给大家介绍下。

1，大数据量存储：分布式存储

2，日志处理：Hadoop擅长这个

3，海量计算：并行计算

4，ETL：数据抽取到Oracle、MySQL、DB2、mongdb及主流数据库

5，使用Hbase做数据分析:用扩展性应对大量的写操作—Facebook构建了基于HBase的实时数据分析系统

6，机器学习：比如Apache Mahout项目

7，搜索引擎：hadoop + lucene实现

8，数据挖掘：目前比较流行的广告推荐,9，用户细分特征建模

10，个性化广告推荐,

11，智能仪器推荐

捎带，向大家介绍Hadoop学习方面的一些事项。希望对新手学习Hadoop有所帮助。

学习hadoop学什么？

主要学习hadoop的核心组件:hdfs、mapreduce、yarn。它们是hadoop最最核心的部分。在它们的基础上，我们还可以选择性的学习hadoop生态圈中的日志收集工具flume、数据仓库Hive、分布式数据库hbase、数据导入导出工具sqoop。

学习hadoop需要什么基础？

hadoop需要具备javaSE的基础知识，对于javaEE(jsp/servlet/三大框架)没有要求。需要熟练使用Linux系统。大体上，有这些预备知识就够了。也有人说，只需要具备javaSE知识就足够了。

学完hadoop会影响javaEE工作吗？

严格的讲，hadoop与javaEE是两个不同的发展思路，hadoop倾向于底层数据处理部分，javaEE负责系统开发，二者前后相继，没有交叉，相辅相成。

学习hadoop对算法和数据结构要求高吗？

一般海量数据的处理都是自定义存储结构，实现自己的算法，这是业界的通用处理思路。这对普通程序员而言要求还是很高的。hadoop的优点就是进行了封装，写的算法都是偏向于业务的，不需要创造算法。因此大可放心。但是，如果工作的公司不使用hadoop去处理大数据，这时候对算法和数据结构的要求就高了。