EMR(Elastic MapReduce)开发环境部署总结(一)

1、本文目的

笔者在项目跟进的过程中遇到了需要EMR开发环境部署的方案,并了解到阿里云和AWS也已经提供了完备的EMR开发环境,不过看了一下具体价格,发现EMR开发环境的价格快赶上云服务器价格的一半了,可谓非常暴利。考虑到成本节约和自身的学习欲望,我将在之后的框架中搭建起一个完备的EMR研发框架,并在最大程度上保留API和程序调试的自由性,并把自己在开发部署过程中遇到的坑坑洼洼和大家分。项目环境为CentOS7.0

2、项目架构介绍

① 框架+软件介绍
② 端口分配
③ 环境变量

3、文章目录

0.基础软件配置(Java/Python/MySQL)
1.HUE容器配置
2.Zeppelin容器配置
3.Jupyter/notebook容器配置
4.Pig+Ant配置
5.Zookeeper配置
6.Yarn安装配置
7.Hadoop基础
7++.难点:Hadoop配置文件
8.Hive安装配置
8++.Hive配置文件
9.HBase配置
10.Spark安装配置
11.Phoenix安装配置
12.Impala/Kylin安装配置
13.Storm安装配置
14.整体可用性测试

4、总结

在部署整个大数据开发环境的过程中遇到了非常多的坑和困难,笔者会在之后的文章中进行整理。通过这次部署,对于Hadoop和Spark两个大数据体系的认识有了更加深刻的认识。

你可能感兴趣的:(EMR(Elastic MapReduce)开发环境部署总结(一))