大数据分析实验环境搭建

最近准备了一些数据，包括文本数据、数据库数据，有结构化的数据和非结构化的数据，开始逐步展开数据分析之旅途。当然，首先是大数据环境的搭建，下面略加介绍。

1：软件版本
hadoop2.2.0
zooKeeper3.4.5 + HBase0.96.0
hive0.11.0 + pig0.11.1 +mahout0.6
sqoop1.4.4
R + Rstudio
MySQL5.6.12
oracle12c
eclipse

2：实验环境
*********************************************************************************
hadoop集群（virtualBox虚拟机，CentOS6.4）
hadoop1 192.168.100.171（hadoop master、secondaryname、zookeeper、hbase HMaster）
hadoop2 192.168.100.172（zookeeper、hbase HRegion、Hive Shell）
hadoop3 192.168.100.173（hadoop slave、zookeeper、hbase HRegion）
hadoop4 192.168.100.174（hadoop slave、zookeeper、hbase HRegion）
hadoop5 192.168.100.175（hadoop slave、zookeeper、hbase HRegion）
dataserver 192.168.100.141（Hive metastore、MySQL Server、Oracle、Pig、Hive、mahout、sqoop）
*********************************************************************************

*********************************************************************************
客户端（物理机，Ubuntu13.04 配置：神舟K590S-i7 D2 16G内存)
wyy 192.168.100.111 （eclipse、pig、mahout、R、Rstudio）
*********************************************************************************

3：hadoop2.2.0搭建
编译： hadoop2.2.0源码编译(CentOS6.4)
安装： hadoop2.2.0测试环境搭建

 
4：zooKeeper3.4.5 + HBase0.96.0搭建
zookeeper3.4.5安装笔记
HBase0.96.0 for Hadoop2.2.0编译
Hbase0.96.0 +hadoop2.2.0安装

5：hive0.11.0 + pig0.11.1 +mahout0.6搭建
Hive 0.11.0 远程模式搭建
pig安装和配置
Mahout初体验

 

 

 
6：sqoop1.4.4搭建
sqoop1.4.4 for mysql

 
7：R + Rstudio
RHadoop搭建（HDFS+MapReduce)

 

 
8：MySQL5.6.12搭建
MySQL5.6.12 for Linux安装

 
9：oracle12cR1搭建
oracle12c的安装和oralce11g的安装相差不大，虽然在使用上有很大差距，但安装可以参见：
ASM安装Oracle11R2系列（一：UDEV单盘配置）
为了方便起见，采用了文件方式安装，而非ASM方式安装。

 
10：eclipse
eclipse开发hadooop2.2.0程序
使用Eclipse开发HBase应用程序