最近准备了一些数据,包括文本数据、数据库数据,有结构化的数据和非结构化的数据,开始逐步展开数据分析之旅途。当然,首先是大数据环境的搭建,下面略加介绍。
1:软件版本
hadoop2.2.0
zooKeeper3.4.5 + HBase0.96.0
hive0.11.0 + pig0.11.1 +mahout0.6
sqoop1.4.4
R + Rstudio
MySQL5.6.12
oracle12c
eclipse
2:实验环境
*********************************************************************************
hadoop集群(virtualBox虚拟机,CentOS6.4)
hadoop1 192.168.100.171(hadoop master、secondaryname、zookeeper、hbase HMaster)
hadoop2 192.168.100.172(zookeeper、hbase HRegion、Hive Shell)
hadoop3 192.168.100.173(hadoop slave、zookeeper、hbase HRegion)
hadoop4 192.168.100.174(hadoop slave、zookeeper、hbase HRegion)
hadoop5 192.168.100.175(hadoop slave、zookeeper、hbase HRegion)
dataserver 192.168.100.141(Hive metastore、MySQL Server、Oracle、Pig、Hive、mahout、sqoop)
*********************************************************************************
*********************************************************************************
客户端(物理机,Ubuntu13.04 配置:神舟K590S-i7 D2 16G内存)
wyy 192.168.100.111 (eclipse、pig、mahout、R、Rstudio)
*********************************************************************************
3:hadoop2.2.0搭建
编译: hadoop2.2.0源码编译(CentOS6.4)
安装: hadoop2.2.0测试环境搭建
4:zooKeeper3.4.5 + HBase0.96.0搭建
zookeeper3.4.5安装笔记
HBase0.96.0 for Hadoop2.2.0编译
Hbase0.96.0 +hadoop2.2.0安装
5:hive0.11.0 + pig0.11.1 +mahout0.6搭建
Hive 0.11.0 远程模式搭建
pig安装和配置
Mahout初体验
6:sqoop1.4.4搭建
sqoop1.4.4 for mysql
7:R + Rstudio
RHadoop搭建(HDFS+MapReduce)
8:MySQL5.6.12搭建
MySQL5.6.12 for Linux安装
9:oracle12cR1搭建
oracle12c的安装和oralce11g的安装相差不大,虽然在使用上有很大差距,但安装可以参见:
ASM安装Oracle11R2系列(一:UDEV单盘配置)
为了方便起见,采用了文件方式安装,而非ASM方式安装。
10:eclipse
eclipse开发hadooop2.2.0程序
使用Eclipse开发HBase应用程序