大数据福利篇：大数据集成环境虚拟机的下载与使用(仅供个人学习使用)

一、集成环境虚拟机简介

• 前段时间有个小伙伴和我说在学习大数据的路上他认为最大的绊脚石是安装和配置各种大数据框架，很容易出错，这让我想起了自己刚学大数据那会也遇到了相同的情况，经常被各种大数据框架的安装和配置搞得焦头烂额的，所以整理出一个Linux虚拟机，里面安装和配置好了许多大数据框架，当做是一个福利分享给大家，希望对想学习大数据又苦于环境问题的小伙伴使用，注意该虚拟机仅供个人学习使用。
• 虚拟机基本信息：
  (1). 系统版本：Centos6.4，64位桌面版。
  (2). 普通用户：hadoop，密码：hadoop(该账户也是进行操作大数据环境的用户)
  (3). 超级管理员用户：root，密码：root
  (4). MySQL用户：root，密码：root
  (5). JDK版本：jdk1.8.0_144

二、集成环境虚拟机包含大数据框架清单

• 进入集成环境虚拟机，在~/app目录下安装和配置了许多大数据框架：
  
  这些框架包含了：
  (1).Hadoop：hadoop-2.6.0-cdh5.7.0
  (2).Spark：spark-2.2.0-bin-2.6.0-cdh5.7.0
  (3).HBase： hbase-1.2.0-cdh5.7.0
  (4).Hive：hive-1.1.0-cdh5.7.0
  (5).Kafka：kafka_2.11-0.9.0.0
  (6).Flume：apache-flume-1.6.0-cdh5.7.0-bin
  (7).Zookeeper：zookeeper-3.4.5-cdh5.7.0
  (8).Sqoop：sqoop-1.4.6-cdh5.7.0
  (9).MySQL： 5.1.73, for redhat-linux-gnu (x86_64)
  上述框架我已经为其配置好了环境变量，该配置在~/.bash_profile中：
  
• 在~/software目录下有上述框架的安装包：
  

三、集成环境虚拟机下载

• 下载链接：集成环境虚拟机下载

四、集成环境虚拟机安装与配置步骤

• (1).将下载的压缩包解压，打开VMware Workstation Pro软件(版本影响不大，请自行下载)，在VMware 中打开解压后的目录文件：
  
  
• (2).启动虚拟机，使用hadoop用户登录，进去后需要修改网络连接的配置，我配置的是静态IP，你需要将IP地址、DNS服务器地址等配置为符合你的配置：
  
  
  配置完这些之后，还需要编辑/etc/hosts文件，将新配置的IP替换旧IP来映射主机IP。然后就可以随心所欲地使用这个大数据集成环境虚拟机了。

五、总结

• 在虚拟机里面的所有已经安装好了的大数据框都是可以直接使用了的，无需再配置，其实这个虚拟机也是本人刚接触大数据时一点一点把框架装上去的，里面还保留了一些我学习的痕迹，所以该环境是肯定可以使用的，除了那些框架，大家如果有需要还可以继续往里面装新的框架比如Flink等，如果要重装某些框架也是可以的，我在家目录下的software目录里保留所有已装框架的安装包，可以再次解压重装。值得注意的是，我在压缩这个虚拟机的时候考虑到有些小伙伴的电脑配置可能不是很高，所以设置的内存是2G，大家可以自行调高再启动也可以。如果这个虚拟机可以解决你的一些问题或者为你提供了帮助，我也很开心的，有什么问题可以在评论区留言，如果看到会尽可能给予你解答的。
• 更多精彩内容请查看：萧邦主的技术博客导航