RHadoop计算平台搭建

 原创文章，转载请注明： 转载自www.cnblogs.com/tovin/p/3824554.html

 

本文基于CentOS6.4系统介绍基于RHadoop平台的搭建，Hadoop的搭建可以参考http://www.cnblogs.com/tovin/p/3818908.html，以下着重介绍在Hadoop平台上构建R

一、安装R

　　（1）安装依赖软件

　　　　sudo yum install gcc-gfortran

　　　　sudo yum install gcc gcc-c++ 

　　　　sudo yum install readline-devel 

　　　　sudo yum install libXt-devel 

　　（2）安装R包

　　　　cd /home/hdp/download　　

　　　　wget http://mirror.bjtu.edu.cn/cran/src/base/R-3/R-3.1.0.tar.gz

　　　　tar zxvf R-3.1.0.tar.gz

　　　　cd R-3.1.0

　　　　./configure --enable-R-shlib

　　　　sudo make

　　　　sudo make install

　　　　把R、Rscript加入环境变量

　　　　sudo ln -s /usr/local/bin/Rscript /usr/bin/Rscript

　　　　sudo ln -s /usr/local/bin/R /usr/bin/R

　　在linux终端输入R，如果启动正常则表明安装成功

　　

二、安装RStudio

　　为了更方便把RHadoop提供给开发人员使用，可以使用基于Web操作的RStudio来操作R

　　cd /home/hdp/download　　

　　wget http://download2.rstudio.org/rstudio-server-0.98.953-x86_64.rpm

　　sudo yum install libcrypto.so.6

　　sudo yum install libgfortran.so.1

　　sudo yum install libssl.so.6

　　sudo yum install openssl098e-0.9.8e 

　　sudo yum install gcc41-libgfortran-4.1.2

　　sudo yum install pango-1.28.1

　　sudo yum install compat-libgfortran

　　cd /etc/ld.so.conf.d/

　　sudo vim rstudio.conf添加内容

　　　　/usr/local/lib64/R/lib
　　再执行sudo ldconfig将下面几个so库加入系统库

　　

　　sudo rpm -Uvh --nodeps rstudio-server-0.98.953-x86_64.rpm　　

　　至此rstudio安装完成并启动，运行rstudio-server verify-installation看是否会报错

　　最后，可以进入/etc/rstudio目录修改rserver.conf配置文件添加登录权限管理

　　

　　auth-required-usr-group是针对设置的组才能登录系统。注意：rstudio用户是和linux本地帐号一致的，对于ldap用户是不支持的。

　　访问8787端口就能进入rstudio web界面了：

　　　　　

 

三、安装RHadoop　

　　1、下载rmr、rhdfs

　　       进入https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads下载rmr、rhdfs包

　　2、安装rmr、rhdfs

　　　　cmd执行命令行执行： 　　

　　　　　　R CMD javareconf 　　

　　　　启动R执行：

　　　　　　install.packages("rJava")

　　　　　　install.packages("reshape2")

　　　　　　install.packages("Rcpp")

　　　　　　install.packages("iterators")

　　　　　　install.packages("itertools")

　　　　　　install.packages("digest")

　　　　　　install.packages("RJSONIO")

　　　　　　install.packages("functional")

　　　　cmd执行命令行执行：

　　　　R CMD INSTALL rhdfs-1.0.8.tar.gz

　　　　R CMD INSTALL rmr-3.1.2.tar.gz

　　3、修改环境变量

　　　cd /usr/local/lib64/R/etc

　　　修改Renviron文件增加HADOOP_CMD、HADOOP_STREAMING环境变量，这步很关键不然RStudio会报错获取不到HADOOP环境变量

　　　

　4、部署DataNode

　　　将/usr/local/lib64/R目录下所有文件传至所有DataNode节点相同位置

　　　sudo cp /usr/local/lib64/R/bin/R /usr/local/bin/

　　   sudo cp /usr/local/lib64/R/bin/Rscript /usr/local/bin/　

　　  至此完成了RHadoop平台部署　

 

四、测试验证

　　访问Rstudio web验证一下rhdfs、rmr2的功能

　　1、hdfs功能验证

　　　　

　　2、mapreduce功能验证

　　　　

 

　　　　

　　　　安装部署成功，收工！

 

 原创文章，转载请注明： 转载自www.cnblogs.com/tovin/p/3824554.html