前言
经过前三篇文章的介绍,已经通过VMware安装了Hadoop集群环境,当然,我相信安装的过程肯定遇到或多或少的问题,这些都需要自己解决,解决的过程就是学习的过程,本篇的来介绍几个Hadoop环境中需要用到的软件,确切的说是两款:VSFTP和SecureCRT。
闲言少叙,进入本篇的正题。
背景
这里简要说明下这两款软件的作用。
1、VSFTP这个从字面就能理解就是搭建FTP服务器用的,为什么要搭建FTP服务呢?
我相信,如果按部就班的按照我之前的文章全装Hadoop的童鞋会发现一个很繁琐的过程,那就是各种配置文件的更改和拷贝,并且,因为我们是在Linux系统中操作,所以需要各种命令的熟练操作,是不是很恶心!
所以为了方便上述流程的操作,就需要搭建VSFTP环境,并且配合Notepad++这款软件的使用,会让你插上梦想的翅膀….飞啊飞…
当然,还有一点就是,一般我们都是远程操作的,FTP上传下载文件就更方便了。
2、SecureCRT这个软件是干嘛用的?
先来段官网的介绍,SecureCRT是一款支持SSH(SSH1和SSH2)的终端仿真程序,同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。
说的简单点,就是通过这个软件远程操作CentOS操作系统。我相信用弄过Linux操作系统,这个应该很熟悉。
技术准备
VMware虚拟机、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++
安装流程
以上软件需要自行从网上下载,文章最后也能给出部分软件的下载附件。
下面,咱们进去分布式系统的详细操作过程。
1、首先来配置VSFTP环境(root)。
这里的操作需要提权用超级管理员进行安装,而且一般只需要配置Master主机就可以了,因为大部分操作通过Master就可以进行控制。
chkconfig | grep vsftpd
如果跟上面的过程没有返回任何结果,那么说明当前机器没有安装VSFTP。
这里,如果经过上一步骤检查,发现安装,则利用yum命令进行下载安装,需要提示的是:这里机器需要联网。
yum -y install vsftpd
经过,上述步骤就可以成功的安装VSFTP软件了。
下一步,就是进行一些FTP的配置了。
这里需要手动的创建一个文件,目的是来记录Log日志。我们知道在Linux系统中一般所有的临时文件都放在系统自带的var目录下。
touch /var/log/vsftpd.log
这里,需要将我们下载的VSFTP服务设置成自启动,方便与我们的的使用。
chkconfig vsftpd on
经过上面的验证,我们已经确保vsftpd服务已经开机自启动。
当然,对于这个服务的启动和关闭,可以通过如下方式进行手动的设置。但是这种设置只要一重启服务器就会失效。
启动ftp服务:service vsftpd start
查看ftp服务状态:service vsftpd status
重启ftp服务:service vsftpd restart
关闭ftp服务:service vsftpd stop
ls /etc/vsftpd
进入vsftpd的安装目录,需要配置vsftpd.conf文件。
vim /etc/vsftpd/vsftpd.conf
anonymous_enable=YES --> anonymous_enable=NO //不允许匿名用户访问,默认是允许 xferlog_file=/var/log/vsftpd.log #设定vsftpd的服务日志保存路径。注意,该文件默认不存在。必须要手动touch出来 #idle_session_timeout=600 --> idle_session_timeout=600 //会话超时,客户端连接到ftp但未操作,默认被注释掉,可根据个人情况修改 #async_abor_enable=YES --> async_abor_enable=YES //支持异步传输功能,默认是注释掉的,去掉注释 #ascii_upload_enable=YES --> ascii_upload_enable=YES //支持ASCII模式的下载功能,默认是注释掉的,去掉注释 #ascii_download_enable=YES --> ascii_download_enable=YES //支持ASCII模式的上传功能,默认是注释掉的,去掉注释 #ftpd_banner=Welcome to blah FTP service //FTP的登录欢迎语,本身是被注释掉的,去不去都行 #chroot_local_user=YES --> chroot_local_user=YES //禁止本地用户登出自己的FTP主目录,本身被注释掉,去掉注释
按照上面的步骤进行配置就可以了。
最后,给出一些其它配置的信息,可以根据自己需要进行配置。
local_enable=YES //允许本地用户访问,默认就是YES,不用改 write_enable=YES //允许写入,默认是YES,不用改 local_umask=022 //上传后文件的权限掩码,不用改 dirmessage_enable=YES //开启目录标语,默认是YES,开不开无所谓,我是默认就行 xferlog_enable=YES //开启日志,默认是YES,不用改 connect_from_port_20=YES //设定连接端口20 xferlog_std_format=YES //设定vsftpd的服务日志保存路径,不用改 pam_service_name=vsftpd //设定pam服务下vsftpdd的验证配置文件名,不用改 userlist_enable=YES //拒绝登录用户名单,不用改 TCP_wrappers=YES //限制主机对VSFTP服务器的访问,不用改(通过/etc/hosts.deny和/etc/hosts.allow这两个文件来配置)
到此,我们的VSFTP软件已经安装完成,下面我们就来验证一下。
其实这里验证的方式就比较多了,比如我们常用的FTP软件都可以,或者你直接在命令行里面敲FTP命令验证也是可以的;
这里我们直接使用Notepad++软件进行编辑,因为我们的大部分操作都是对文件进行编辑,所以这里就推荐这个了。
关于,Notepad++软件的配置使用,这里就不介绍了,很简单,绿色软件下载下来就能使用,连安装都不需要。
点击按钮,进行FTP配置,过程很简单,这里我就不赘述了。
其它选项,一般默认就可以了,当然可以根据需要自行配置。
这里,我再链接的时候提示连接失败,所以这里需要几个点需要配置一下:
<1>关闭防火墙。<2>关闭SELinux服务,编辑 “/etc/selinux/config”文件,设置”SELINUX=disabled”。
然后最重要的一点就是:记得在配置完成配置文件之后,一定要重启VSFTP服务!!!实在不行,就重启服务器。
脚本如下:
service vsftpd restart
然后,再尝试进行重新连接。
好,至此,我们已经能够通过FTP直接连接到我们的Hadoop Master主机的目录了,但是从上面的界面可以看到这里默认的目录只是hadoop用户进入的目录。
显然,这样是不行,因为我们配置的信息基本都是分布于系统的/etc目录下,所以我们需要将VSFTP的默认设置路径进行更改。
在配置文件中增加以下内容:
# add root path local_root=/ chroot_local_user=YES anon_root=/
然后,重启VSFTP的服务,重新连接服务器就可以了。
看上去是不是清爽多了。在这里,我们更改配置文件就简单多了,会用记事本程序就可以操作,而且避免了一些复杂的linux命令,神马Vim等,让他们去死。
看上去是不是清爽多了,而且上传和下载个文件都是那么容易的。
所以,总之一句话:这款软件你值得拥有!
2、使用SecureCRT软件远程管理Linux操作系统
这里关于 SecureCRT软件的使用就很简单了,基本没有啥复杂的配置,就是一个远程操作软件,属于用户密码就可以直接操作。
更主要的这款软件和上面的Notepad++一样,纯绿色版的,直接双击就可以使用。
下面,我们来演示下。
在完成配置的时候,记得将如下两个选项勾选上。
在第一次连接的时候,需要生成密钥,这里记得选择接受并保存按钮。这样下次就不需要输入任何密码了。
连接成功之后就是上面的德行了,是不是很酷?
哈哈…这里还需要几个小细节的设置,来提示下,首先显示的字体和颜色,需要从这里设置:
这里选择的仿真终端要选择Linux,告诉软件,我连接的是Linux系统。让他自动识别某些命令。
然后,就是字符编码和显示字体,颜色等了,可以根据自己喜好进行选择,但是编码方式一定要选择UTF-8这种方式,因为只有这种方式显示的中文文件才不至于乱码!
然后,就可以在窗口中进行命令的操作了。简单大气,非常实用的一款软件。
然后,就是各种玩了。
此篇先到此吧,关于Hadoop大数据集群的搭建后续依次介绍,比如利用Zookeeper搭建Hadoop高可用平台、Map-Reducer层序的开发、Hive产品的数据分析、Spark的应用程序的开发、Hue的集群坏境的集成和运维、Sqoop2的数据抽取等,有兴趣的童鞋可以提前关注。
本篇主要介绍了在我们日常进行远程Linux系统管理所需要的两款实用软件…当然,这些只是一些工具,所带来的好处就是方便操作。这里需要强调的是:基础积累很重要!