大数据服务器环境配置

大数据服务器环境配置

前言：

本人萌新，最近买了3台云服务器便想自己搭建一个大数据的环境。因为是试手服务器，加上是学生党没什么钱呀~所以配置没买太高。本人选择了3台1核2G的服务器。

 

1. 操作系统选择

因为是云服务器，就少了装系统等不必要的麻烦（瞬间省了好多事有木有）。在下选择的是Centos7.3的系统。

 

2.网卡环境

因为本人使用的是云服务器，所以网卡便不需要怎么配置啦。

假设是虚拟机或者是自己用的服务器则需要设置.NAT模式和修改IP地址。具体不在此描述。

 

3.下载安装一系列的辅助功能软件

这些软件其实都是便于你操作，假设你是大神或者不嫌烦的话也可以直接使用服务器，本人在工具上选择的是Xshell,Xftp,notepad++.

 

3.1 安装Xshell

3.1.1功能作用

Xshell是一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。Xshell 通过互联网到远程主机的安全连接以及它创新性的设计和特色帮助用户在复杂的网络环境中享受他们的工作。

Xshell可以在Windows界面下用来访问远端不同系统下的服务器，从而比较好的达到远程控制终端的目的。

3.1.2.下载地址

http://www.netsarang.com/products/xsh_overview.html

3.1.3安装

安装总会吧！本人事先装过了所以不截图师范了。记得装在自己熟悉的路径下。

3.1.4打开配置

 

名称 起自己喜欢的；

主机 用服务器的ID或者自己可以在windows上自己配置映射从而使用映射名字。那么在以后的笔记中会写；

端口 22；

点击 确定。

3.1.5输入账号密码

（注：首次登入时会有个秘钥验证，选择是就行了）

3.1.6连接成功

 

3.2安装Xftp

3.2.1功能作用

是一个基于 MS windows 平台的功能强大的SFTP、FTP 文件传输软件。使用了 Xftp 以后，MS windows 用户能安全地在 UNIX/Linux 和 Windows PC 之间传输文件。Xftp 能同时适应初级用户和高级用户的需要。它采用了标准的 Windows 风格的向导，它简单的界面能与其他 Windows 应用程序紧密地协同工作，此外它还为高级用户提供了众多强劲的功能特性。

3.2.2.下载地址

https://www.netsarang.com/products/xfp_overview.html

3.2.3安装和Xshell雷同这里就贴个图了

 

3.2.4连接成功

 

3.3安装notepad++

3.2.1功能作用

本人平时用的笔记本。是一款非常有特色的编辑器。

3.2.2.下载地址

https://notepad-plus-plus.org/

3.2.3安装 不用我多说了吧 同上

 

3.2.4连接成功

 

4. 新建普通用户

我们操作服务器不可能老是用root用户吧！万一一个不小心删掉点东西~嘿嘿

 

结下来为我们这个新用户增加和root用户一样的权限

 

 

5. 修改机器名

机器名这种事情，怎么说呢。强迫症没办法。

我们在Centos7版本的话，使用以下一行代码便可。

 

 

而在Centos6版本的话，我还是说一下吧。在/etc/sysconfig/network下修改hostname

 

6. 修改映射

在映射中写下所有要Ping的机器！

 

 

 

7.关闭防火墙

Centos7关闭防火墙也只要两行代码呀

 

参考网站：https://www.aliyun.com/jiaocheng/121592.html

 

Centos6关闭的时候，我也说一下吧

首先关闭iptables

service iptables stop 临时关闭

chkconfig iptables off 开机不启动

其次关闭selinux（子安全系统）

vi /etc/sysconfig/selinux

在里面设置selinux=disabled

 

8.SSH免秘钥设置

这几台服务器需要互相连通不可能总是输入密码吧，包括本机有时候resourcemananger中也需要输入密码，避免麻烦所以这肯定是要配置的。

7.1配置

输入ssh-keygen -t rsa 一路回车

id_rsa -》私钥

id_rsa.pub -》公钥

在所以服务器中：输入ssh-copy-id 服务器名

配几台写几台

注意：自己也要给自己发送公钥和私钥！

authorized_keys  -》将公钥保存到文件中远程拷贝到其他机器上保存

known_hosts      -》记录秘钥信息

7.2报错解决：

如果没有生效，就删除.ssh目录下所有文件，重新生成

或者直接删除.ssh目录，生成方式ssh-keygen，就会生成.ssh目录，不要使用mkdir

7.3配置了SSH之后，就不需要输入密码，直接可以启动多个节点的服务进程，比如：sbin/start-dfs.sh

 

9.集群节点时间同步  

本人用的是云服务器，所以服务器时间是自动同步的，不需要配置了，哈哈哈哈。

但是有句说句，时间同步是非常必要的。

而具体方法有很多种，网上也都有教程。

那么本人把我以前部署vmware的教程写在下面。

1、模拟内网环境

在集群中找一台服务器作为：时间服务器   

bigdata01 时间服务器   

bigdata02和bigdata03同步01这台机器      

2、查看Linux中的ntpd时间服务（这里只要开启第一台机器的ntpd服务，其他的不用开）

sudo service ntpd status   

sudo service ntpd start   

3、开机设置（在第一台设置，其他不要设置）

sudo chkconfig ntpd on   

4、修改系统文件

vi /etc/ntp.conf

【第一处】修改为自己的网段，注意将前面的#去掉，生效

# Hosts on local network are less restricted.

restrict 192.168.163.0 mask 255.255.255.0 nomodify notrap

【第二处】由于是内网环境不用添加服务，前面加上注释

#server 0.centos.pool.ntp.org

#server 1.centos.pool.ntp.org

#server 2.centos.pool.ntp.org

【第三处】开启本地服务，注意将前面的#去掉，生效

server  127.127.1.0     # local clock

fudge   127.127.1.0 stratum 10

保存文件

5、修改完配置文件，建议重启ntpd服务，重新读取配置

sudo service ntpd restart

6、查看时间服务相关的命令

rpm -qa | grep ntp

ntpdate-4.2.4p8-3.el6.centos.x86_64 同步

ntp-4.2.4p8-3.el6.centos.x86_64 将某台选为时间服务器

7、可以先执行同步操作测试下   

sudo /usr/sbin/ntpdate bigdata-01

误差在两三分钟内，是可以接受的

8、编写crontab定时任务，在需要同步的节点上编写（第二台和第三台）

##sync time

0-59/10 * * * * /usr/sbin/ntpdate fantai-01

 

 

 

10. Java环境的安装

大数据框架都是是基于java写出来的！所以java是必须的。

10.1通过国内的镜像源下载

java8 http://www.linuxidc.com/Linux/2015-05/117967.htm

10.2通过XFTP等文件传输软件

传输安装包，解压JDK到指定的目录下，目录任意，建议不要装在某个用户主目录下

-我选择安装在/opt目录下

（记得先修改权限 chown -R hadoop:hadoop /opt/   使用自己的权限不要root）

 

10.3添加环境变量

修改vi /etc/profile文件，配置jdk环境变量

 

 

#JAVA_HOME

export JAVA_HOME=/opt/modules/jdk1.8.0_161/

export PATH=$PATH:$JAVA_HOME/bin

10.4验证是否配置成功：java -version

jps命令可以查看java 进程