hadoop安装日记

安装虚拟机

按照VMBox安装教程安装即可。

安装ssh服务器

sudo apt install openssh-server

设置固定IP

# 设置IP地址为静态地址
sudo vim /etc/network/interfaces

# The primary network interface
auto eth0
#iface eth0 inet dhcp
iface eth0 inet static
address 192.168.1.110
netmask 255.255.255.0
gateway 192.168.1.253

# 设置DNS服务器地址
sudo vi /etc/resolvconf/resolv.conf.d/base

nameserver 192.168.1.253
nameserver 220.170.64.68

# 重启
reboot

添加Hadoop用户和用户组

# 添加用户hadoop，-m创建用户 -s指定登录shell
sudo useradd -m hadoop -s /bin/bash

# 修改hadoop密码
sudo passwd hadoop

# 添加hadoop至sudo组
sudo adduser hadoop sudo

利用ssh实现无密码登录

# 创建秘钥
ssh-keygen -t rsa

# 将公钥拷贝到authorized_keys
cat .ssh/id_rsa.pub >> .ssh/authorized_keys

安装与配置hadoop

建议将Hadoop、Java、Spark、Scala放到同一目录下方便查找。