Hadoop 1

客户机桌面版模式和文本模式切换
1、 ctrl +alt +f6 //文本模式
2、ctrl +alt + f7 //桌面模式
开机进入文本模式
根目录下进入boot 下有个grub

image.png

想改变此文件

image.png

1、修改 /etc/default/grub文件

image.png

grub的配置文件

image.png

image.png

标出的内容就是图形模式
修改为
GRUB_CMDLINE_IINUX_DEFAULT="text"
2、运行update-grub 更新启动项
sudo update-grub
然后重启直接进入文本模式
快捷键进入图形界面不好使
运行命令 startx 手动启动图形界面
1、客户机的环境处理
主机名的更给

image.png

可看见主机名并没有改变重启即可
ip
localhost 是域名映射到 127.0.0.1
将主机号 101 映射到 ip上
需要改变 host文件
dns解析
/etc/hosts
将其他主机的主机号 ip映射到下图中

image.png

在进行ping 的时候就通过 hosts文件找到通过名称就可得到ip

image.png

hadoop

image.png

改变文件夹的拥有者

image.png

环境变量的配置
当前用户的环境变量
当前用户的主目录下

image.png

但以其他用户登录就不能用
系统的环境变量

image.png

对 enviroment 进行编辑
sudo nano enviroment

image.png

将jdk的安装目录加进去

image.png

通过 source 使刚才的的环境变量立即生效
source /etc/enviroment
可通过符号链接将目录中变成如下

image.png

hadoop 的环境变量

hadoop的配置
hadoop包含三个模块
1、Hadoop Common
支持其他模块的工具模块
2 Hadoop HDFS
分布式文件系统（逻辑上的大数据的存储实际落到每个节点的操作系统上去但我们可以在更高的层次上操作它）提供了对应用程序数据的高吞吐量访问
例如在 /user/ubuntu/home/xx.txt 有1T大小的文件在底层每个磁盘分一点存储但我们不关心他是如何存储我们只跟hadoop打交道 hadoop已经帮我们实现了底层的存储
HDFS的进程
Namenode //名称节点
DataNode //数据节点
SecondaryNamenode //辅助名称节点
3、Hadoop YARN
作业调度与集群资源管理的框架
【进程】
ResourceManager //资源管理器
NodeManager //节点管理器
3、Hadoop MapReduce
基于yarn系统的对大数据集进行并行处理技术

image.png

Hadoop的三种配置
1、Standalone/local
独立/本地模式
不需要配置任何东西默认就是独立模式
查看文件系统
hadoop fs -ls 可发现用的是linux的文件系统
没有启动任何进程
2、Pseudodistributed node
伪分布式模式（只有一台机器一个节点）
配置ssh
安全登录
1)、安装ssh
sudo apt-get install ssh
2)、生成秘钥对
ssh-keygen -t rsa -P '' -f ~/.ssh/
cd ~/.ssh //查看生成的公私秘钥
3)、导入公钥数据到授权库
cat ~/.ssh/id_rsa_pub >> ~/.ssh/authorized_keys

image.png

4)、无密登录 localhost
ssh localhost （在 100 机器上）
......yes
exit
ssh localhost //不需要密码
5)、格式化 hdfs
hadoop namenode - fornate
6)、启动所有进程
start-all.sh
7)查看所有进程
jps
安装ssh注意事项
1）禁用wifi
2）关闭防火墙
3）客户机能够 ping通外网
4）修改ubuntu 的软件源
[/etc/apt/sources.list]
做ali源