1 伪分布模式
伪分布模式是运行在单个节点以及多个Java进程上的模式。相比起本地模式,需要进行更多配置文件的设置以及ssh
、YARN
相关设置。
2 Hadoop
配置文件
修改Hadoop
安装目录下的三个配置文件:
etc/hadoop/core-site.xml
etc/hadoop/hdfs-site.xml
etc/hadoop/hadoop-env.sh
2.1 core-site.xml
首先修改core-site.xml
:
fs.defaultFS
hdfs://localhost:9000
hadoop.tmp.dir
/usr/local/hadoop/tmp
fs.defaultFS
设置的是HDFS
的地址,设置运行在本地的9000
端口上hadoop.tmp.dir
设置的是临时目录,如果没有设置的话默认在/tmp/hadoop-${user.name}
中,系统重启后会导致数据丢失,因此修改这个临时目录的路径
接着创建该临时目录:
mkdir -p /usr/local/hadoop/tmp
2.2 hdfs-site.xml
接着修改hdfs-site.xml
:
dfs.replication
1
dfs.replication
设置的是HDFS
存储的临时备份数量,因为伪分布模式中只有一个节点,所以设置为1
。
2.3 hadoop-env.sh
修改该文件添加JAVA_HOME
环境变量,就算JAVA_HOME
在
~/.bashrc
~/.bash_profile
/etc/profile
等中设置了,运行时也是会提示找不到JAVA_HOME
,因此需要手动在hadoop-env.sh
中设置JAVA_HOME
:
3 本地无密码ssh
连接
下一步需要设置本地无密码ssh
连接,首先先检查确保开启sshd
服务:
systemctl status sshd
开启后可以直接localhost
连接:
ssh localhost
输入自己的用户密码后就可以访问了,但是这里需要的是无密码连接,因此配置密钥认证连接的方式:
ssh-keygen -t ed25519 -a 100
cat ~/.ssh/id_25519.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
这里生成公私钥后把公钥添加到authorized_keys
中,并且修改权限,需要注意600
权限,只能本用户有写权限。
然后直接ssh localhost
就可以连接本地主机了。
4 运行
4.1 格式化HDFS
这里以单一节点的模式运行,首先格式化HDFS
:
# HADOOP为Hadoop安装目录
HADOOP/bin/hdfs namenode -format
格式化是对HDFS
中的DataNode
进行分块,统计所有分块后的初始元数据,存储在NameNode
中。
格式化成功后会在上面配置文件中设置的临时目录中生成dfs
目录,如下所示:
里面只有一个目录:dfs/name/current
,其中tmp/dfs/name/current
的文件如下:
文件说明如下:
fsimage
:NameNode
元数据在内存满后,持久化保存到的文件fsimage*.md5
:校验文件,用于校验fsimage
的完整性seen_txid
:存放transactionID
文件,format
之后为0,表示NameNode
里面的edits_*
文件的尾数VERSION
:保存创建时间,namespaceID
、blockpoolID
、storageType
、cTime
、clusterID
、layoutVersion
关于VERSION
的说明:
namespaceID
:HDFS
唯一标识符,在HDFS
首次格式化后生成blockpoolID
:标识一个block pool
,跨集群全局唯一storageType
:存储什么进程的数据结构信息cTime
:创建时间clusterID
:系统生成或指定的集群ID
,可以使用-clusterid
指定layoutVersion
:表示HDFS
永久性数据结构版本的信息
4.2 启动NameNode
HADOOP/sbin/start-dfs.sh
然后可以通过
localhost:9870
访问NameNode
:
4.3 测试
生成输入目录,并使用配置文件作为输入:
bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/USER_NAME # USER_NAME为您的用户名
bin/hdfs dfs -mkdir input
bin/hdfs dfs -put etc/hadoop/*.xml input
测试:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar grep input output 'dfs[a-z.]+'
获取输出:
bin/hdfs dfs -get output output # 复制输出到output目录
cat output/*
停止:
sbin/stop-hdfs.sh
5 使用YARN
配置
除了可以将单个节点以伪分布模式启动,还可以通过YARN
统一调度,只需要适当修改配置文件。
5.1 配置文件
修改以下文件:
HADOOP/etc/hadoop/mapred-site.xml
HADOOP/etc/hadoop/yarn-site.xml
5.1.1 mapred-site.xml
mapreduce.framework.name
yarn
mapreduce.application.classpath
$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*
mapreduce.framework.name
指定了MapReduce
运行在YARN
上mapreduce.application.classpath
指定了类路径
5.1.2 yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.env-whitelist
JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
yarn.nodemanager.aux-services
:运行在NodeManager
上运行的附属服务yarn.nodemanager.env-whitelist
:环境变量通过从NodeManagers
的容器继承的环境属性
5.2 运行
sbin/start-yarn.sh
运行后就可以通过
localhost:8088
访问:
停止:
sbin/stop-yarn.sh