Mac安装Hadoop(超级无敌宇宙爆炸详细)
一、设置ssh免密登录
首先打开mac的系统偏好设置->共享->勾选远程登录
1.打开终端terminal，输入命令：ssh-keygen -t rsa，一直回车即可
2.查看生成的公钥和私钥
cd ~/.ssh
ls
会看到~/.ssh目录下有两个文件：
①私钥：id_rsa
②公钥：id_rsa.pub
3.将公钥内容写入到~/.ssh/authorized_keys中
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4.测试
在terminal终端输入ssh localhost
如果出现以下询问输入yes，不需要输入密码就能登录，说明配置成功
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
二、安装Hadoop
1.使用Homebrew安装Hadoop
没有安装Homebrew的小伙伴在终端执行
/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"
点击回车，输入开机密码即可安装成功
2.输入brew -v测试一下安装是否成功
安装成功后执行brew install hadoop
显示如下安装成功
3.修改Hadoop配置文件
①.根据上图输出的Hadoop安装路径执行下面代码修改core-site.xml文件，修改hadoop存储元数据的目录，即hadoop.tmp.dir
vim /opt/homebrew/Cellar/hadoop/3.3.1/libexec/etc/hadoop/core-site.xml
在
注意路径和版本跟随自己刚才下载的hadoop
<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/homebrew/Cellar/hadoop/3.3.1/libexec/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
②.修改hdfs-site.xml文件
修改hadoop副本数量，即dfs.replication
修改hdfs系统存放fsimage文件的目录，即dfs.namenode.name.dir
修改hdfs系统存放数据文件的目录，即dfs.datanode.data.dir（作用是存放hadoop的数据节点datanode里的多个数据块）
vim /opt/homebrew/Cellar/hadoop/3.3.1/libexec/etc/hadoop/hdfs-site.xml
在
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/homebrew/Cellar/hadoop/3.3.1/libexec/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/homebrew/Cellar/hadoop/3.3.1/libexec/tmp/dfs/data</value>
</property>
4.修改Hadoop环境变量
执行vim ~/.bash_profile，追加以下内容（路径跟随自己安装的路径变化）
export HADOOP_HOME=/opt/homebrew/Cellar/hadoop/3.3.1/libexec
export HADOOP_COMMON_HOME=$HADOOP_HOME
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:/opt/homebrew/Cellar/scala/bin
执行source ~/.bash_profile，刷新环境变量
三、运行Hadoop自带的示例文件WordCount
1.初始化namenode节点
首先执行cd /opt/homebrew/Cellar/hadoop/3.3.1/bin
进入到hadoop的bin目录下执行./hdfs namenode -format
2.启动hadoop
执行cd /opt/homebrew/Cellar/hadoop/3.3.1/sbin
进入到hadoop的sbin目录下执行./start-dfs.sh
然后执行jps查看是否启动成功
namenode、secondarynamenode、datanode启动成功
在浏览器输入http://localhost:9870/dfshealth.html#tab-overview也能查看
3.修改yarn配置文件mapred-site.xml
执行
vim /opt/homebrew/Cellar/hadoop/3.3.1/libexec/etc/hadoop/mapred-site.xml
在
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
4.修改yarn配置文件yarn-site.xml
执行
vim /opt/homebrew/Cellar/hadoop/3.3.1/libexec/etc/hadoop/yarn-site.xml
在
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
5.启动yarn
执行cd /opt/homebrew/Cellar/hadoop/3.3.1/sbin
进入到hadoop的sbin目录下，执行./start-yarn.sh
浏览器输入http://localhost:8088/cluster
6.运行wordcount文件
①使用hdfs创建/input文件夹以及测试输入文件
hadoop fs -mkdir /input
输入hadoop fs -ls /查看刚才创建的input文件夹是否成功，如果成功会看到输出input文件夹的信息（读写权限、组等）
mkdir /usr/local/hadoopTest
这里告诉我没有权限，切换到root用户
mac切换到root用户密码不对
首先执行sudo su，然后输入当前用户的密码
左边变成了sh-x.x（我的是sh-3.2）
然后执行passwd root，修改密码
进入到/usr/local/hadoopTest下执行touch test.txt，然后vim test.txt，随便输入测试语句，例如输入Hello World!，保存退出
执行exit，退出root用户
然后执行hadoop fs -put /usr/local/hadoopTest/test.txt /input，将刚才创建的测试文件上传到hdfs分布式文件系统中
执行hadoop fs -ls /input查看test.txt是否成功上传到hdfs分布式文件系统中
②执行wordcount
hadoop jar /opt/homebrew/Cellar/hadoop/3.3.1/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input/test.txt /output
wordcount是主类名
/input/test.txt是输入文件目录
/output是输出文件目录，输出文件必须是一个不存在的目录，防止hadoop重写已存在的文件