Hadoop伪分布式配置

这里小编主要讲的是Hadoop伪分布式安装的配置,Hadoop可以在单节点上以伪分布式的方式运行。Hadoop进程以分离的Java进程来运行,节点既作为NameNode也作为DataNode,同时,读取的是HDFS中的文件。
前提:确保Hadoop已经安装
Hadoop 的配置文件位于你安装Hadoop的路径Hadoop中,伪分布式需要修改3个配置文件即hadoop-env.sh、core-site.xml和hdfs-site.xml

  1. 修改hadoop-env.sh

执行下面命令:

vim hadoop-env.sh

修改JAVA_HOME,进入以后修改jdk的路径,这个根据自己安装jdk的路径进行修改即可,注意:一定要确保jdk路径正确
Hadoop伪分布式配置_第1张图片

  1. 配置core-site.xml
    执行下面命令:
vim core-site.xml

在configuration下添加内容,保存退出
Hadoop伪分布式配置_第2张图片 hadoop.tmp. dir file:/usr/local/hadoop/tmp Abase for other temporary directories. fs.defaultFS hdfs://localhost:9000

  1. 配置hdfs-site.xml
    执行下面命令:
vim hdfs-site.xml 

与上述步骤一样!
Hadoop伪分布式配置_第3张图片 dfs.replication 1 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data dfs.permissions.enabled false
上面文件配置完以后,细心的码友会问file:/usr/local/hadoop/tmp、file:/usr/local/hadoop/tmp/dfs/name和file:/usr/local/hadoop/tmp/dfs/data这些是什么?,这里解释一下。file:/usr/local/hadoop是小编安装Hadoop的路径,后面的内容是没有的,需要我们自己创建,用来存放Hadoop运行存放的一些文件。
解释了一番,说白了里面的路径可以根据自己的需求来自己设定,但要确保设置的路径是存在的!
可以用mkdir -p加上设置的路径来创建相对应的文件。
例如:

hadoop@computer:/usr$ mkdir -p /usr/local/hadoop/tmp
hadoop@computer:/usr$ mkdir -p /usr/local/hadoop/tmp/dfs/name
hadoop@computer:/usr$ mkdir -p /usr/local/hadoop/tmp/dfs/data

  1. 接下来输入命令:hadoop namenode -format这一步很关键。
    出现这算是上面配置成功了
    Hadoop伪分布式配置_第4张图片
    然后输入命令切换目录cd local/hadoop/sbin/到sbin目录下,显示目录文件,可以看到一些启动和停止的相关文件
    Hadoop伪分布式配置_第5张图片

  2. 执行命令./start-all.sh

这其实就是一个拥有执行权限的脚本文件,文件中针对Hadoop集群启动可能出现的各种问题进行分析
在条件都合适时,加载一些配置,开启对应服务等…
想具体了解的话可以参考这篇文章:
https://blog.csdn.net/zhang0558/article/details/53169204

  1. 接着执行命令:jps

它只列出系统中所有的 Java 应用程序。 通过 jps 命令可以方便地查看 Java 进程的启动类、传入参数和 Java 虚拟机参数等信息
Hadoop伪分布式配置_第6张图片

  1. 停止Hadoop集群./stop-all.sh然后输入命令./start-dfs.sh重新启动namenode,使用jps查看进程,这时候Hadoop伪分布式配置已经完成了。
    Hadoop伪分布式配置_第7张图片

你可能感兴趣的:(hadoop,big,data,java)