centos7+hadoop单机版安装

进入系统

修改系统主机名称

修改hosts，映射主机名和ip地址

下载hadoop3.3.1

下载jdk10

https://www.oracle.com/java/technologies/java-archive-javase10-downloads.html

（可能要登录才可以下载）

1. 安装jdk
2. 解压
3. 修改/etc/profile
4. source /etc/profile

卸载其它版本jdk

如果存在其它版本java，最后替换了，若不替换，则在hadoop的配置中要明确要使用的java位置。

# 先
which java
which javac
找到两个路径，然后

ln -s $JAVA_HOME/bin/java /usr/bin/java
ln -s $JAVA_HOME/bin/javac /usr/bin/javac
# 最后
source /etc/profile

新建文件夹

在hadoop根目录中执行
mkdir tmp
mkdir log
mkdir -p hdfs/data
mkdir -p hdfs/name

配置hadoop

1. 配置webapi权限
2. core-site.xml、hdfs-site、Hadoop-env.sh

core-site.xml

 fs.defaultFS
 hdfs://hadoop-ma:9000


 hadoop.tmp.dir
 /usr/local/hadoop-3.3.1/tmp
 Abase for other temporary directories.


    hadoop.http.staticuser.user
    hadoop

hadoop-env.sh

export JAVA_HOME=/usr/local/jdk-10.0.2
export HADOOP_HOME=/usr/local/hadoop-3.3.1

hdfs-site.xml

这个地方设置1，即节点数

1

   dfs.replication  
   1



   dfs.namenode.name.dir 
   /usr/local/hadoop-3.3.1/hdfs/name



   dfs.datanode.data.dir  
   /usr/local/hadoop-3.3.1/hdfs/data

 

   dfs.namenode.secondary.http-address
   hadoop-ma:9001

 

    dfs.http.address  
    hadoop-ma:50070



 
    dfs.webhdfs.enabled 
    true 

 

tips:start-all.sh修改这里面的启动延迟，改为1s 默认是10s

  hadoop_error "WARNING: Use CTRL-C to abort."
  sleep 1
  trap - INT

配置免密ssh

参考：https://www.imooc.com/article/266534

配置环境变量

/etc/profile中配置hadoop 方便后面使用

初始化namenode

hadoop namenode -format

查看运行异常

启动后如果不正常，通过下面命令查看具体原因

hadoop fs -ls /

hadoop-ma是ip或你的主机名，如果是虚拟机，在本地主机上配置host文件

http://hadoop-ma:50070/

python连接测试

# coding:utf-8
from hdfs.client import Client
import pandas as pd
import pyhdfs

fs = pyhdfs.HdfsClient(hosts="192.168.58.131",user_name='hadoop')

# fs = pyhdfs.connect("192.168.58.129", 9000)
# fs.mkdirs('/test')

print(fs.get_home_directory())
print(fs.listdir('/'))
fs.copy_from_local('C://Users//admin/test_data.csv', '/test/x.csv')
fs.create('/test/x.txt', b'ddd?')