hadoop2.7.3的ftp over hdfs搭建:

1 环境准备

1.1 ubuntu16.04

1.2 hadoop 2.7.3

安装见: http://blog.csdn.net/tengxing007/article/details/53168648

1.3 IDE自选

1.4 maven　3.3.9

没有的话下载一个就好

2 核心软件

　　

2.1 《hdfs-over-ftp》　用于沟通本地文件和hdfs

2.2 下载:http://download.csdn.net/detail/zhulin40/773206

3 配置

3.1 通过IDE导入maven项目

3.2 修改pom.xml　

 

org.apache.hadoop 

hadoop-common

 2.7.3 

 

 org.apache.hadoop

 hadoop-hdfs 

2.7.3 

 

 org.apache.mina 

mina-core

 2.0.0-M2 

3.3 修改src/main/resources下面的user.peoperties文件(用户名和密码根据自己实际情况酌情修改)

#ftp用户名为hadoop ，密码为MD5后的hadoop

ftpserver.user.agladyshev.userpassword=0238775C7BD96E2EAB98038AFE0C4279

ftpserver.user.agladyshev.homedirectory=/

ftpserver.user.agladyshev.enableflag=true

ftpserver.user.agladyshev.writepermission=true

ftpserver.user.agladyshev.maxloginnumber=0

ftpserver.user.agladyshev.maxloginperip=0

ftpserver.user.agladyshev.idletime=0

ftpserver.user.agladyshev.uploadrate=0

ftpserver.user.agladyshev.downloadrate=0

ftpserver.user.agladyshev.groups=hadoop,users

3.4 修改同文件夹下面的hdfs-over-ftp.properties 文件(localhost，superuser根据自己实际情况酌情修改)

#uncomment this to run ftp server

port = 2222

data-ports = 2223-2225

#uncomment this to run ssl ftp server

#ssl-port = 2226

#ssl-data-ports = 2227-2229

# hdfs uri

hdfs-uri = hdfs://localhost:9000/

# have to be a user which runs HDFS

# this allows you to start ftp server as a root to use 21 port

# and use hdfs as a superuser

superuser = hadoop

4 启动

4.1 通过脚本启动：linux下执行项目下的文件hdfs-over-ftp.sh启动（需要maven编译）

4.2 通过maven启动：mvn clean compile exec:java -Dexec.mainClass="org.apache.hadoop.contrib.ftp.HdfsOverFtpServer"

4.3 查看　访问ftp://192.168.1.112:2222/（默认是2222端口）

至此,搭建完毕，可以用普通ftp相关命令进行传输