初学者本地文件上传到Hadoop集群上常用命令步骤

1、进入Linux服务器

用到secureCRT 链接(connect),包括ip地址、账户和密码

 

2、在服务器本地上编辑创建文件

Vim 首先进入到的是一般模式,点击 i 字母进入编辑模式,esc 键退出编辑模式,然后可以点击 :wq 保存退出

 

3、进入集群环境(一般公司有从服务器到Hadoop集群的配置链接)

 

4、将本地文件上传到hdfs

>>查看hdfs 上文件目录结构,有哪些文件夹

命令: hadoop fs -ls /

 

>>创建目录

命令:hadoop fs -mkdir /目录名

 

>>将文件上传hadoop中(也就是hdfs中)

下面是上传文件/ETL/a.txt到hadoop里 /input/a.txt

命令: hadoop fs -put /ETL/a.txt /input/a.txt

 

>>上传之后查看

命令: hadoop fs -ls /input

你可能感兴趣的:(spark大数据分析)