B站学习pyspark学习记录

P11，P12，P13

主要讲的是hadoop安装，如果以后有需要可以按照流程来装

P14

1.hadoop基本命令

hadoop fs -put /usr/local/test.txt(本地目录）/tmp（hdfs路径）    //放置文件进去
hadoop fs -get /tmp（hdfs路径 /usr/local/test.txt(本地目录）    //把资料拿出来
hadoop fs -tail /tmp/txt（hdfs路径）    //查看资料，一般不使用cat，资料大会显示很久，使用tail


其他简写
mv      //移动
rm      //delete
rm -f -r        //delete dir

hadoop基本使用方式

P15～17（简立spark集群）