B站学习pyspark学习记录

P11,P12,P13

主要讲的是hadoop安装,如果以后有需要可以按照流程来装

P14

1.hadoop基本命令

hadoop fs -put /usr/local/test.txt(本地目录)/tmp(hdfs路径)    //放置文件进去
hadoop fs -get /tmp(hdfs路径 /usr/local/test.txt(本地目录)    //把资料拿出来
hadoop fs -tail /tmp/txt(hdfs路径)    //查看资料,一般不使用cat,资料大会显示很久,使用tail


其他简写
mv      //移动
rm      //delete
rm -f -r        //delete dir
B站学习pyspark学习记录_第1张图片
hadoop基本使用方式

P15~17(简立spark集群)

你可能感兴趣的:(B站学习pyspark学习记录)