Spark注意事项

spark快速入门

要让spark在集群模式下运行，需要正确设置

spark-submit --master spark://master_hostname:7077

注意master默认要用spark master机器的hostname而不是IP；如果在调用./start-master.sh时使用了-h master_IP参数，才可以用

spark-submit --master spark://master_IP:7077

访问hdfs文件/user/hadoop/input时，使用的hdfs的地址("hdfs://localhost:9000/user/hadoop/input")，参考 etc/hadoop/core-site.xml的fs.defaultFS设置，一般是hdfs://localhost:9000。默认也可以不设置。直接访问"/user/hadoop/input"或"input"(hadoop用户的相对路径，只有hadoop用户才可以使用这种格式)即可。