Spark相关

1、Spark运行模式

        1、local：运行在一台机器上。测试用。

        2、Standalone：是Spark自身的一个调度系统。 对集群性能要求非常高时用。国内很少使用。

        3、Yarn：采用Hadoop的资源调度器。 国内大量使用。

                        Yarn-client模式：Driver运行在Client上（不在AM里）

                        Yarn-cluster模式：Driver在AM上

        4、Mesos：国内很少使用。

        5、K8S：趋势，但是目前不成熟，需要的配置信息太多。

2、Spark常用端口号

        a、4040 spark-shell任务端口

        b、7077 内部通讯端口。类比Hadoop的8020/9000

        c、8080 查看任务执行情况端口。 类比Hadoop的8088

        d、18080 历史服务器。类比Hadoop的19888

        注意：由于Spark只负责计算，所有并没有Hadoop中存储数据的端口9870/50070。