spark教程1 (cdh5.12 安装自带spark)

  • 1.在主页选择添加服务
    spark教程1 (cdh5.12 安装自带spark)_第1张图片
  • 2.选择spark
    spark教程1 (cdh5.12 安装自带spark)_第2张图片

  • 3.按步骤走下去,分配好history server和gateway 角色,我这里选择一个节点作为history server,所有节点作为gateway,添加好并启动好spark后如下
    spark教程1 (cdh5.12 安装自带spark)_第3张图片

  • 4.配置yarn服务,给节点添加yarn的gateway角色,然后重启yarn
    spark教程1 (cdh5.12 安装自带spark)_第4张图片

  • 5.修改一下yarn的yarn.scheduler.maximum-allocation-mb参数和yarn.nodemanager.resource.memory-mb参数,默认是1g比较小,可以先设置到2g,然后重启yarn
    spark教程1 (cdh5.12 安装自带spark)_第5张图片

  • 6 可通过以下代码检查spark是否正常运行

[hdfs@t0 bin]$ /opt/cloudera/parcels/CDH/lib/spark/bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/spark/lib/spark-examples.jar 10

你可能感兴趣的:(spark教程1 (cdh5.12 安装自带spark))