spark异常记录

• 阿里云EMR running beyond physical memory limits. Current usage: 2.1 GB of 2 GB physical memory used
  (1) 调整 spark.yarn.driver.memoryOverhead 或 spark.yarn.executor.memoryOverhead
  (2) 在作业编辑页面设置内存（默认2G）。 作业设置→高级设置→内存设置

• spark不打印stage运行
  （1）2.3版本之后，默认关闭。开启设置
  config.set(“spark.ui.showConsoleProgress”,“true”)