Spark相关文章索引(5)

环境部署

  1. Spark on Yarn集群搭建详细过程
  2. Python pycharm(windows版本)部署spark环境
  3. Spark+Python+Pycharm在Windows下的配置

基本常识

Spark RDD概念学习系列之RDD的5大特点(五)

Debug

  1. 启动spark-shell后出现not found错误

  2. spark-shell启动报错:Yarn application has already ended! It might have been killed or unable to launch application master

P.K.

  1. Spark配置参数优先级

优先级从高到低为:代码,shell,配置文件

  1. spark中的cache() persist() checkpoint()之间的区别
  2. Spark:Yarn-cluster和Yarn-client区别与联系

实战演练

  1. 使用Spark SQL读取Hive上的数据
  2. sparksql on hive 配置
  3. spark on yarn模式下配置spark-sql访问hive元数据

你可能感兴趣的:(Spark相关文章索引(5))