Spark相关文章索引（3）

环境部署

Spark2.1.0的Standalone模式部署

基本常识

1. spark中的rdd的持久化
2. Spark入门实战系列–9.Spark图计算GraphX介绍及实例
3. 《Spark 官方文档》Spark SQL, DataFrames 以及 Datasets 编程指南
4. Spark1.0.x入门指南

算法架构

1. Spark GraphX
2. 进化的Spark, 从DataFrame说起
3. BlockManager原理和源码解密
4. Spark中任务处理的Stage划分和Task最佳位置算法
5. Tachyon—基于内存的分布式存储系统

Debug

1. 【没有assembly目录】spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法

   park升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在，所以hive没有办法找到这个JAR包。 修改//bin/hive文件，将加载原来的lib/spark-assembly-*.jar`替换成jars/*.jar，就不会出现这样的问题。

2. Spark运行中java.net.UnknownHostException: nameservice1的异常

   检查一下Hadoop集群是否正常启动

3. Spark Executor Driver资源调度小结
4. initial job has not accepted any resources的spark错误解决办法

可靠保证

1. 【容错篇】Spark Streaming的还原药水——Checkpoint
2. Spark:Master High Availability（HA）高可用配置的2种实现 - BYRHuangQiang
3. Spark技术内幕：Master基于ZooKeeper的High Availability（HA）源码实现

P.K.

1. 每次进步一点点——spark中cache和persist的区别
2. Spark_总结五
3. Spark与Flink：对比与分析

实战演练

1. Spark DataFrames入门指南：创建和操作DataFrame
2. Spark DataFrame小试牛刀
3. Spark新年福音：一个用于大规模数据科学的API——DataFrame
4. 基于Spark GraphX实现微博二度关系推荐
5. 在spark中操作mysql数据 —- spark学习之七
6. spark操作mysql数据库
7.  spark 连接mysql
8. spark SQL学习（spark连接 mysql）