Spark计算基础知识

算法、模型的理解
1.算法+训练数据才能跑出模型
2.模型的呈现形式是一些视觉不可读的文件,可以生成多个版本。
3.算法调用模型文件,就是按照模型进行程序计算了。

demo程序线性回归的理解
1.程序作了简化,训练后没有生成模型文件,直接调用程序进行了趋势预测。

demo程序提交
1.是否设置local的调用:就是在local执行,用于调试
2.如果不设置local方式的调用就是代码分发到整个cluster,整体进行执行;

demo程序文件的打包描述
1.打包时将依赖jar捆绑打包
(1)不需要做任何动作
2.打包时只是打编写的代码
(1)需要spark将依赖jar提前加载到平台

你可能感兴趣的:(Spark计算基础知识)