spark能跑Python么

spark能跑Python么_第1张图片

spark能跑Python么?

spark是可以跑Python程序的。python编写好的算法,或者扩展库的,比如sklearn都可以在spark上跑。直接使用spark的mllib也是可以的,大部分算法都有。

Spark 是一个通用引擎,可用它来完成各种各样的运算,包括 SQL 查询、文本处理、机器学习等。

本次实验是搭有spark环境的linux下跑的,spark版本为1.6.1,相当于在在spark本地执行,spark文件放在/opt/moudles/spark-1.6.1/(代码中会看到)

编写python测试程序

spark能跑Python么_第2张图片

执行python程序

执行如下命令

执行与结果分别如下图所示:

spark能跑Python么_第3张图片
spark能跑Python么_第4张图片

推荐学习 Python 的学习资料群:142244252 入群免费送全套视频资料和基础电子书,想要和志同道合的朋友一起学习,大家互相分享自己的学习资料和作品,欢迎感兴趣的朋友共同学习,共同进步,每天还会有免费的公开课程!

你可能感兴趣的:(spark能跑Python么)