Python作业

spark 集群运行python作业

今天尝试用刚搭建好的spark集群运行python作业，遇到了一些问题，解决了一些坑的同时也对spark集群的运作和配置方式有了一些比较浅的认识，不像之前那么没有概念了，记录如下，之后还要继续更多的对Hadoop
xiaolewennofollow·2015-07-31 16:00

Hadoop运行python作业时的依赖于其他库的问题

用hadoopstreaming可以运行python写的map-reduce作业。但是如果map/reduce依赖于其他库呢？比如，map中依赖于我们自己写的一个库：hadoop_lib.py中的某些方法。这时在运行streaming作业的时候，如果还是像原来一样的命令行，就会出现”BrokenPipe”之类的异常。解决方法就是加上-file参数，并加上依赖的库文件。如果有多个依赖的文件，可以用多
inte_sleeper·2011-07-18 17:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他