关于hive的服务模式

最近也尝试了下hive的服务模式进行脚本调度。尝试此方式的目的有二:

第一:是想知道是否避免出现了NIO异常的出现

第二:就是增加了程序对脚本运行的控制性

使用下来感觉:

还是有NIO异常的出现。后者确实增强了对脚本的控制性,相关的异常报错信息都会在Client被捕获到,然后进行对应的应急措施。

另外还发现了些新问题:

关于hive的服务模式,还真不好说啊,在运行的过程中,有时候出现的错误会让hiveserver这个进程也会退出去。

根据我对服务器的设计原则和经验来分析,我觉得不应该由某些错误而导致这个进程也退出。这样下次Client端在连接的时候就无法连接到hiveserver上了。


后面将继续研究hive服务模式的运行情况,使之运行更加稳定。毕竟增加程序对脚本的控制力度,将有效的提高自动化机制。


目前全部调度程序,我都是使用python来进行编写。最明显的体现在于开发效率高,这样主要的精力可以用于hadoop、hive本身的研究和优化。

你可能感兴趣的:(脚本)