hadoop跑在虚拟机上的优缺点

首先,hadoop的应用主要是为了解决大数据情况下的数据存储和数据处理问题。它们能够利用整个服务器集群的存储和计算能力,通过将任务分解成map和reduce操作,分配给各个服务器节点来执行操作,从而获得并行处理的能力,这样就能比传统的方式更为高效。以下介绍一下hadoop跑在虚拟机上的优缺点。

优点:

虚拟机或者容器来跑Hadoop,最大的优势就是在于方便部署和管理,并且共有云服务提供商可以提供弹性的服务。

资源隔离。虚拟机或者容器技术可以对物理资源进行隔离,防止组建干扰情况出现。

快速部署,简化配置。

缺点:

虚拟机集群的话,只要能够保证hadoop各个组件运行所需要的cpu、内存、硬盘的资源,那么就跟普通的服务器没什么区别,hadoop不会去区分是虚拟机还是物理机。但是通常来说通过物理机虚拟出来的虚拟机的性能会比物理机要差一些。

很多hadoop虚拟机很有可能其实是跑在一台物理服务器上的,那这台物理服务器宕机就会导致整个集群不可用。另外,虚拟化也可能使用的是共享存储,那么这样会让hadoop内建的冗余机制变得毫无意义。第三,虚拟化里,你无法划分正确的机架来让hadoop合理的分布数据块存放位置。最后,虚拟化的网络是软件定义的,底层发生问题你很难对hadoop定位和排错。

你可能感兴趣的:(eclipse,java,ide)