关于hadoop集群几个问题的释疑

3月12日下午，我与华为工程师杨工的对话，提出我的几个困惑。以下是我个人整理的，是我个人的当前认识，可能还有不足，供大家参考，欢迎大家指正。

1，云平台和集群的区别

答：云平台面向的是个人客户、中小企业客户，集群面向的是大型企业客户。云平台的作用是资源池化，以池化而实现集中化，统一化，池化以后，需要多少，分配多少，这样，节约了资源，提高了资源利用率，提高了管理效率，而且由于集中存储，提高了安全性。

问题是，云平台虽然集中了力量，但并不能办大事。因为，虚拟机使用的操作系统，运算能力是有上限的，最多64核cpu、128G内存，所以，这对于大型企业用户来说，是不能满足的。

集群的目的，是集中力量办大事，它弥补了云平台的不足。但是，它不可以像云平台一样自由分配资源。所以，云平台和集群，各有所长，互相补充。

云平台的资源池化，是有条件的，费用很高，而集群增加节点，则十分容易。

不主张虚拟机上组建集群，虽然可以，但由于多次运算之后，相比物理机，效率下降。

2，HDFS只适合大文件存储，而实际用途中，大多使用的是小文件，怎么办？

答：使用smallFS组件。它可以做到快存快取，因为它用到了分布式的计算和存储。

3，Hbase单机安装和分布式安装的区别？

答：Hbase基于hadoop安装，虽然使用到HDFS的分布式存储，但是，单机安装没有用到分布式运算，效率低。

4，hadoop集群中，分布式存储和运算分别有哪些组件？

答：分布式存储有：HDFS，分布式运算有：storm，spark，mapreduce

5，为什么集群上32台服务器，却需要73个IP地址？

答：双网卡，业务和管理分流，2个主节点，用4个，30个子节点，用60个。还有9个浮动节点，实现物理机宕机后，用户使用无影响。合计4+60+9=73

6，华为的大数据平台FusionInsight免费吗？

答：目前，华为FusionInsight在全国银行案例较多，3个节点免费，增加节点要收费。（上饶集群用的是CentOS6.5）

7、什么情况下需要使用集群？

答：数据量达到TB级。