在类树莓派的ARM开发板上组建大数据集群

2019独角兽企业重金招聘Python工程师标准>>>

先上效果：

这是由三块pine64+开发板搭建的mini集群，网上有用树莓派搭建Hadoop文章，不过由于树莓派的性能实在太差了（很老的CPU，1G内存），所以最终我选择了与之价格相近（200左右一块）的pine64+（官方链接在此：http://www.pine64.com/product），它有一颗4核64位的A53 CPU及2GB DDR3的内存。

我目前安装了Hadoop、Spark、Zookeeper、HBase With Phoenix，除了Spark 1.6.1的snappy尚不支持ARM外（可使用LZ4CompressionCodec代替），搭建过程和普通的硬件没有区别。怎么安装可以参见网上的各类文章或参考我的电子书：http://gudaoxuri.github.io/bd-lab/

再来张使用DBeaver查询HBase的效果：

在ARM板上运行大数据集群在什么用处呢？我觉得有三点：

1. 个人实验用，ARM板便宜，又比虚拟机贴近真实，用来学习或新技术实验是个不错的选择

2. 节能，目前大数据集群很耗能，相比而言，ARM架构有可能在能耗与性能上找到平衡点

3. 移动化，目前大多移动设备都是ARM架构的，如果以后大数据服务单节点足够轻量，可以运行在各个手机中，那么也许会有很多新的场景，这点不是我异想天开，看看databricks的一篇很有意思的调研文章：https://databricks.com/blog/2015/04/01/spark-2-rearchitecting-spark-for-mobile.html

转载于:https://my.oschina.net/gudaoxuri/blog/690174