快速搭建大数据分析环境
Hadoop 发行版的选择
大数据应用, Hadoop 仅仅是一个基础, 要用起来还需要安装很多组件, 比如Hive, Mahout, Sqoop, ZooKeeper 等等, 不得不需要考虑兼容性的问题: 版本是否兼容，组件是否有冲突，编译能否通过等, 一大堆事情. 真正要在企业中要用Hadoop, 我一般不推荐直接使用apache hadoop, 使用第三方发行包最稳定/最省事了.
第三方发行商, 有 Cloudera, Hortonworks, MapR, Cloudera 用户数最多, 另外 Hadoop之父目前也供职于Cloudera, 选它基本上没错.
我推荐: Cloudera 发行版
***
CDH 和 Cloudera Manager 是什么
CDH (Cloudera's Distribution, including Apache Hadoop), 是Cloudera发行的Hadoop发行版,基于稳定的Hadoop版, 并集成了许多补丁, 可以直接在生产环境中使用.
Cloudera Manager 是 Cloudera 推出的大数据解决方案, 已经在安装/配置/监控方面做了大量的工作.它不仅包含CDH, 而且集成了很多常用的组件, 比如 HBASE, Hue, Impala, Kudu, Oozie, Kafka, Sentry, Solr, Spark, YARN, ZooKeeper 等, 它分为两个版本Cloudera Express 和 Cloudera Enterprise . Cloudera Express免费使用, Cloudera Enterprise 需要支付费用. Express版和Enterprise版差异不算大, 而且可以商用, 缺的只有非常高级的功能以及官方支持.
Cloudera Express和Enterprise的差异: http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_feature_differences.html
我推荐: Cloudera Express版
Cloudera 产品下载和安装
考虑到网速和墙的因素, 建议离线的方式安装, 即Manual Installation Using Cloudera Manager Tarballs安装方式.
几个参考文章:
离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
Cloudera Manager 5 和 CDH5 本地（离线）安装指南
CDH5 集群中 Spark 集群模式的安装过程配置过程
使用虚拟机搭建体验大数据平台
Cloudera 提供 quickstart VM, 但是访问Cloudera网速太不给力, 我们有另一个选择, 即 Oracle Big Data Lite VM.
Cloudera quickstart VM 下载
Oracle Big data lite VM下载地址:
VM配置教程
在Oracle VM中, 最重要的东西有:
- Oracle Enterprise Linux 6.7, 基本上可以等同于CentOS 6.7
- Oracle Database 12.1, 包括一些大数据方面的增强
- CDH 5.4.7, 挺新的
- Cloudera Manager 5.4.7
- Oracle database 12.1
Oracle VM 推荐的最低配置:
- Host OS 必须是64 bit
- 分配 2 core
- 最少 4 GB 内存
- 初始分配50GB硬盘空间, 需打开自动扩展
我推荐: Oracle Big Data Lite Virtua 虚拟机镜像
可用于大数据分析的几个dataset
- Airlines 分析
数据和分析场景 https://districtdatalabs.silvrback.com/getting-started-with-spark-in-python - sogou日志数据分析
分析场景 http://mmicky.blog.163.com/blog/static/150290154201431485643909/
数据源 http://www.sogou.com/labs/resources.html?v=1
- 1800W开房记录分析
分析场景 http://www.dataguru.cn/forum.php?mod=viewthread&tid=231198#pid763607
分析场景 http://colobu.com/2014/12/11/spark-sql-quick-start/ - reddit 数据分析
- 豆瓣电影 推荐系统
- stackoverflow 数据分析