安装HadoopCM安装前准备系统设置安装CM安装CDH-HADOOP相关页面安装Hadoop（CM）警告：在执行以下命令时，如果出现ssh相关命令(此处只记录了一次)，则需要在操作机器上向每台机器都发起一次

说明：在本地虚拟机环境中进行CDH5.7.2集群的搭建，在搭建之前请先在虚拟机上装好三台CentOS7，三台内存分别为8g,2g,2g，博客为原创，转载请标明出处，另外由于各环境有版本等情况不同，大家在安装时特别是第一次安装的时候可能遇到的坑与我遇到的不一样，这个时候要仔细看下agent和server的日志种是否有报错然后可以网上查找解决办法文章中版本基于CDH5.7.2，不常登录csdn，问题回

若你有一个常去的工作目录为“/mnt/hgfs/CDH-Hadoop”，那么如何对该目录进行简化呢？

昨天晚上刚刚配置好了3台主机的集群，想着把集群的配置过程详细的记录下来，以备不时之需，就顺便把cdh-Hadoop伪分布式安装教程也详细记录下来。

软件版本：CDH:5.8.0,CDH-hadoop:2.6.0;CDH-spark:1.6.0 目标：使用Spark加载PMML文件到模型，并使用Spark平台进行预测（这里测试使用的是SparkonYARN

由于工作需要，基于目前公司集群存在较多的服务器且存在大量的内存，因此考虑直接将数据Load进内存进行数据处理，测试是否能够加快处理速度；鉴于以上目的，版主尝试使用Parquet的JavaAPI读入Parquet文件。目前关于使用JavaAPI访问HDFS的文章较多，但是没有相关的配置比较容易出错；同时JavaAPI读写Parquet虽然文章较多，但多数为基于本地文件的读写实例。因此，有必要研究一下