hadoop初学入门之一:相关博文资料与注意事项

有关hadoop相关介绍就不多说 贴上几个博文,仔细读几篇,基本概念理解不会有问题。
【知乎】关于MapReduce的理解?
【文档】 Google-MapReduce中文版 链接:https://pan.baidu.com/s/1dBvgw2 密码:bluq
【腾讯大数据】 MapReduce中shuffle过程的理解
【董的博客】hadoop相关专栏
【知乎】HDFS扫盲
【hadoop官网最新版本下载地址】hadoop最新版本
【hadoop官网历史版本】hadoop历史版本



注意事项:

  1. 一般玩大数据偏向于在linux系统下,当然window系统也可以搭建,不过我看大家都不建议这样搞,所以最好选择linux系统,我也是用的linux的centos7版本
  2. hadoop版本,32/64位数支持问题。官网Apache提供下载的hadoop 有binary 和source两个版本。(区别:简单来讲,binary是编译好的可以直接使用,source是还没编译过的源代码,需要自行编译。)。编译好的版本即binary版本一般是以hadoop-x.x.x.tar.gz,源代码版本即source版本一般是以hadoop-x.x.x.src.tar.gz
  3. hadoop对jdk版本有要求,所以下载jdk或则hadoop时,注意版本是否支持
  4. 最好下载源代码,即hadoop-x.x.x.src.tar.gz,自己重新编译,为什么要重新编译,可以看这篇博文hadoop搭建时为什么要重新编译源码的解释
  5. 源码编译时,注意查看下载的hadoop文件夹下的BUILDING.txt文件,里面说明了进行该编译对系统相关环境的要求,要对相应的环境进行安装和配置
    hadoop初学入门之一:相关博文资料与注意事项_第1张图片

你可能感兴趣的:(hadoop)