Linux Hadoop 2.7.3 安装搭建

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。

HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。

Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。

Hadoop解决哪些问题?

  • 海量数据需要及时分析和处理

  • 海量数据需要深入分析和挖掘

  • 数据需要长期保存

海量数据存储的问题:

  • 磁盘IO称为一种瓶颈,而非CPU资源

  • 网络带宽是一种稀缺资源

  • 硬件故障成为影响稳定的一大因素

安装流程

安装JAVA 1.8

下载:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

Java 环境安装配置 /etc/profile:

export JAVA_HOME=/usr/jdk/jdk1.8.0_112
export JRE_HOME=/usr/jdk/jdk1.8.0_112/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

安装Hadoop2.7.3

下载:http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/

 

配置启动Hadoop

1、修改hadoop 2.7.3/etc/hadoop/hadoop-env.sh 指定JAVA_HOME

# The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-8.b10.el6_9.x86_64

2、修改hdfs的配置文件


    
        fs.defaultFS
        hdfs://0.0.0.0:9000
    
    
    
        hadoop.tmp.dir
        /tmp/hadoop
    

3、启动

第一次启动得先格式化

/usr/hadoop/bin/hdfs namenode -format

启动hdfs

/usr/hadoop/sbin/start-dfs.sh

用jps命令查看启动的Java进程

预览地址:http://127.0.0.1:50070/dfshealth.html

Linux Hadoop 2.7.3 安装搭建_第1张图片

4、停止

/usr/hadoop/sbin/stop-dfs.sh

 

你可能感兴趣的:(Hadoop)