hadoop和hbase安装与配置

一、机器环境

OS:Mac 10.10.3 Yosemite
安装方式：homebrew

二、安装hadoop

安装hadoop命令：

brew install hadoop

安装位置：这里写代码片

/usr/local/Cellar/hadoop/2.7.2

三、配置hadoop

配置文件都在
/usr/local/Cellar/hadoop/2.7.2/libexec/etc/hadoop目录下。

3.1修改hadoop-env.sh

打开hadoop-env.sh,找到：

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

改为：

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

3.2修改core-site.xml

在同一目录下修改core-site.xml：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
        <description>A base for other temporary directories.</description>
      </property>
      <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>          
      </property>
</configuration>

3.3修改mapred-site.xml

从mapred-site.xml.template复制mapred-site.xml:

 cp mapred-site.xml.template  mapred-site.xml

修改mapred-site.xml：

<configuration>
     <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9010</value>
      </property>
</configuration>

3.4修改hdfs-site.xml

修改hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
</configuration>

3.5格式化hdfs

在运行后台程序前, 必须格式化新安装的HDFS, 并通过创建存储目录和初始化元数据创新空的文件系统, 执行下面命令:

hadoop namenode -format

3.6配置SSH

打开系统偏好设置－>共享－>启动远程登录服务－>运行所有用户。执行以下命令生成ssh密钥：

ssh-keygen -t rsa

3.7启动hadoop：

切换到/usr/local/Cellar/hadoop/2.7.2/sbin,启动

./start-dfs.sh

访问：http://localhost:50070/

三、安装hbase

安装hbase命令：

brew  install  hbase

安装位置：

/usr/local/Cellar/hbase

四、配置hbase

进入/usr/local/Cellar/hbase/1.1.2/libexec/conf目录，修改hbase-site.xml：

<configuration>
<property>
    <name>hbase.rootdir</name>
    //这里设置让HBase存储文件的地方
    <value>file:///usr/local/Cellar/hbase/1.1.2/hbasefile</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    //这里设置让HBase存储内建zookeeper文件的地方
    <value>/usr/local/Cellar/hbase/1.1.2/hbasefile/zookeeper</value>
  </property>
</configuration>

启动hbase，进入/usr/local/Cellar/hbase/1.1.2/bin目录：

 ./start-hbase.sh

检验是否安装成功：

jps

有HMaster说明安装成功。
启动hbase shell：

hbase shell

参考文档：
1.在Mac OSX Yosemite上安装Hadoop
2.Mac下安装HBase及详解