MAC上配置haddop+Hbase开发环境

写在前面：

    这里需要知道的是，我们想要使用Hbase，那么就一定要先安装hadoop，同时我们需要保证我们的电脑上存在JDK，一般情况下建议大家安装jdk1.7 或 jdk1.8

    1.安装jdk1.7或jdk1.8

    因为本机已经安装了jdk1.8，所以这里不再赘述。

    这里建议：

     修改主机名为localhost：>sudo scutil --set HostName localhost

    2. 配置ssh连接

    配置ssh连接主要是保证命令 >ssh localhost 可以免密码正常登陆

    具体配置方法：

    （1）ssh-keygen -t rsa      （一路回车直到完成）

    （2）cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    （3）chmod og-wx ~/.ssh/authorized_keys

     然后重启终端，在命令行下输入>ssh localhost   如果不需要输密码即可进入，证明设置成功。

     如果仍需要输入密码，那可能是文件权限的问题，尝试执行 >chmod 755 ~/.ssh

     3.安装hadoop

        (1)通过brew安装hadoop：

        > brew install hadoop

      （2）进入hadoop的安装目录   （我这里安装的是3.0.0 大家根据对应版本该路径哈）

       >cd /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop

        (3)修改core-site.xml文件

  
          
                hadoop.tmp.dir  
                file:/usr/local/Cellar/hadoop/3.0.0/libexec/tmp  
          
          
                fs.defaultFS  
                hdfs://localhost:8020  
          

      

         （4）修改hdfs-site.xml

     

          
                dfs.replication  
                1  
          
          
                dfs.namenode.name.dir  
                file:/usr/local/Cellar/hadoop/3.0.0/libexec/tmp/dfs/name  
          
          
                dfs.namenode.data.dir  
                file:/usr/local/Cellar/hadoop/3.0.0/libexec/tmp/dfs/data  
          

 

       (5)  添加环境变量  在 ~/.bash_profile 文件中

         >vi ~/.bash_profile

         export HADOOP_HOME=/usr/local/Cellar/hadoop/2.7.3/libexec  

         export PATH=$PATH:${HADOOP_HOME}/bin 

       （6）使环境变量生效

          >source ~/.bash_profile

         (7)格式化HDFS

         >cd /usr/local/Cellar/hadoop/3.0.0/bin  

         >./hdfs namenode -format

        到这里hadoop都已经配置完成了，可以开始启动hadoop了 

      --hadoop启动方法：

      >cd /usr/local/Cellar/hadoop/3.0.0/sbin

      >./start-dfs.sh

      >jps     

      如果jps出现如下的信息，则证明启动成功：

       1206 DataNode  

       1114 NameNode  

       1323 SecondaryNameNode 

     4.安装Hbase

      （1）采用brew的方式安装hbase：

        >brew install hbase

        (2) 修改hbase-env.sh文件：    (这里我安装的是hbase 1.2.6)

        >~/.bash_profile  

         export HBASE_CLASSPATH=/usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop  
         export HBASE_MANAGES_ZK=true  
         export HBASE_HOME=/usr/local/Cellar/hbase/1.2.6/libexec  
         export HBASE_LOG_DIR=${HBASE_HOME}/logs  

         export HBASE_REGIONSERVERS=${HBASE_HOME}/conf/regionservers

         (3)修改hbase-site.xml 

          >cd /usr/local/Cellar/hbase/1.2.6

  
    
    hbase.rootdir  
    hdfs://localhost:8020/hbase  
    
    
    hbase.cluster.distributed  
    true  
    
    
    dfs.replication  
    1  
    
  

         (4)在regionservers文件中添加

           localhost

       （5）在 ~/.bash_profile 文件中添加：

           >vi ~/.bash_profile

           export HBASE_HOME=/usr/local/Cellar/hbase/1.2.6/libexec  

           export PATH=$PATH:${HBASE_HOME}/bin  

       （6）使改变生效：

            >source ~/.bash_profile

        到这里hbase已经成功安装完成了

        --hbase启动方法：

         >cd /usr/local/Cellar/hbase/1.2.6/bin
         >./start-hbase.sh
         >jps    (查看启动的服务)

        如果出现如下信息，则证明启动成功：        

         30465 HRegionServer  
         30354 HMaster  
         1605 HQuorumPeer  
         1206 DataNode  
         30534 Jps  
         1114 NameNode  

         1323 SecondaryNameNode 

      现在我们就可以愉快的进行hbase的使用了。

     这里如果我们要通过python与hbase进行交互，我们可以采用一个happybase的包，来实现连接。

     我叫晶心，一个努力进阶的程序媛，希望我们一起学习，共同进步，喜欢我的总结就关注我吧～