『 Hadoop』从零安装第三弹

启动Hadoop

前置准备:

  • 安装JDK
    『 Hadoop』从零安装第一弹 -
    http://www.jianshu.com/p/5b334ecc335c
  • 安装Hadoop
    『 Hadoop』从零安装第二弹 -
    http://www.jianshu.com/p/12debc5f1da2
  1. 进入到 ~/software/hadoop/hadoop-2.6.0/etc/hadoop目录
    $ cd ~/software/hadoop/hadoop-2.6.0/etc/hadoop
    『 Hadoop』从零安装第三弹_第1张图片
  2. 编辑hadoop-env.sh文件,修改参数信息
    $ sudo gedit hadoop-env.sh
    『 Hadoop』从零安装第三弹_第2张图片
  3. 测试Hadoop环境可用性
    $ hadoop
    『 Hadoop』从零安装第三弹_第3张图片

使用hadoop的本地单独模式

例子说明:一个计数的例子
使用hadoop自带的hadoop-mapreduce-examples-2.6.0.jar
对某目录下的文档进行单词数的统计

  1. 执行命令
    $ cd ~/software/hadoop
    $ mkdir input
  2. 把hadoop目录下的所有尾缀为xml的文件拷贝到input文件夹下
    $ cp $HADOOP_HOME/etc/hadoop/.xml input/*
  3. 等待几分钟运行


  4. 执行的结果


    『 Hadoop』从零安装第三弹_第4张图片
  5. 查看输出的结果


至此成功启动hadoop!

实力分析下例子

$hadoop jar 执行jar包
然后加上jar包的路径
grep是一个自定义类!!不是原本Linux的命令
传入3个参数到grep类,第一个参数是输入文件夹,第二个是输出的文件夹,第三是正则表达式的查询规则 (此时路径是相对路径)
正则表达式要查找的是以dfs开头的任意长度的字符串
结果是只有一个,即dfsadmin

你可能感兴趣的:(『 Hadoop』从零安装第三弹)