锐湃
锐湃

Hadoop学习笔记（二）设置单节点集群

本文描述如何设置一个单一节点的 Hadoop 安装，以便您可以快速执行简单的操作，使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS)。

参考官方文档：Hadoop MapReduce Next Generation - Setting up a Single Node Cluster.

Hadoop版本：Apache Hadoop 2.5.1

系统版本：CentOS 6.5，内核（uname -r）：2.6.32-431.el6.x86_64

系统必备组件

支持的系统平台

GNU/Linux 作为开发和生产的平台，毫无疑问。Windows 也是受支持的平台，但是以下步骤仅用于 Linux。

依赖的软件

在Linux系统上安装所需要的软件包

1、JAVA（JDK）必须安装，推荐的版本请参考Hadoop JAVA Version，我这里安装的是1.7。

2、ssh 必须安装，必须运行 sshd 才能使用管理远程 Hadoop 守护程序的 Hadoop 脚本。

安装依赖的软件

如果您的系统没有所需的软件，您将需要安装它。

例如在Ubuntu Linux上使用以下命令:

  $ sudo apt-get install ssh
  $ sudo apt-get install rsync

CentOS应该是即使是最小安装也带了ssh（Secure Shell），刚开始我给弄混了，以为是JAVA的SSH（Spring + Struts +Hibernate），汗！

安装JDK，参考：CentOS下安装JDK7

下载

就不多说了，上一篇下过了。链接：Hadoop学习笔记（一）从官网下载安装包

准备启动 Hadoop 集群

解压文件hadoop-2.5.1.tar.gz，执行：tar xvf hadoop-2.5.1.tar.gz，会将文件解压到hadoop-2.5.1目录下；

切换目录:cd hadoop-2.5.1/etc/hadoop/

编辑“hadoop-env.sh”文件，添加参考定义；

vi hadoop-env.sh

个人觉得比较好的习惯是编辑文件之前先做个备份（cp hadoop-env.sh hadoop-env.sh.bak）；

找到以下位置：

[plain]  view plain  copy
  1. # The java implementation to use.  
  2. export JAVA_HOME={JAVA_HOME}  
将其改为：

[plain]  view plain  copy
  1. # The java implementation to use.  
  2. export JAVA_HOME=/usr/java/latest  
在下面再添加一句：

[plain]  view plain  copy
  1. # Assuming your installation directory is /usr/local/hadoop  
  2. export HADOOP_PREFIX=/usr/local/hadoop  
保存并退出，ESC,:wq

切换目录（cd ../..），返回“/opt/hadoop-2.5.1”；

尝试执行以下命令：

 ./bin/hadoop

这将显示 hadoop 脚本的使用文档，输出如下：

[plain]  view plain  copy
  1. Usage: hadoop [--config confdir] COMMAND  
  2.        where COMMAND is one of:  
  3.   fs                   run a generic filesystem user client  
  4.   version              print the version  
  5.   jar             run a jar file  
  6.   checknative [-a|-h]  check native hadoop and compression libraries availability  
  7.   distcp   copy file or directories recursively  
  8.   archive -archiveName NAME -p  *  create a hadoop archive  
  9.   classpath            prints the class path needed to get the  
  10.                        Hadoop jar and the required libraries  
  11.   daemonlog            get/set the log level for each daemon  
  12.  or  
  13.   CLASSNAME            run the class named CLASSNAME  
  14.   
  15. Most commands print help when invoked w/o parameters.  
你现在准备好开始您的 Hadoop 集群三个受支持的模式之一：
  • 本地 （独立） 模式
  • 伪分布的模式
  • 完全分布式模式

本地模式操作方法

默认情况下，Hadoop 被配置为运行在非分布式模式下，作为一个单一的 Java 进程。这比较适合用于调试。
下面的示例复制要使用作为输入的解压缩的 conf 目录，然后查找并显示给定正则表达式的每一场比赛。输出被写入给定的输出目录。

[plain]  view plain  copy
  1. $ mkdir input  
  2. $ cp etc/hadoop/*.xml input  
  3. $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar grep input output 'dfs[a-z.]+'  
  4. $ cat output/*  

执行“bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar grep input output 'dfs[a-z.]+'”时

却出现错误：Error: Could not find or load main class org.apache.hadoop.util.RunJar

此问题只在Stack Overflow上见到

What does “Error: Could not find or load main class org.apache.hadoop.util.RunJar”?

但是也没能找到解决的办法；还是自己摸索吧！

解决步骤：

刚刚备份的“hadoop-env.sh”文件现在用上了，还原它。

再执行“bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar grep input output 'dfs[a-z.]+'”，

提示：

[plain]  view plain  copy
  1. ./bin/hadoop: line 133: /usr/java/jdk1.7.0/bin/java: No such file or directory  
  2. ./bin/hadoop: line 133: exec: /usr/java/jdk1.7.0/bin/java: cannot execute: No such file or directory  
按提示应该还是JAVA（JDK）的安装的问题，我安装JDK的时候只执行到 
rpm -ivh /目录/jdk-7-linux-x64.rpm

再没执行其它操作，将后续的步骤执行完成后，再执行“bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar grep input output 'dfs[a-z.]+'”，

输出：

[plain]  view plain  copy
  1. 14/10/07 03:35:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  
  2. 14/10/07 03:35:58 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id  
  3. 14/10/07 03:35:58 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=  
  4. 14/10/07 03:35:59 WARN mapreduce.JobSubmitter: No job jar file set.  User classes may not be found. See Job or Job#setJar(String).  
  5. 14/10/07 03:35:59 INFO input.FileInputFormat: Total input paths to process : 6  
  6. 14/10/07 03:35:59 INFO mapreduce.JobSubmitter: number of splits:6  
  7. 14/10/07 03:36:00 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_local1185570365_0001  
  8. 14/10/07 03:36:00 WARN conf.Configuration: file:/tmp/hadoop-root/mapred/staging/root1185570365/.staging/job_local1185570365_0001/job.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.retry.interval;  Ignoring.  
  9. 14/10/07 03:36:01 WARN conf.Configuration: file:/tmp/hadoop-root/mapred/staging/root1185570365/.staging/job_local1185570365_0001/job.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts;  Ignoring.  
  10. 14/10/07 03:36:01 WARN conf.Configuration: file:/tmp/hadoop-root/mapred/local/localRunner/root/job_local1185570365_0001/job_local1185570365_0001.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.retry.interval;  Ignoring.  
  11. 14/10/07 03:36:01 WARN conf.Configuration: file:/tmp/hadoop-root/mapred/local/localRunner/root/job_local1185570365_0001/job_local1185570365_0001.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts;  Ignoring.  
  12. 14/10/07 03:36:01 INFO mapreduce.Job: The url to track the job: http://localhost:8080/  
  13. 14/10/07 03:36:01 INFO mapreduce.Job: Running job: job_local1185570365_0001  
  14. 14/10/07 03:36:01 INFO mapred.LocalJobRunner: OutputCommitter set in config null  
  15. 14/10/07 03:36:01 INFO mapred.LocalJobRunner: OutputCommitter is org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter  
  16. 14/10/07 03:36:02 INFO mapred.LocalJobRunner: Waiting for map tasks  
  17. 14/10/07 03:36:02 INFO mapred.LocalJobRunner: Starting task: attempt_local1185570365_0001_m_000000_0  
  18. 14/10/07 03:36:02 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]  
  19. 14/10/07 03:36:02 INFO mapred.MapTask: Processing split: file:/opt/hadoop-2.5.1/input/hadoop-policy.xml:0+9201  
  20. 14/10/07 03:36:02 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer  
  21. 14/10/07 03:36:02 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)  
  22. 14/10/07 03:36:02 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100  
  23. 14/10/07 03:36:02 INFO mapred.MapTask: soft limit at 83886080  
  24. 14/10/07 03:36:02 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600  
  25. 14/10/07 03:36:02 INFO mapred.MapTask: kvstart = 26214396; length = 6553600  
  26. 14/10/07 03:36:02 INFO mapred.LocalJobRunner:   
  27. 14/10/07 03:36:02 INFO mapred.MapTask: Starting flush of map output  
  28. 14/10/07 03:36:02 INFO mapred.MapTask: Spilling map output  
  29. 14/10/07 03:36:02 INFO mapred.MapTask: bufstart = 0; bufend = 17; bufvoid = 104857600  
  30. 14/10/07 03:36:02 INFO mapred.MapTask: kvstart = 26214396(104857584); kvend = 26214396(104857584); length = 1/6553600  
  31. 14/10/07 03:36:02 INFO mapreduce.Job: Job job_local1185570365_0001 running in uber mode : false  
  32. 14/10/07 03:36:02 INFO mapred.MapTask: Finished spill 0  
  33. 14/10/07 03:36:02 INFO mapreduce.Job:  map 0% reduce 0%  
  34. 14/10/07 03:36:02 INFO mapred.Task: Task:attempt_local1185570365_0001_m_000000_0 is done. And is in the process of committing  
  35. 14/10/07 03:36:02 INFO mapred.LocalJobRunner: map  
  36. 14/10/07 03:36:02 INFO mapred.Task: Task 'attempt_local1185570365_0001_m_000000_0' done.  
  37. 14/10/07 03:36:02 INFO mapred.LocalJobRunner: Finishing task: attempt_local1185570365_0001_m_000000_0  
  38. 14/10/07 03:36:02 INFO mapred.LocalJobRunner: Starting task: attempt_local1185570365_0001_m_000001_0  
  39. 14/10/07 03:36:02 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]  
  40. 14/10/07 03:36:02 INFO mapred.MapTask: Processing split: file:/opt/hadoop-2.5.1/input/capacity-scheduler.xml:0+3589  
  41. 14/10/07 03:36:02 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer  
  42. 14/10/07 03:36:02 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)  
  43. 14/10/07 03:36:02 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100  
  44. 14/10/07 03:36:02 INFO mapred.MapTask: soft limit at 83886080  
  45. 14/10/07 03:36:02 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600  
  46. 14/10/07 03:36:02 INFO mapred.MapTask: kvstart = 26214396; length = 6553600  
  47. 14/10/07 03:36:02 INFO mapred.LocalJobRunner:   
  48. 14/10/07 03:36:02 INFO mapred.MapTask: Starting flush of map output  
  49. 14/10/07 03:36:02 INFO mapred.Task: Task:attempt_local1185570365_0001_m_000001_0 is done. And is in the process of committing  
  50. 14/10/07 03:36:02 INFO mapred.LocalJobRunner: map  
  51. 14/10/07 03:36:02 INFO mapred.Task: Task 'attempt_local1185570365_0001_m_000001_0' done.  
  52. 14/10/07 03:36:02 INFO mapred.LocalJobRunner: Finishing task: attempt_local1185570365_0001_m_000001_0  
  53. 14/10/07 03:36:02 INFO mapred.LocalJobRunner: Starting task: attempt_local1185570365_0001_m_000002_0  
  54. 14/10/07 03:36:02 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]  
  55. 14/10/07 03:36:02 INFO mapred.MapTask: Processing split: file:/opt/hadoop-2.5.1/input/hdfs-site.xml:0+775  
  56. 14/10/07 03:36:02 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer  
  57. 14/10/07 03:36:03 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)  
  58. 14/10/07 03:36:03 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100  
  59. 14/10/07 03:36:03 INFO mapred.MapTask: soft limit at 83886080  
  60. 14/10/07 03:36:03 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600  
  61. 14/10/07 03:36:03 INFO mapred.MapTask: kvstart = 26214396; length = 6553600  
  62. 14/10/07 03:36:03 INFO mapred.LocalJobRunner:   
  63. 14/10/07 03:36:03 INFO mapred.MapTask: Starting flush of map output  
  64. 14/10/07 03:36:03 INFO mapred.Task: Task:attempt_local1185570365_0001_m_000002_0 is done. And is in the process of committing  
  65. 14/10/07 03:36:03 INFO mapred.LocalJobRunner: map  
  66. 14/10/07 03:36:03 INFO mapred.Task: Task 'attempt_local1185570365_0001_m_000002_0' done.  
  67. 14/10/07 03:36:03 INFO mapred.LocalJobRunner: Finishing task: attempt_local1185570365_0001_m_000002_0  
  68. 14/10/07 03:36:03 INFO mapred.LocalJobRunner: Starting task: attempt_local1185570365_0001_m_000003_0  
  69. 14/10/07 03:36:03 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]  
  70. 14/10/07 03:36:03 INFO mapred.MapTask: Processing split: file:/opt/hadoop-2.5.1/input/core-site.xml:0+774  
  71. 14/10/07 03:36:03 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer  
  72. 14/10/07 03:36:03 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)  
  73. 14/10/07 03:36:03 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100  
  74. 14/10/07 03:36:03 INFO mapred.MapTask: soft limit at 83886080  
  75. 14/10/07 03:36:03 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600  
  76. 14/10/07 03:36:03 INFO mapred.MapTask: kvstart = 26214396; length = 6553600  
  77. 14/10/07 03:36:03 INFO mapred.LocalJobRunner:   
  78. 14/10/07 03:36:03 INFO mapred.MapTask: Starting flush of map output  
  79. 14/10/07 03:36:03 INFO mapred.Task: Task:attempt_local1185570365_0001_m_000003_0 is done. And is in the process of committing  
  80. 14/10/07 03:36:03 INFO mapred.LocalJobRunner: map  
  81. 14/10/07 03:36:03 INFO mapred.Task: Task 'attempt_local1185570365_0001_m_000003_0' done.  
  82. 14/10/07 03:36:03 INFO mapred.LocalJobRunner: Finishing task: attempt_local1185570365_0001_m_000003_0  
  83. 14/10/07 03:36:03 INFO mapred.LocalJobRunner: Starting task: attempt_local1185570365_0001_m_000004_0  
  84. 14/10/07 03:36:03 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]  
  85. 14/10/07 03:36:03 INFO mapred.MapTask: Processing split: file:/opt/hadoop-2.5.1/input/yarn-site.xml:0+690  
  86. 14/10/07 03:36:03 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer  
  87. 14/10/07 03:36:03 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)  
  88. 14/10/07 03:36:03 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100  
  89. 14/10/07 03:36:03 INFO mapred.MapTask: soft limit at 83886080  
  90. 14/10/07 03:36:03 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600  
  91. 14/10/07 03:36:03 INFO mapred.MapTask: kvstart = 26214396; length = 6553600  
  92. 14/10/07 03:36:03 INFO mapred.LocalJobRunner:   
  93. 14/10/07 03:36:03 INFO mapred.MapTask: Starting flush of map output  
  94. 14/10/07 03:36:03 INFO mapred.Task: Task:attempt_local1185570365_0001_m_000004_0 is done. And is in the process of committing  
  95. 14/10/07 03:36:03 INFO mapred.LocalJobRunner: map  
  96. 14/10/07 03:36:03 INFO mapred.Task: Task 'attempt_local1185570365_0001_m_000004_0' done.  
  97. 14/10/07 03:36:03 INFO mapred.LocalJobRunner: Finishing task: attempt_local1185570365_0001_m_000004_0  
  98. 14/10/07 03:36:03 INFO mapred.LocalJobRunner: Starting task: attempt_local1185570365_0001_m_000005_0  
  99. 14/10/07 03:36:03 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]  
  100. 14/10/07 03:36:03 INFO mapred.MapTask: Processing split: file:/opt/hadoop-2.5.1/input/httpfs-site.xml:0+620  
  101. 14/10/07 03:36:03 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer  
  102. 14/10/07 03:36:03 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)  
  103. 14/10/07 03:36:03 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100  
  104. 14/10/07 03:36:03 INFO mapred.MapTask: soft limit at 83886080  
  105. 14/10/07 03:36:03 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600  
  106. 14/10/07 03:36:03 INFO mapred.MapTask: kvstart = 26214396; length = 6553600  
  107. 14/10/07 03:36:03 INFO mapred.LocalJobRunner:   
  108. 14/10/07 03:36:03 INFO mapred.MapTask: Starting flush of map output  
  109. 14/10/07 03:36:03 INFO mapred.Task: Task:attempt_local1185570365_0001_m_000005_0 is done. And is in the process of committing  
  110. 14/10/07 03:36:03 INFO mapred.LocalJobRunner: map  
  111. 14/10/07 03:36:03 INFO mapred.Task: Task 'attempt_local1185570365_0001_m_000005_0' done.  
  112. 14/10/07 03:36:03 INFO mapred.LocalJobRunner: Finishing task: attempt_local1185570365_0001_m_000005_0  
  113. 14/10/07 03:36:03 INFO mapred.LocalJobRunner: map task executor complete.  
  114. 14/10/07 03:36:03 INFO mapred.LocalJobRunner: Waiting for reduce tasks  
  115. 14/10/07 03:36:03 INFO mapred.LocalJobRunner: Starting task: attempt_local1185570365_0001_r_000000_0  
  116. 14/10/07 03:36:03 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]  
  117. 14/10/07 03:36:03 INFO mapred.ReduceTask: Using ShuffleConsumerPlugin: org.apache.hadoop.mapreduce.task.reduce.Shuffle@57931be2  
  118. 14/10/07 03:36:03 INFO reduce.MergeManagerImpl: MergerManager: memoryLimit=363285696, maxSingleShuffleLimit=90821424, mergeThreshold=239768576, ioSortFactor=10, memToMemMergeOutputsThreshold=10  
  119. 14/10/07 03:36:03 INFO reduce.EventFetcher: attempt_local1185570365_0001_r_000000_0 Thread started: EventFetcher for fetching Map Completion Events  
  120. 14/10/07 03:36:03 INFO reduce.LocalFetcher: localfetcher#1 about to shuffle output of map attempt_local1185570365_0001_m_000001_0 decomp: 2 len: 6 to MEMORY  
  121. 14/10/07 03:36:03 INFO reduce.InMemoryMapOutput: Read 2 bytes from map-output for attempt_local1185570365_0001_m_000001_0  
  122. 14/10/07 03:36:03 INFO reduce.MergeManagerImpl: closeInMemoryFile -> map-output of size: 2, inMemoryMapOutputs.size() -> 1, commitMemory -> 0, usedMemory ->2  
  123. 14/10/07 03:36:03 INFO mapreduce.Job:  map 100% reduce 0%  
  124. 14/10/07 03:36:03 INFO reduce.LocalFetcher: localfetcher#1 about to shuffle output of map attempt_local1185570365_0001_m_000004_0 decomp: 2 len: 6 to MEMORY  
  125. 14/10/07 03:36:03 INFO reduce.InMemoryMapOutput: Read 2 bytes from map-output for attempt_local1185570365_0001_m_000004_0  
  126. 14/10/07 03:36:03 INFO reduce.MergeManagerImpl: closeInMemoryFile -> map-output of size: 2, inMemoryMapOutputs.size() -> 2, commitMemory -> 2, usedMemory ->4  
  127. 14/10/07 03:36:03 INFO reduce.LocalFetcher: localfetcher#1 about to shuffle output of map attempt_local1185570365_0001_m_000005_0 decomp: 2 len: 6 to MEMORY  
  128. 14/10/07 03:36:03 INFO reduce.InMemoryMapOutput: Read 2 bytes from map-output for attempt_local1185570365_0001_m_000005_0  
  129. 14/10/07 03:36:03 INFO reduce.MergeManagerImpl: closeInMemoryFile -> map-output of size: 2, inMemoryMapOutputs.size() -> 3, commitMemory -> 4, usedMemory ->6  
  130. 14/10/07 03:36:03 INFO reduce.LocalFetcher: localfetcher#1 about to shuffle output of map attempt_local1185570365_0001_m_000002_0 decomp: 2 len: 6 to MEMORY  
  131. 14/10/07 03:36:03 INFO reduce.InMemoryMapOutput: Read 2 bytes from map-output for attempt_local1185570365_0001_m_000002_0  
  132. 14/10/07 03:36:03 INFO reduce.MergeManagerImpl: closeInMemoryFile -> map-output of size: 2, inMemoryMapOutputs.size() -> 4, commitMemory -> 6, usedMemory ->8  
  133. 14/10/07 03:36:03 INFO reduce.LocalFetcher: localfetcher#1 about to shuffle output of map attempt_local1185570365_0001_m_000003_0 decomp: 2 len: 6 to MEMORY  
  134. 14/10/07 03:36:03 INFO reduce.InMemoryMapOutput: Read 2 bytes from map-output for attempt_local1185570365_0001_m_000003_0  
  135. 14/10/07 03:36:03 INFO reduce.MergeManagerImpl: closeInMemoryFile -> map-output of size: 2, inMemoryMapOutputs.size() -> 5, commitMemory -> 8, usedMemory ->10  
  136. 14/10/07 03:36:03 INFO reduce.LocalFetcher: localfetcher#1 about to shuffle output of map attempt_local1185570365_0001_m_000000_0 decomp: 21 len: 25 to MEMORY  
  137. 14/10/07 03:36:03 INFO reduce.InMemoryMapOutput: Read 21 bytes from map-output for attempt_local1185570365_0001_m_000000_0  
  138. 14/10/07 03:36:03 INFO reduce.MergeManagerImpl: closeInMemoryFile -> map-output of size: 21, inMemoryMapOutputs.size() -> 6, commitMemory -> 10, usedMemory ->31  
  139. 14/10/07 03:36:03 INFO reduce.EventFetcher: EventFetcher is interrupted.. Returning  
  140. 14/10/07 03:36:03 INFO mapred.LocalJobRunner: 6 / 6 copied.  
  141. 14/10/07 03:36:03 INFO reduce.MergeManagerImpl: finalMerge called with 6 in-memory map-outputs and 0 on-disk map-outputs  
  142. 14/10/07 03:36:03 INFO mapred.Merger: Merging 6 sorted segments  
  143. 14/10/07 03:36:03 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 10 bytes  
  144. 14/10/07 03:36:03 INFO reduce.MergeManagerImpl: Merged 6 segments, 31 bytes to disk to satisfy reduce memory limit  
  145. 14/10/07 03:36:03 INFO reduce.MergeManagerImpl: Merging 1 files, 25 bytes from disk  
  146. 14/10/07 03:36:03 INFO reduce.MergeManagerImpl: Merging 0 segments, 0 bytes from memory into reduce  
  147. 14/10/07 03:36:03 INFO mapred.Merger: Merging 1 sorted segments  
  148. 14/10/07 03:36:03 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 10 bytes  
  149. 14/10/07 03:36:03 INFO mapred.LocalJobRunner: 6 / 6 copied.  
  150. 14/10/07 03:36:04 INFO Configuration.deprecation: mapred.skip.on is deprecated. Instead, use mapreduce.job.skiprecords  
  151. 14/10/07 03:36:04 INFO mapred.Task: Task:attempt_local1185570365_0001_r_000000_0 is done. And is in the process of committing  
  152. 14/10/07 03:36:04 INFO mapred.LocalJobRunner: 6 / 6 copied.  
  153. 14/10/07 03:36:04 INFO mapred.Task: Task attempt_local1185570365_0001_r_000000_0 is allowed to commit now  
  154. 14/10/07 03:36:04 INFO output.FileOutputCommitter: Saved output of task 'attempt_local1185570365_0001_r_000000_0' to file:/opt/hadoop-2.5.1/grep-temp-767563685/_temporary/0/task_local1185570365_0001_r_000000  
  155. 14/10/07 03:36:04 INFO mapred.LocalJobRunner: reduce > reduce  
  156. 14/10/07 03:36:04 INFO mapred.Task: Task 'attempt_local1185570365_0001_r_000000_0' done.  
  157. 14/10/07 03:36:04 INFO mapred.LocalJobRunner: Finishing task: attempt_local1185570365_0001_r_000000_0  
  158. 14/10/07 03:36:04 INFO mapred.LocalJobRunner: reduce task executor complete.  
  159. 14/10/07 03:36:04 INFO mapreduce.Job:  map 100% reduce 100%  
  160. 14/10/07 03:36:04 INFO mapreduce.Job: Job job_local1185570365_0001 completed successfully  
  161. 14/10/07 03:36:04 INFO mapreduce.Job: Counters: 33  
  162.     File System Counters  
  163.         FILE: Number of bytes read=114663  
  164.         FILE: Number of bytes written=1613316  
  165.         FILE: Number of read operations=0  
  166.         FILE: Number of large read operations=0  
  167.         FILE: Number of write operations=0  
  168.     Map-Reduce Framework  
  169.         Map input records=405  
  170.         Map output records=1  
  171.         Map output bytes=17  
  172.         Map output materialized bytes=55  
  173.         Input split bytes=657  
  174.         Combine input records=1  
  175.         Combine output records=1  
  176.         Reduce input groups=1  
  177.         Reduce shuffle bytes=55  
  178.         Reduce input records=1  
  179.         Reduce output records=1  
  180.         Spilled Records=2  
  181.         Shuffled Maps =6  
  182.         Failed Shuffles=0  
  183.         Merged Map outputs=6  
  184.         GC time elapsed (ms)=225  
  185.         CPU time spent (ms)=0  
  186.         Physical memory (bytes) snapshot=0  
  187.         Virtual memory (bytes) snapshot=0  
  188.         Total committed heap usage (bytes)=1106100224  
  189.     Shuffle Errors  
  190.         BAD_ID=0  
  191.         CONNECTION=0  
  192.         IO_ERROR=0  
  193.         WRONG_LENGTH=0  
  194.         WRONG_MAP=0  
  195.         WRONG_REDUCE=0  
  196.     File Input Format Counters   
  197.         Bytes Read=15649  
  198.     File Output Format Counters   
  199.         Bytes Written=123  
  200. 14/10/07 03:36:04 INFO jvm.JvmMetrics: Cannot initialize JVM Metrics with processName=JobTracker, sessionId= - already initialized  
  201. org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory file:/opt/hadoop-2.5.1/output already exists  
  202.     at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:146)  
  203.     at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:458)  
  204.     at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:343)  
  205.     at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1285)  
  206.     at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1282)  
  207.     at java.security.AccessController.doPrivileged(Native Method)  
  208.     at javax.security.auth.Subject.doAs(Subject.java:415)  
  209.     at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)  
  210.     at org.apache.hadoop.mapreduce.Job.submit(Job.java:1282)  
  211.     at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1303)  
  212.     at org.apache.hadoop.examples.Grep.run(Grep.java:92)  
  213.     at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)  
  214.     at org.apache.hadoop.examples.Grep.main(Grep.java:101)  
  215.     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)  
  216.     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)  
  217.     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)  
  218.     at java.lang.reflect.Method.invoke(Method.java:606)  
  219.     at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:72)  
  220.     at org.apache.hadoop.util.ProgramDriver.run(ProgramDriver.java:145)  
  221.     at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:74)  
  222.     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)  
  223.     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)  
  224.     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)  
  225.     at java.lang.reflect.Method.invoke(Method.java:606)  
  226.     at org.apache.hadoop.util.RunJar.main(RunJar.java:212)  

Output directory file:/opt/hadoop-2.5.1/output already exists，噢，原因是output目录已经存在了（之前我排查问题的时候创建的）；

删除output目录（rm -rf output）；

再执行“bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar grep input output 'dfs[a-z.]+'”命令，输出如下：

[plain]  view plain  copy
  1. 14/10/08 05:57:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  
  2. 14/10/08 05:57:35 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id  
  3. 14/10/08 05:57:35 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=  
  4. 14/10/08 05:57:36 WARN mapreduce.JobSubmitter: No job jar file set.  User classes may not be found. See Job or Job#setJar(String).  
  5. 14/10/08 05:57:36 INFO input.FileInputFormat: Total input paths to process : 6  
  6. 14/10/08 05:57:36 INFO mapreduce.JobSubmitter: number of splits:6  
  7. 14/10/08 05:57:37 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_local380762736_0001  
  8. 14/10/08 05:57:37 WARN conf.Configuration: file:/tmp/hadoop-root/mapred/staging/root380762736/.staging/job_local380762736_0001/job.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.retry.interval;  Ignoring.  
  9. 14/10/08 05:57:37 WARN conf.Configuration: file:/tmp/hadoop-root/mapred/staging/root380762736/.staging/job_local380762736_0001/job.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts;  Ignoring.  
  10. 14/10/08 05:57:38 WARN conf.Configuration: file:/tmp/hadoop-root/mapred/local/localRunner/root/job_local380762736_0001/job_local380762736_0001.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.retry.interval;  Ignoring.  
  11. 14/10/08 05:57:38 WARN conf.Configuration: file:/tmp/hadoop-root/mapred/local/localRunner/root/job_local380762736_0001/job_local380762736_0001.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts;  Ignoring.  
  12. 14/10/08 05:57:38 INFO mapreduce.Job: The url to track the job: http://localhost:8080/  
  13. 14/10/08 05:57:38 INFO mapreduce.Job: Running job: job_local380762736_0001  
  14. 14/10/08 05:57:38 INFO mapred.LocalJobRunner: OutputCommitter set in config null  
  15. 14/10/08 05:57:38 INFO mapred.LocalJobRunner: OutputCommitter is org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter  
  16. 14/10/08 05:57:38 INFO mapred.LocalJobRunner: Waiting for map tasks  
  17. 14/10/08 05:57:38 INFO mapred.LocalJobRunner: Starting task: attempt_local380762736_0001_m_000000_0  
  18. 14/10/08 05:57:39 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]  
  19. 14/10/08 05:57:39 INFO mapred.MapTask: Processing split: file:/opt/hadoop-2.5.1/input/hadoop-policy.xml:0+9201  
  20. 14/10/08 05:57:39 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer  
  21. 14/10/08 05:57:39 INFO mapreduce.Job: Job job_local380762736_0001 running in uber mode : false  
  22. 14/10/08 05:57:39 INFO mapreduce.Job:  map 0% reduce 0%  
  23. 14/10/08 05:57:43 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)  
  24. 14/10/08 05:57:43 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100  
  25. 14/10/08 05:57:43 INFO mapred.MapTask: soft limit at 83886080  
  26. 14/10/08 05:57:43 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600  
  27. 14/10/08 05:57:43 INFO mapred.MapTask: kvstart = 26214396; length = 6553600  
  28. 14/10/08 05:57:44 INFO mapred.LocalJobRunner:   
  29. 14/10/08 05:57:44 INFO mapred.MapTask: Starting flush of map output  
  30. 14/10/08 05:57:44 INFO mapred.MapTask: Spilling map output  
  31. 14/10/08 05:57:44 INFO mapred.MapTask: bufstart = 0; bufend = 17; bufvoid = 104857600  
  32. 14/10/08 05:57:44 INFO mapred.MapTask: kvstart = 26214396(104857584); kvend = 26214396(104857584); length = 1/6553600  
  33. 14/10/08 05:57:44 INFO mapred.MapTask: Finished spill 0  
  34. 14/10/08 05:57:44 INFO mapred.Task: Task:attempt_local380762736_0001_m_000000_0 is done. And is in the process of committing  
  35. 14/10/08 05:57:45 INFO mapred.LocalJobRunner: map  
  36. 14/10/08 05:57:45 INFO mapred.Task: Task 'attempt_local380762736_0001_m_000000_0' done.  
  37. 14/10/08 05:57:45 INFO mapred.LocalJobRunner: Finishing task: attempt_local380762736_0001_m_000000_0  
  38. 14/10/08 05:57:45 INFO mapred.LocalJobRunner: Starting task: attempt_local380762736_0001_m_000001_0  
  39. 14/10/08 05:57:45 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]  
  40. 14/10/08 05:57:45 INFO mapred.MapTask: Processing split: file:/opt/hadoop-2.5.1/input/capacity-scheduler.xml:0+3589  
  41. 14/10/08 05:57:45 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer  
  42. 14/10/08 05:57:45 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)  
  43. 14/10/08 05:57:45 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100  
  44. 14/10/08 05:57:45 INFO mapred.MapTask: soft limit at 83886080  
  45. 14/10/08 05:57:45 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600  
  46. 14/10/08 05:57:45 INFO mapred.MapTask: kvstart = 26214396; length = 6553600  
  47. 14/10/08 05:57:45 INFO mapred.LocalJobRunner:   
  48. 14/10/08 05:57:45 INFO mapred.MapTask: Starting flush of map output  
  49. 14/10/08 05:57:45 INFO mapred.Task: Task:attempt_local380762736_0001_m_000001_0 is done. And is in the process of committing  
  50. 14/10/08 05:57:45 INFO mapred.LocalJobRunner: map  
  51. 14/10/08 05:57:45 INFO mapred.Task: Task 'attempt_local380762736_0001_m_000001_0' done.  
  52. 14/10/08 05:57:45 INFO mapred.LocalJobRunner: Finishing task: attempt_local380762736_0001_m_000001_0  
  53. 14/10/08 05:57:45 INFO mapred.LocalJobRunner: Starting task: attempt_local380762736_0001_m_000002_0  
  54. 14/10/08 05:57:45 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]  
  55. 14/10/08 05:57:45 INFO mapred.MapTask: Processing split: file:/opt/hadoop-2.5.1/input/hdfs-site.xml:0+775  
  56. 14/10/08 05:57:45 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer  
  57. 14/10/08 05:57:46 INFO mapreduce.Job:  map 100% reduce 0%  
  58. 14/10/08 05:57:46 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)  
  59. 14/10/08 05:57:46 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100  
  60. 14/10/08 05:57:46 INFO mapred.MapTask: soft limit at 83886080  
  61. 14/10/08 05:57:46 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600  
  62. 14/10/08 05:57:46 INFO mapred.MapTask: kvstart = 26214396; length = 6553600  
  63. 14/10/08 05:57:46 INFO mapred.LocalJobRunner:   
  64. 14/10/08 05:57:46 INFO mapred.MapTask: Starting flush of map output  
  65. 14/10/08 05:57:46 INFO mapred.Task: Task:attempt_local380762736_0001_m_000002_0 is done. And is in the process of committing  
  66. 14/10/08 05:57:46 INFO mapred.LocalJobRunner: map  
  67. 14/10/08 05:57:46 INFO mapred.Task: Task 'attempt_local380762736_0001_m_000002_0' done.  
  68. 14/10/08 05:57:46 INFO mapred.LocalJobRunner: Finishing task: attempt_local380762736_0001_m_000002_0  
  69. 14/10/08 05:57:46 INFO mapred.LocalJobRunner: Starting task: attempt_local380762736_0001_m_000003_0  
  70. 14/10/08 05:57:46 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]  
  71. 14/10/08 05:57:46 INFO mapred.MapTask: Processing split: file:/opt/hadoop-2.5.1/input/core-site.xml:0+774  
  72. 14/10/08 05:57:46 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer  
  73. 14/10/08 05:57:47 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)  
  74. 14/10/08 05:57:47 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100  
  75. 14/10/08 05:57:47 INFO mapred.MapTask: soft limit at 83886080  
  76. 14/10/08 05:57:47 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600  
  77. 14/10/08 05:57:47 INFO mapred.MapTask: kvstart = 26214396; length = 6553600  
  78. 14/10/08 05:57:47 INFO mapred.LocalJobRunner:   
  79. 14/10/08 05:57:47 INFO mapred.MapTask: Starting flush of map output  
  80. 14/10/08 05:57:47 INFO mapred.Task: Task:attempt_local380762736_0001_m_000003_0 is done. And is in the process of committing  
  81. 14/10/08 05:57:47 INFO mapred.LocalJobRunner: map  
  82. 14/10/08 05:57:47 INFO mapred.Task: Task 'attempt_local380762736_0001_m_000003_0' done.  
  83. 14/10/08 05:57:47 INFO mapred.LocalJobRunner: Finishing task: attempt_local380762736_0001_m_000003_0  
  84. 14/10/08 05:57:47 INFO mapred.LocalJobRunner: Starting task: attempt_local380762736_0001_m_000004_0  
  85. 14/10/08 05:57:47 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]  
  86. 14/10/08 05:57:47 INFO mapred.MapTask: Processing split: file:/opt/hadoop-2.5.1/input/yarn-site.xml:0+690  
  87. 14/10/08 05:57:47 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer  
  88. 14/10/08 05:57:49 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)  
  89. 14/10/08 05:57:49 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100  
  90. 14/10/08 05:57:49 INFO mapred.MapTask: soft limit at 83886080  
  91. 14/10/08 05:57:49 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600  
  92. 14/10/08 05:57:49 INFO mapred.MapTask: kvstart = 26214396; length = 6553600  
  93. 14/10/08 05:57:49 INFO mapred.LocalJobRunner:   
  94. 14/10/08 05:57:49 INFO mapred.MapTask: Starting flush of map output  
  95. 14/10/08 05:57:49 INFO mapred.Task: Task:attempt_local380762736_0001_m_000004_0 is done. And is in the process of committing  
  96. 14/10/08 05:57:49 INFO mapred.LocalJobRunner: map  
  97. 14/10/08 05:57:49 INFO mapred.Task: Task 'attempt_local380762736_0001_m_000004_0' done.  
  98. 14/10/08 05:57:49 INFO mapred.LocalJobRunner: Finishing task: attempt_local380762736_0001_m_000004_0  
  99. 14/10/08 05:57:49 INFO mapred.LocalJobRunner: Starting task: attempt_local380762736_0001_m_000005_0  
  100. 14/10/08 05:57:49 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]  
  101. 14/10/08 05:57:49 INFO mapred.MapTask: Processing split: file:/opt/hadoop-2.5.1/input/httpfs-site.xml:0+620  
  102. 14/10/08 05:57:49 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer  
  103. 14/10/08 05:57:49 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)  
  104. 14/10/08 05:57:49 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100  
  105. 14/10/08 05:57:49 INFO mapred.MapTask: soft limit at 83886080  
  106. 14/10/08 05:57:49 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600  
  107. 14/10/08 05:57:49 INFO mapred.MapTask: kvstart = 26214396; length = 6553600  
  108. 14/10/08 05:57:49 INFO mapred.LocalJobRunner:   
  109. 14/10/08 05:57:49 INFO mapred.MapTask: Starting flush of map output  
  110. 14/10/08 05:57:49 INFO mapred.Task: Task:attempt_local380762736_0001_m_000005_0 is done. And is in the process of committing  
  111. 14/10/08 05:57:49 INFO mapred.LocalJobRunner: map  
  112. 14/10/08 05:57:49 INFO mapred.Task: Task 'attempt_local380762736_0001_m_000005_0' done.  
  113. 14/10/08 05:57:49 INFO mapred.LocalJobRunner: Finishing task: attempt_local380762736_0001_m_000005_0  
  114. 14/10/08 05:57:49 INFO mapred.LocalJobRunner: map task executor complete.  
  115. 14/10/08 05:57:49 INFO mapred.LocalJobRunner: Waiting for reduce tasks  
  116. 14/10/08 05:57:49 INFO mapred.LocalJobRunner: Starting task: attempt_local380762736_0001_r_000000_0  
  117. 14/10/08 05:57:49 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]  
  118. 14/10/08 05:57:49 INFO mapred.ReduceTask: Using ShuffleConsumerPlugin: org.apache.hadoop.mapreduce.task.reduce.Shuffle@6d36df08  
  119. 14/10/08 05:57:50 INFO reduce.MergeManagerImpl: MergerManager: memoryLimit=363285696, maxSingleShuffleLimit=90821424, mergeThreshold=239768576, ioSortFactor=10, memToMemMergeOutputsThreshold=10  
  120. 14/10/08 05:57:50 INFO reduce.EventFetcher: attempt_local380762736_0001_r_000000_0 Thread started: EventFetcher for fetching Map Completion Events  
  121. 14/10/08 05:57:50 INFO reduce.LocalFetcher: localfetcher#1 about to shuffle output of map attempt_local380762736_0001_m_000000_0 decomp: 21 len: 25 to MEMORY  
  122. 14/10/08 05:57:50 INFO reduce.InMemoryMapOutput: Read 21 bytes from map-output for attempt_local380762736_0001_m_000000_0  
  123. 14/10/08 05:57:50 INFO reduce.MergeManagerImpl: closeInMemoryFile -> map-output of size: 21, inMemoryMapOutputs.size() -> 1, commitMemory -> 0, usedMemory ->21  
  124. 14/10/08 05:57:50 INFO reduce.LocalFetcher: localfetcher#1 about to shuffle output of map attempt_local380762736_0001_m_000004_0 decomp: 2 len: 6 to MEMORY  
  125. 14/10/08 05:57:50 INFO reduce.InMemoryMapOutput: Read 2 bytes from map-output for attempt_local380762736_0001_m_000004_0  
  126. 14/10/08 05:57:50 INFO reduce.MergeManagerImpl: closeInMemoryFile -> map-output of size: 2, inMemoryMapOutputs.size() -> 2, commitMemory -> 21, usedMemory ->23  
  127. 14/10/08 05:57:50 INFO reduce.LocalFetcher: localfetcher#1 about to shuffle output of map attempt_local380762736_0001_m_000003_0 decomp: 2 len: 6 to MEMORY  
  128. 14/10/08 05:57:50 INFO reduce.InMemoryMapOutput: Read 2 bytes from map-output for attempt_local380762736_0001_m_000003_0  
  129. 14/10/08 05:57:50 INFO reduce.MergeManagerImpl: closeInMemoryFile -> map-output of size: 2, inMemoryMapOutputs.size() -> 3, commitMemory -> 23, usedMemory ->25  
  130. 14/10/08 05:57:50 INFO reduce.LocalFetcher: localfetcher#1 about to shuffle output of map attempt_local380762736_0001_m_000005_0 decomp: 2 len: 6 to MEMORY  
  131. 14/10/08 05:57:50 INFO reduce.InMemoryMapOutput: Read 2 bytes from map-output for attempt_local380762736_0001_m_000005_0  
  132. 14/10/08 05:57:50 INFO reduce.MergeManagerImpl: closeInMemoryFile -> map-output of size: 2, inMemoryMapOutputs.size() -> 4, commitMemory -> 25, usedMemory ->27  
  133. 14/10/08 05:57:50 INFO reduce.LocalFetcher: localfetcher#1 about to shuffle output of map attempt_local380762736_0001_m_000001_0 decomp: 2 len: 6 to MEMORY  
  134. 14/10/08 05:57:50 INFO reduce.InMemoryMapOutput: Read 2 bytes from map-output for attempt_local380762736_0001_m_000001_0  
  135. 14/10/08 05:57:50 INFO reduce.MergeManagerImpl: closeInMemoryFile -> map-output of size: 2, inMemoryMapOutputs.size() -> 5, commitMemory -> 27, usedMemory ->29  
  136. 14/10/08 05:57:50 INFO reduce.LocalFetcher: localfetcher#1 about to shuffle output of map attempt_local380762736_0001_m_000002_0 decomp: 2 len: 6 to MEMORY  
  137. 14/10/08 05:57:50 INFO reduce.InMemoryMapOutput: Read 2 bytes from map-output for attempt_local380762736_0001_m_000002_0  
  138. 14/10/08 05:57:50 INFO reduce.MergeManagerImpl: closeInMemoryFile -> map-output of size: 2, inMemoryMapOutputs.size() -> 6, commitMemory -> 29, usedMemory ->31  
  139. 14/10/08 05:57:50 INFO reduce.EventFetcher: EventFetcher is interrupted.. Returning  
  140. 14/10/08 05:57:50 INFO mapred.LocalJobRunner: 6 / 6 copied.  
  141. 14/10/08 05:57:50 INFO reduce.MergeManagerImpl: finalMerge called with 6 in-memory map-outputs and 0 on-disk map-outputs  
  142. 14/10/08 05:57:50 INFO mapred.Merger: Merging 6 sorted segments  
  143. 14/10/08 05:57:50 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 10 bytes  
  144. 14/10/08 05:57:50 INFO reduce.MergeManagerImpl: Merged 6 segments, 31 bytes to disk to satisfy reduce memory limit  
  145. 14/10/08 05:57:50 INFO reduce.MergeManagerImpl: Merging 1 files, 25 bytes from disk  
  146. 14/10/08 05:57:50 INFO reduce.MergeManagerImpl: Merging 0 segments, 0 bytes from memory into reduce  
  147. 14/10/08 05:57:50 INFO mapred.Merger: Merging 1 sorted segments  
  148. 14/10/08 05:57:50 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 10 bytes  
  149. 14/10/08 05:57:50 INFO mapred.LocalJobRunner: 6 / 6 copied.  
  150. 14/10/08 05:57:50 INFO Configuration.deprecation: mapred.skip.on is deprecated. Instead, use mapreduce.job.skiprecords  
  151. 14/10/08 05:57:50 INFO mapred.Task: Task:attempt_local380762736_0001_r_000000_0 is done. And is in the process of committing  
  152. 14/10/08 05:57:50 INFO mapred.LocalJobRunner: 6 / 6 copied.  
  153. 14/10/08 05:57:50 INFO mapred.Task: Task attempt_local380762736_0001_r_000000_0 is allowed to commit now  
  154. 14/10/08 05:57:50 INFO output.FileOutputCommitter: Saved output of task 'attempt_local380762736_0001_r_000000_0' to file:/opt/hadoop-2.5.1/grep-temp-913340630/_temporary/0/task_local380762736_0001_r_000000  
  155. 14/10/08 05:57:50 INFO mapred.LocalJobRunner: reduce > reduce  
  156. 14/10/08 05:57:50 INFO mapred.Task: Task 'attempt_local380762736_0001_r_000000_0' done.  
  157. 14/10/08 05:57:50 INFO mapred.LocalJobRunner: Finishing task: attempt_local380762736_0001_r_000000_0  
  158. 14/10/08 05:57:50 INFO mapred.LocalJobRunner: reduce task executor complete.  
  159. 14/10/08 05:57:51 INFO mapreduce.Job:  map 100% reduce 100%  
  160. 14/10/08 05:57:51 INFO mapreduce.Job: Job job_local380762736_0001 completed successfully  
  161. 14/10/08 05:57:51 INFO mapreduce.Job: Counters: 33  
  162.     File System Counters  
  163.         FILE: Number of bytes read=114663  
  164.         FILE: Number of bytes written=1604636  
  165.         FILE: Number of read operations=0  
  166.         FILE: Number of large read operations=0  
  167.         FILE: Number of write operations=0  
  168.     Map-Reduce Framework  
  169.         Map input records=405  
  170.         Map output records=1  
  171.         Map output bytes=17  
  172.         Map output materialized bytes=55  
  173.         Input split bytes=657  
  174.         Combine input records=1  
  175.         Combine output records=1  
  176.         Reduce input groups=1  
  177.         Reduce shuffle bytes=55  
  178.         Reduce input records=1  
  179.         Reduce output records=1  
  180.         Spilled Records=2  
  181.         Shuffled Maps =6  
  182.         Failed Shuffles=0  
  183.         Merged Map outputs=6  
  184.         GC time elapsed (ms)=2359  
  185.         CPU time spent (ms)=0  
  186.         Physical memory (bytes) snapshot=0  
  187.         Virtual memory (bytes) snapshot=0  
  188.         Total committed heap usage (bytes)=1106096128  
  189.     Shuffle Errors  
  190.         BAD_ID=0  
  191.         CONNECTION=0  
  192.         IO_ERROR=0  
  193.         WRONG_LENGTH=0  
  194.         WRONG_MAP=0  
  195.         WRONG_REDUCE=0  
  196.     File Input Format Counters   
  197.         Bytes Read=15649  
  198.     File Output Format Counters   
  199.         Bytes Written=123  
  200. 14/10/08 05:57:51 INFO jvm.JvmMetrics: Cannot initialize JVM Metrics with processName=JobTracker, sessionId= - already initialized  
  201. 14/10/08 05:57:51 WARN mapreduce.JobSubmitter: No job jar file set.  User classes may not be found. See Job or Job#setJar(String).  
  202. 14/10/08 05:57:51 INFO input.FileInputFormat: Total input paths to process : 1  
  203. 14/10/08 05:57:51 INFO mapreduce.JobSubmitter: number of splits:1  
  204. 14/10/08 05:57:51 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_local571678604_0002  
  205. 14/10/08 05:57:51 WARN conf.Configuration: file:/tmp/hadoop-root/mapred/staging/root571678604/.staging/job_local571678604_0002/job.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.retry.interval;  Ignoring.  
  206. 14/10/08 05:57:51 WARN conf.Configuration: file:/tmp/hadoop-root/mapred/staging/root571678604/.staging/job_local571678604_0002/job.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts;  Ignoring.  
  207. 14/10/08 05:57:52 WARN conf.Configuration: file:/tmp/hadoop-root/mapred/local/localRunner/root/job_local571678604_0002/job_local571678604_0002.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.retry.interval;  Ignoring.  
  208. 14/10/08 05:57:52 WARN conf.Configuration: file:/tmp/hadoop-root/mapred/local/localRunner/root/job_local571678604_0002/job_local571678604_0002.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts;  Ignoring.  
  209. 14/10/08 05:57:52 INFO mapreduce.Job: The url to track the job: http://localhost:8080/  
  210. 14/10/08 05:57:52 INFO mapreduce.Job: Running job: job_local571678604_0002  
  211. 14/10/08 05:57:52 INFO mapred.LocalJobRunner: OutputCommitter set in config null  
  212. 14/10/08 05:57:52 INFO mapred.LocalJobRunner: OutputCommitter is org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter  
  213. 14/10/08 05:57:52 INFO mapred.LocalJobRunner: Waiting for map tasks  
  214. 14/10/08 05:57:52 INFO mapred.LocalJobRunner: Starting task: attempt_local571678604_0002_m_000000_0  
  215. 14/10/08 05:57:52 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]  
  216. 14/10/08 05:57:52 INFO mapred.MapTask: Processing split: file:/opt/hadoop-2.5.1/grep-temp-913340630/part-r-00000:0+111  
  217. 14/10/08 05:57:52 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer  
  218. 14/10/08 05:57:52 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)  
  219. 14/10/08 05:57:52 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100  
  220. 14/10/08 05:57:52 INFO mapred.MapTask: soft limit at 83886080  
  221. 14/10/08 05:57:52 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600  
  222. 14/10/08 05:57:52 INFO mapred.MapTask: kvstart = 26214396; length = 6553600  
  223. 14/10/08 05:57:52 INFO mapred.LocalJobRunner:   
  224. 14/10/08 05:57:52 INFO mapred.MapTask: Starting flush of map output  
  225. 14/10/08 05:57:52 INFO mapred.MapTask: Spilling map output  
  226. 14/10/08 05:57:52 INFO mapred.MapTask: bufstart = 0; bufend = 17; bufvoid = 104857600  
  227. 14/10/08 05:57:52 INFO mapred.MapTask: kvstart = 26214396(104857584); kvend = 26214396(104857584); length = 1/6553600  
  228. 14/10/08 05:57:52 INFO mapred.MapTask: Finished spill 0  
  229. 14/10/08 05:57:52 INFO mapred.Task: Task:attempt_local571678604_0002_m_000000_0 is done. And is in the process of committing  
  230. 14/10/08 05:57:52 INFO mapred.LocalJobRunner: map  
  231. 14/10/08 05:57:52 INFO mapred.Task: Task 'attempt_local571678604_0002_m_000000_0' done.  
  232. 14/10/08 05:57:52 INFO mapred.LocalJobRunner: Finishing task: attempt_local571678604_0002_m_000000_0  
  233. 14/10/08 05:57:52 INFO mapred.LocalJobRunner: map task executor complete.  
  234. 14/10/08 05:57:52 INFO mapred.LocalJobRunner: Waiting for reduce tasks  
  235. 14/10/08 05:57:52 INFO mapred.LocalJobRunner: Starting task: attempt_local571678604_0002_r_000000_0  
  236. 14/10/08 05:57:52 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]  
  237. 14/10/08 05:57:52 INFO mapred.ReduceTask: Using ShuffleConsumerPlugin: org.apache.hadoop.mapreduce.task.reduce.Shuffle@63ae8b5c  
  238. 14/10/08 05:57:52 INFO reduce.MergeManagerImpl: MergerManager: memoryLimit=363285696, maxSingleShuffleLimit=90821424, mergeThreshold=239768576, ioSortFactor=10, memToMemMergeOutputsThreshold=10  
  239. 14/10/08 05:57:52 INFO reduce.EventFetcher: attempt_local571678604_0002_r_000000_0 Thread started: EventFetcher for fetching Map Completion Events  
  240. 14/10/08 05:57:52 INFO reduce.LocalFetcher: localfetcher#2 about to shuffle output of map attempt_local571678604_0002_m_000000_0 decomp: 21 len: 25 to MEMORY  
  241. 14/10/08 05:57:52 INFO reduce.InMemoryMapOutput: Read 21 bytes from map-output for attempt_local571678604_0002_m_000000_0  
  242. 14/10/08 05:57:52 INFO reduce.MergeManagerImpl: closeInMemoryFile -> map-output of size: 21, inMemoryMapOutputs.size() -> 1, commitMemory -> 0, usedMemory ->21  
  243. 14/10/08 05:57:52 INFO reduce.EventFetcher: EventFetcher is interrupted.. Returning  
  244. 14/10/08 05:57:52 INFO mapred.LocalJobRunner: 1 / 1 copied.  
  245. 14/10/08 05:57:52 INFO reduce.MergeManagerImpl: finalMerge called with 1 in-memory map-outputs and 0 on-disk map-outputs  
  246. 14/10/08 05:57:52 INFO mapred.Merger: Merging 1 sorted segments  
  247. 14/10/08 05:57:52 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 11 bytes  
  248. 14/10/08 05:57:52 INFO reduce.MergeManagerImpl: Merged 1 segments, 21 bytes to disk to satisfy reduce memory limit  
  249. 14/10/08 05:57:52 INFO reduce.MergeManagerImpl: Merging 1 files, 25 bytes from disk  
  250. 14/10/08 05:57:52 INFO reduce.MergeManagerImpl: Merging 0 segments, 0 bytes from memory into reduce  
  251. 14/10/08 05:57:52 INFO mapred.Merger: Merging 1 sorted segments  
  252. 14/10/08 05:57:52 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 11 bytes  
  253. 14/10/08 05:57:52 INFO mapred.LocalJobRunner: 1 / 1 copied.  
  254. 14/10/08 05:57:52 INFO mapred.Task: Task:attempt_local571678604_0002_r_000000_0 is done. And is in the process of committing  
  255. 14/10/08 05:57:52 INFO mapred.LocalJobRunner: 1 / 1 copied.  
  256. 14/10/08 05:57:52 INFO mapred.Task: Task attempt_local571678604_0002_r_000000_0 is allowed to commit now  
  257. 14/10/08 05:57:52 INFO output.FileOutputCommitter: Saved output of task 'attempt_local571678604_0002_r_000000_0' to file:/opt/hadoop-2.5.1/output/_temporary/0/task_local571678604_0002_r_000000  
  258. 14/10/08 05:57:52 INFO mapred.LocalJobRunner: reduce > reduce  
  259. 14/10/08 05:57:52 INFO mapred.Task: Task 'attempt_local571678604_0002_r_000000_0' done.  
  260. 14/10/08 05:57:52 INFO mapred.LocalJobRunner: Finishing task: attempt_local571678604_0002_r_000000_0  
  261. 14/10/08 05:57:52 INFO mapred.LocalJobRunner: reduce task executor complete.  
  262. 14/10/08 05:57:53 INFO mapreduce.Job: Job job_local571678604_0002 running in uber mode : false  
  263. 14/10/08 05:57:53 INFO mapreduce.Job:  map 100% reduce 100%  
  264. 14/10/08 05:57:53 INFO mapreduce.Job: Job job_local571678604_0002 completed successfully  
  265. 14/10/08 05:57:53 INFO mapreduce.Job: Counters: 33  
  266.     File System Counters  
  267.         FILE: Number of bytes read=39892  
  268.         FILE: Number of bytes written=913502  
  269.         FILE: Number of read operations=0  
  270.         FILE: Number of large read operations=0  
  271.         FILE: Number of write operations=0  
  272.     Map-Reduce Framework  
  273.         Map input records=1  
  274.         Map output records=1  
  275.         Map output bytes=17  
  276.         Map output materialized bytes=25  
  277.         Input split bytes=120  
  278.         Combine input records=0  
  279.         Combine output records=0  
  280.         Reduce input groups=1  
  281.         Reduce shuffle bytes=25  
  282.         Reduce input records=1  
  283.         Reduce output records=1  
  284.         Spilled Records=2  
  285.         Shuffled Maps =1  
  286.         Failed Shuffles=0  
  287.         Merged Map outputs=1  
  288.         GC time elapsed (ms)=37  
  289.         CPU time spent (ms)=0  
  290.         Physical memory (bytes) snapshot=0  
  291.         Virtual memory (bytes) snapshot=0  
  292.         Total committed heap usage (bytes)=250560512  
  293.     Shuffle Errors  
  294.         BAD_ID=0  
  295.         CONNECTION=0  
  296.         IO_ERROR=0  
  297.         WRONG_LENGTH=0  
  298.         WRONG_MAP=0  
  299.         WRONG_REDUCE=0  
  300.     File Input Format Counters   
  301.         Bytes Read=123  
  302.     File Output Format Counters   
  303.         Bytes Written=23  

OK，总算对了。


转自：http://blog.csdn.net/testcs_dn/article/details/39853517

你可能感兴趣的:(hadoop)

  • 浅谈MapReduce Android路上的人 Hadoop分布式计算mapreduce分布式框架hadoop
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
  • Hadoop 傲雪凌霜，松柏长青 后端大数据hadoop大数据分布式
    ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
  • Hadoop架构 henan程序媛 hadoop大数据分布式
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
  • hbase介绍 CrazyL- 云计算+大数据hbase
    hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用hadoopmapreduce来处理hbase、中的海量数据hbase利用zookeeper作为分布式系统服务特点：数据量大：一个表可以有上亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能 2401_84572577 程序员大数据hadoop人工智能
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
  • Spark集群的三种模式 MelodyYN #Sparksparkhadoopbigdata
    文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式3.2Yarn模式安装部署配置历史服务器运行模式4、WordCount案例1、Spark的由来定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可
  • 月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线 「已注销」 个人总结hadoop
    一、时间线梳理3月3日，寻找到同专业的就业伙伴3月5日，着手准备Java八股文，决定先走Java后端路线3月8月，申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka的视频，同时在准备实习的项目3月20日，退
  • HBase介绍 mingyu1016 数据库
    概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。HBase的表结构HBase以表的形式存储数据。表有行和列组成。列划分为
  • Java中的大数据处理框架对比分析 省赚客app开发者 java开发语言
    Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
  • Hadoop windows intelij 跑 MR WordCount piziyang12138
    一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9Hadoop分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven工程。(如果只跑MapReduce创建java工程即可，不用勾选Creatfromarchetype，如果想创建web工程或者使用骨架可以勾选)image.png设置GroupId和Artif
  • Hadoop学习第三课（HDFS架构--读、写流程） 小小程序员呀~ 数据库hadoop架构bigdata
    1.块概念举例1：一桶水1000ml，瓶子的规格100ml=>需要10个瓶子装完一桶水1010ml，瓶子的规格100ml=>需要11个瓶子装完一桶水1010ml，瓶子的规格200ml=>需要6个瓶子装完块的大小规格，只要是需要存储，哪怕一点点，也是要占用一个块的块大小的参数：dfs.blocksize官方默认的大小为128M官网：https://hadoop.apache.org/docs/r3.
  • hadoop启动HDFS命令 m0_67401228 java搜索引擎linux后端
    启动命令：/hadoop/sbin/start-dfs.sh停止命令：/hadoop/sbin/stop-dfs.sh
  • 【计算机毕设-大数据方向】基于Hadoop的电商交易数据分析可视化系统的设计与实现 程序员-石头山 大数据实战案例大数据hadoop毕业设计毕设
    博主介绍：✌全平台粉丝5W+,高级大厂开发程序员，博客之星、掘金/知乎/华为云/阿里云等平台优质作者。【源码获取】关注并且私信我【联系方式】最下边感兴趣的可以先收藏起来，同学门有不懂的毕设选题，项目以及论文编写等相关问题都可以和学长沟通，希望帮助更多同学解决问题前言随着电子商务行业的迅猛发展，电商平台积累了海量的数据资源，这些数据不仅包括用户的基本信息、购物记录，还包括用户的浏览行为、评价反馈等多
  • 分布式离线计算—Spark—基础介绍 测试开发abbey 人工智能—大数据
    原文作者：饥渴的小苹果原文地址：【Spark】Spark基础教程目录Spark特点Spark相对于Hadoop的优势Spark生态系统Spark基本概念Spark结构设计Spark各种概念之间的关系Executor的优点Spark运行基本流程Spark运行架构的特点Spark的部署模式Spark三种部署方式Hadoop和Spark的统一部署摘要：Spark是基于内存计算的大数据并行计算框架Spar
  • spark常用命令 我是浣熊的微笑 spark
    查看报错日志：yarnlogsapplicationIDspark2-submit--masteryarn--classcom.hik.ReadHdfstest-1.0-SNAPSHOT.jar进入$SPARK_HOME目录，输入bin/spark-submit--help可以得到该命令的使用帮助。hadoop@wyy:/app/hadoop/spark100$bin/spark-submit--
  • spark启动命令 学不会又听不懂 spark大数据分布式
    hadoop启动：cd/root/toolssstart-dfs.sh，只需在hadoop01上启动stop-dfs.sh日志查看：cat/root/toolss/hadoop/logs/hadoop-root-datanode-hadoop03.outzookeeper启动：cd/root/toolss/zookeeperbin/zkServer.shstart，三台都要启动bin/zkServ
  • 编程常用命令总结 Yellow0523 LinuxBigData大数据
    编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令kafka命令Hibench命令MySQL命令3.Linux常用命令Git命令conda命令pip命令查看Linux系统的详细信息查看Linux系统架构(X86还是ARM，两种方法都可)端口号命令L
  • Hadoop常见面试题整理及解答 叶青舟 Linuxhdfs大数据hadooplinux
    Hadoop常见面试题整理及解答一、基础知识篇：1.把数据仓库从传统关系型数据库转到hadoop有什么优势？答：（1）关系型数据库成本高，且存储空间有限。而Hadoop使用较为廉价的机器存储数据，且Hadoop可以将大量机器构建成一个集群，并在集群中使用HDFS文件系统统一管理数据，极大的提高了数据的存储及处理能力。（2）关系型数据库仅支持标准结构化数据格式，Hadoop不仅支持标准结构化数据格式
  • 2025毕业设计指南：如何用Hadoop构建超市进货推荐系统？大数据分析助力精准采购 计算机编程指导师 Java实战集Python实战集大数据实战集课程设计hadoop数据分析springbootjava进货python
    ✍✍计算机编程指导师⭐⭐个人介绍：自己非常喜欢研究技术问题！专业做Java、Python、小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！⚡⚡Java实战|SpringBoot/SSMPython实战项目|Django微信小程序/安卓实战项目大数据实战项目⚡⚡文末获取源码文章目录⚡⚡文末获取源码基于hadoop的超市进货推荐系
  • Hadoop Common 之序列化机制小解 猫君之上 #ApacheHadoop
    1.JavaSerializable序列化该序列化通过ObjectInputStream的readObject实现序列化，ObjectOutputStream的writeObject实现反序列化。这不过此种序列化虽然跨病态兼容性强，但是因为存储过多的信息，但是传输效率比较低，所以hadoop弃用它。（序列化信息包括这个对象的类，类签名，类的所有静态，费静态成员的值，以及他们父类都要被写入）publ
  • 深入理解hadoop(一)----Common的实现----Configuration maoxiao_jsd 深入理解----hadoop
    属本人个人原创，转载请注明,希望对大家有帮助！！一,hadoop的配置管理a,hadoop通过独有的Configuration处理配置信息Configurationconf=newConfiguration();conf.addResource("core-default.xml");conf.addResource("core-site.xml");后者会覆盖前者中未final标记的相同配置项b
  • hadoop 0.22.0 部署笔记 weixin_33701564 大数据java运维
    为什么80%的码农都做不了架构师？>>>因为需要使用hbase，所以开始对hbase进行学习。hbase是部署在hadoop平台上的NOSql数据库，因此在部署hbase之前需要先部署hadoop。环境：redhat5、hadoop-0.22.0.tar.gz、jdk-6u13-linux-i586.zipip192.168.1.128hostname：localhost.localdomain（
  • 解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(4) 2401_84160087 大数据面试学习
    网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！org.apache.hadoophadoop-com
  • 解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(3) 2401_84160087 大数据面试学习
    网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！xmlns:xsi="http://www.w3.or
  • 深入解析HDFS：定义、架构、原理、应用场景及常用命令 CloudJourney hdfs架构hadoop
    引言Hadoop分布式文件系统（HDFS，HadoopDistributedFileSystem）是Hadoop框架的核心组件之一，它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。本文将从HDFS的定义、架构、工作原理、应用场景以及常用命令等多个方面进行详细探讨，帮助读者全面深入地了解HDFS。1.HDFS的定义1.1什么是HDFSHDFS是Hadoop生态系统中的一个分布式文件系
  • Hadoop的搭建流程 lzhlizihang hadoop大数据分布式
    文章目录一、配置IP二、配置主机名三、配置主机映射四、关闭防火墙五、配置免密六、安装jdk1、第一步：2、第二步：3、第三步：4、第四步：5、第五步：七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量5、刷新配置文件6、验证hadoop命令是否可以识别八、全分布搭建7、修改配置文件core-site.xml8、修改配置文件hdfs-site.xml9、修改配置文件hadoop-en
  • hive搭建 -----内嵌模式和本地模式 lzhlizihang hivehadoop
    文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹7、修改hive-site.xml中的非法字符8、初始化元数据9、测试是否成功10、内嵌模式的缺点二、本地模式（最常用）1、检查mysql是否正常2、上传、解压、重命名3、配置环境变量4、修改c
  • Hadoop之mapreduce -- WrodCount案例以及各种概念 lzhlizihang hadoopmapreduce大数据
    文章目录一、MapReduce的优缺点二、MapReduce案例--WordCount1、导包2、Mapper方法3、Partitioner方法（自定义分区器）4、reducer方法5、driver（main方法）6、Writable（手机流量统计案例的实体类）三、关于片和块1、什么是片，什么是块？2、mapreduce启动多少个MapTask任务？四、MapReduce的原理五、Shuffle过
  • IAAS: IT公司去IOE-Alibaba系统构架解读 wishchin 心理学/职业BigDataMiniSparkPaaS
    从Hadoop到自主研发，技术解读阿里去IOE后的系统架构原地址：......................云计算阿里飞天摘要：从IOE时代，到Hadoop与飞天并行，再到飞天单集群5000节点的实现，阿里一直摸索在技术衍变的前沿。这里，我们将从架构、性能、运维等多个方面深入了解阿里基础设施。【导读】互联网的普及，智能终端的增加，大数据时代悄然而至。在这个数据为王的时代，数十倍、数百倍的数据给各
  • LeetCode[位运算] - #137 Single Number II Cwind javaAlgorithmLeetCode题解位运算
    原题链接：#137 Single Number II  要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现三次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间   难度：中等   分析： 与#136类似，都是考察位运算。不过出现两次的可以使用异或运算的特性 n XOR n = 0, n XOR 0 = n，即某一
  • 《JavaScript语言精粹》笔记 aijuans JavaScript
    0、JavaScript的简单数据类型包括数字、字符创、布尔值（true/false）、null和undefined值，其它值都是对象。 1、JavaScript只有一个数字类型，它在内部被表示为64位的浮点数。没有分离出整数，所以1和1.0的值相同。 2、NaN是一个数值，表示一个不能产生正常结果的运算结果。NaN不等于任何值，包括它本身。可以用函数isNaN(number)检测NaN,但是
  • 你应该更新的Java知识之常用程序库 Kai_Ge java
    在很多人眼中，Java 已经是一门垂垂老矣的语言，但并不妨碍 Java 世界依然在前进。如果你曾离开 Java，云游于其它世界，或是每日只在遗留代码中挣扎，或许是时候抬起头，看看老 Java 中的新东西。 Guava Guava[gwɑ:və]，一句话，只要你做Java项目，就应该用Guava（Github）。 guava 是 Google 出品的一套 Java 核心库，在我看来，它甚至应该
  • HttpClient 120153216 httpclient
    /** * 可以传对象的请求转发，对象已流形式放入HTTP中 */ public static Object doPost(Map<String,Object> parmMap,String url) { Object object = null; HttpClient hc = new HttpClient(); String fullURL
  • Django model字段类型清单 2002wmj django
    Django 通过 models 实现数据库的创建、修改、删除等操作，本文为模型中一般常用的类型的清单，便于查询和使用： AutoField：一个自动递增的整型字段，添加记录时它会自动增长。你通常不需要直接使用这个字段；如果你不指定主键的话，系统会自动添加一个主键字段到你的model。(参阅自动主键字段) BooleanField：布尔字段,管理工具里会自动将其描述为checkbox。 Cha
  • 在SQLSERVER中查找消耗CPU最多的SQL 357029540 SQL Server
    返回消耗CPU数目最多的10条语句 SELECT TOP 10    total_worker_time/execution_count AS avg_cpu_cost, plan_handle,    execution_count,    (SELECT SUBSTRING(text, statement_start_of
  • Myeclipse项目无法部署，Undefined exploded archive location 7454103 eclipseMyEclipse
    做个备忘！ 错误信息为：       Undefined exploded archive location 原因：           在工程转移过程中，导致工程的配置文件出错； 解决方法：    
  • GMT时间格式转换 adminjun GMT时间转换
    普通的时间转换问题我这里就不再罗嗦了，我想大家应该都会那种低级的转换问题吧，现在我向大家总结一下如何转换GMT时间格式，这种格式的转换方法网上还不是很多，所以有必要总结一下，也算给有需要的朋友一个小小的帮助啦。 1、可以使用 SimpleDateFormat SimpleDateFormat    EEE-三位星期 d-天 MMM-月 yyyy-四位年
  • Oracle数据库新装连接串问题 aijuans oracle数据库
    割接新装了数据库，客户端登陆无问题，apache/cgi-bin程序有问题，sqlnet.log日志如下： Fatal NI connect error 12170.   VERSION INFORMATION:         TNS for Linux: Version 10.2.0.4.0 - Product
  • 回顾java数组复制 ayaoxinchao java数组
    在写这篇文章之前，也看了一些别人写的，基本上都是大同小异。文章是对java数组复制基础知识的回顾，算是作为学习笔记，供以后自己翻阅。首先，简单想一下这个问题：为什么要复制数组？我的个人理解：在我们在利用一个数组时，在每一次使用，我们都希望它的值是初始值。这时我们就要对数组进行复制，以达到原始数组值的安全性。java数组复制大致分为3种方式：①for循环方式 ②clone方式 ③arrayCopy方
  • java web会话监听并使用spring注入 bewithme Java Web
            在java web应用中，当你想在建立会话或移除会话时，让系统做某些事情，比如说，统计在线用户，每当有用户登录时，或退出时，那么可以用下面这个监听器来监听。        import java.util.ArrayList; import java.ut
  • NoSQL数据库之Redis数据库管理(Redis的常用命令及高级应用) bijian1013 redis数据库NoSQL
    一 .Redis常用命令         Redis提供了丰富的命令对数据库和各种数据库类型进行操作，这些命令可以在Linux终端使用。         a.键值相关命令         b.服务器相关命令 1.键值相关命令       &
  • java枚举序列化问题 bingyingao java枚举序列化
    对象在网络中传输离不开序列化和反序列化。而如果序列化的对象中有枚举值就要特别注意一些发布兼容问题: 1.加一个枚举值 新机器代码读分布式缓存中老对象，没有问题，不会抛异常。 老机器代码读分布式缓存中新对像，反序列化会中断，所以在所有机器发布完成之前要避免出现新对象，或者提前让老机器拥有新增枚举的jar。 2.删一个枚举值 新机器代码读分布式缓存中老对象，反序列
  • 【Spark七十八】Spark Kyro序列化 bit1129 spark
    当使用SparkContext的saveAsObjectFile方法将对象序列化到文件，以及通过objectFile方法将对象从文件反序列出来的时候，Spark默认使用Java的序列化以及反序列化机制，通常情况下，这种序列化机制是很低效的，Spark支持使用Kyro作为对象的序列化和反序列化机制，序列化的速度比java更快，但是使用Kyro时要注意，Kyro目前还是有些bug。 Spark
  • Hybridizing OO and Functional Design bookjovi erlanghaskell
      推荐博文： Tell Above, and Ask Below - Hybridizing OO and Functional Design 文章中把OO和FP讲的深入透彻，里面把smalltalk和haskell作为典型的两种编程范式代表语言，此点本人极为同意，smalltalk可以说是最能体现OO设计的面向对象语言，smalltalk的作者Alan kay也是OO的最早先驱，
  • Java-Collections Framework学习与总结-HashMap BrokenDreams Collections
            开发中常常会用到这样一种数据结构，根据一个关键字，找到所需的信息。这个过程有点像查字典，拿到一个key，去字典表中查找对应的value。Java1.0版本提供了这样的类java.util.Dictionary(抽象类)，基本上支持字典表的操作。后来引入了Map接口，更好的描述的这种数据结构。  &nb
  • 读《研磨设计模式》-代码笔记-职责链模式-Chain Of Responsibility bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /** * 业务逻辑：项目经理只能处理500以下的费用申请，部门经理是1000，总经理不设限。简单起见，只同意“Tom”的申请 * bylijinnan */ abstract class Handler { /*
  • Android中启动外部程序 cherishLC android
    1、启动外部程序 引用自： http://blog.csdn.net/linxcool/article/details/7692374 //方法一 Intent intent=new Intent(); //包名 包名+类名（全路径） intent.setClassName("com.linxcool", "com.linxcool.PlaneActi
  • summary_keep_rate coollyj SUM
    BEGIN /*DECLARE minDate varchar(20) ; DECLARE maxDate varchar(20) ;*/ DECLARE stkDate varchar(20) ; DECLARE done int default -1; /* 游标中 注册服务器地址 */ DE
  • hadoop hdfs 添加数据目录出错 daizj hadoophdfs扩容
    由于原来配置的hadoop data目录快要用满了，故准备修改配置文件增加数据目录，以便扩容，但由于疏忽，把core-site.xml, hdfs-site.xml配置文件dfs.datanode.data.dir 配置项增加了配置目录，但未创建实际目录，重启datanode服务时，报如下错误： 2014-11-18 08:51:39,128 WARN org.apache.hadoop.h
  • grep 目录级联查找 dongwei_6688 grep
           在Mac或者Linux下使用grep进行文件内容查找时，如果给定的目标搜索路径是当前目录，那么它默认只搜索当前目录下的文件，而不会搜索其下面子目录中的文件内容，如果想级联搜索下级目录，需要使用一个“-r”参数： grep -n -r "GET" .   上面的命令将会找出当前目录“.”及当前目录中所有下级目录
  • yii 修改模块使用的布局文件 dcj3sjt126com yiilayouts
    方法一：yii模块默认使用系统当前的主题布局文件，如果在主配置文件中配置了主题比如: 'theme'=>'mythm', 那么yii的模块就使用 protected/themes/mythm/views/layouts 下的布局文件； 如果未配置主题，那么 yii的模块就使用  protected/views/layouts 下的布局文件， 总之默认不是使用自身目录 pr
  • 设计模式之单例模式 come_for_dream 设计模式单例模式懒汉式饿汉式双重检验锁失败无序写入
                    今天该来的面试还没来，这个店估计不会来电话了，安静下来写写博客也不错，没事翻了翻小易哥的博客甚至与大牛们之间的差距，基础知识不扎实建起来的楼再高也只能是危楼罢了，陈下心回归基础把以前学过的东西总结一下。   *********************************
  • 8、数组 豆豆咖啡 二维数组数组一维数组
      一、概念       数组是同一种类型数据的集合。其实数组就是一个容器。   二、好处       可以自动给数组中的元素从0开始编号，方便操作这些元素   三、格式   //一维数组 1,元素类型[] 变量名 = new 元素类型[元素的个数] int[] arr =
  • Decode Ways hcx2013 decode
    A message containing letters from A-Z is being encoded to numbers using the following mapping: 'A' -> 1 'B' -> 2 ... 'Z' -> 26 Given an encoded message containing digits, det
  • Spring4.1新特性——异步调度和事件机制的异常处理 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • squid3(高命中率)缓存服务器配置 liyonghui160com
        系统:centos 5.x   需要的软件:squid-3.0.STABLE25.tar.gz 1.下载squid wget http://www.squid-cache.org/Versions/v3/3.0/squid-3.0.STABLE25.tar.gz tar zxf squid-3.0.STABLE25.tar.gz &&
  • 避免Java应用中NullPointerException的技巧和最佳实践 pda158 java
    1) 从已知的String对象中调用equals()和equalsIgnoreCase()方法，而非未知对象。 　　总是从已知的非空String对象中调用equals()方法。因为equals()方法是对称的，调用a.equals(b)和调用b.equals(a)是完全相同的，这也是为什么程序员对于对象a和b这么不上心。如果调用者是空指针，这种调用可能导致一个空指针异常 Object unk
  • 如何在Swift语言中创建http请求 shoothao httpswift
    概述：本文通过实例从同步和异步两种方式上回答了”如何在Swift语言中创建http请求“的问题。 如果你对Objective-C比较了解的话，对于如何创建http请求你一定驾轻就熟了，而新语言Swift与其相比只有语法上的区别。但是，对才接触到这个崭新平台的初学者来说，他们仍然想知道“如何在Swift语言中创建http请求？”。 在这里,我将作出一些建议来回答上述问题。常见的
  • Spring事务的传播方式 uule spring事务
    传播方式：        新建事务       required       required_new   - 挂起当前         非事务方式运行       supports   &nbs
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他