nomad2

《Hadoop The Definitive Guide》ch08 MapReduce Features

1. 计数器

1) 内置计数器

2) 用户自定义Java计数器

[ate: /local/nomad2/hadoop/tomwhite-hadoop-book-32dae01 ]
>> hadoop jar ch08.jar MaxTemperatureWithCounters input/ncdc/all max-temp
12/07/03 19:53:21 INFO mapred.FileInputFormat: Total input paths to process : 2
12/07/03 19:53:21 INFO mapred.JobClient: Running job: job_201207030133_0002
12/07/03 19:53:22 INFO mapred.JobClient:  map 0% reduce 0%
12/07/03 19:53:37 INFO mapred.JobClient:  map 100% reduce 0%
12/07/03 19:53:49 INFO mapred.JobClient:  map 100% reduce 100%
12/07/03 19:53:54 INFO mapred.JobClient: Job complete: job_201207030133_0002
12/07/03 19:53:54 INFO mapred.JobClient: Counters: 29
12/07/03 19:53:54 INFO mapred.JobClient:   Job Counters 
12/07/03 19:53:54 INFO mapred.JobClient:     Launched reduce tasks=1
12/07/03 19:53:54 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=16305
12/07/03 19:53:54 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/07/03 19:53:54 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/07/03 19:53:54 INFO mapred.JobClient:     Launched map tasks=2
12/07/03 19:53:54 INFO mapred.JobClient:     Data-local map tasks=2
12/07/03 19:53:54 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=10068
12/07/03 19:53:54 INFO mapred.JobClient:   File Input Format Counters 
12/07/03 19:53:54 INFO mapred.JobClient:     Bytes Read=147972
12/07/03 19:53:54 INFO mapred.JobClient:   File Output Format Counters 
12/07/03 19:53:54 INFO mapred.JobClient:     Bytes Written=18
12/07/03 19:53:54 INFO mapred.JobClient:   FileSystemCounters
12/07/03 19:53:54 INFO mapred.JobClient:     FILE_BYTES_READ=28
12/07/03 19:53:54 INFO mapred.JobClient:     HDFS_BYTES_READ=148184
12/07/03 19:53:54 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=62992
12/07/03 19:53:54 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=18
12/07/03 19:53:54 INFO mapred.JobClient:   TemperatureQuality
12/07/03 19:53:54 INFO mapred.JobClient:     1=13129
12/07/03 19:53:54 INFO mapred.JobClient:     9=1
12/07/03 19:53:54 INFO mapred.JobClient:   Air Temperature Records
12/07/03 19:53:54 INFO mapred.JobClient:     Missing=1
12/07/03 19:53:54 INFO mapred.JobClient:   Map-Reduce Framework
12/07/03 19:53:54 INFO mapred.JobClient:     Map output materialized bytes=34
12/07/03 19:53:54 INFO mapred.JobClient:     Map input records=13130
12/07/03 19:53:54 INFO mapred.JobClient:     Reduce shuffle bytes=34
12/07/03 19:53:54 INFO mapred.JobClient:     Spilled Records=4
12/07/03 19:53:54 INFO mapred.JobClient:     Map output bytes=118161
12/07/03 19:53:54 INFO mapred.JobClient:     Map input bytes=1777168
12/07/03 19:53:54 INFO mapred.JobClient:     Combine input records=13129
12/07/03 19:53:54 INFO mapred.JobClient:     SPLIT_RAW_BYTES=212
12/07/03 19:53:54 INFO mapred.JobClient:     Reduce input records=2
12/07/03 19:53:54 INFO mapred.JobClient:     Reduce input groups=2
12/07/03 19:53:54 INFO mapred.JobClient:     Combine output records=2
12/07/03 19:53:54 INFO mapred.JobClient:     Reduce output records=2
12/07/03 19:53:54 INFO mapred.JobClient:     Map output records=13129

[ate: /local/nomad2/hadoop/tomwhite-hadoop-book-32dae01 ]
>> hadoop jar ch08.jar MissingTemperatureFields job_201207030133_0002
Records with missing temperature fields: 0.01%

2. 排序

对数据进行排序是MapReduce的核心。

[ate: /local/nomad2/hadoop/tomwhite-hadoop-book-32dae01 ]
>> hadoop jar ch08.jar SortDataPreprocessor input/ncdc/all input/ncdc/all-seq
12/07/03 20:55:15 INFO mapred.FileInputFormat: Total input paths to process : 2
12/07/03 20:55:16 INFO mapred.JobClient: Running job: job_201207030133_0003
12/07/03 20:55:17 INFO mapred.JobClient:  map 0% reduce 0%
12/07/03 20:55:30 INFO mapred.JobClient:  map 100% reduce 0%
12/07/03 20:55:35 INFO mapred.JobClient: Job complete: job_201207030133_0003
12/07/03 20:55:35 INFO mapred.JobClient: Counters: 16
12/07/03 20:55:35 INFO mapred.JobClient:   Job Counters 
12/07/03 20:55:35 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=16560
12/07/03 20:55:35 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/07/03 20:55:35 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/07/03 20:55:35 INFO mapred.JobClient:     Launched map tasks=2
12/07/03 20:55:35 INFO mapred.JobClient:     Data-local map tasks=2
12/07/03 20:55:35 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0
12/07/03 20:55:35 INFO mapred.JobClient:   File Input Format Counters 
12/07/03 20:55:35 INFO mapred.JobClient:     Bytes Read=147972
12/07/03 20:55:35 INFO mapred.JobClient:   File Output Format Counters 
12/07/03 20:55:35 INFO mapred.JobClient:     Bytes Written=163409
12/07/03 20:55:35 INFO mapred.JobClient:   FileSystemCounters
12/07/03 20:55:35 INFO mapred.JobClient:     HDFS_BYTES_READ=148184
12/07/03 20:55:35 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=41754
12/07/03 20:55:35 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=163409
12/07/03 20:55:35 INFO mapred.JobClient:   Map-Reduce Framework
12/07/03 20:55:35 INFO mapred.JobClient:     Map input records=13130
12/07/03 20:55:35 INFO mapred.JobClient:     Spilled Records=0
12/07/03 20:55:35 INFO mapred.JobClient:     Map input bytes=1777168
12/07/03 20:55:35 INFO mapred.JobClient:     Map output records=13129
12/07/03 20:55:35 INFO mapred.JobClient:     SPLIT_RAW_BYTES=212

部分排序

[ate: /local/nomad2/hadoop/tomwhite-hadoop-book-32dae01 ]
>> hadoop jar ch08.jar SortByTemperatureUsingHashPartitioner -D mapred.reduce.tasks=30 input/ncdc/all-seq output-hashsort                                        <
12/07/03 22:28:32 INFO mapred.FileInputFormat: Total input paths to process : 2
12/07/03 22:28:33 INFO mapred.JobClient: Running job: job_201207030133_0004
12/07/03 22:28:34 INFO mapred.JobClient:  map 0% reduce 0%
12/07/03 22:28:47 INFO mapred.JobClient:  map 100% reduce 0%
12/07/03 22:28:59 INFO mapred.JobClient:  map 100% reduce 3%
12/07/03 22:29:02 INFO mapred.JobClient:  map 100% reduce 6%
12/07/03 22:29:08 INFO mapred.JobClient:  map 100% reduce 10%
12/07/03 22:29:11 INFO mapred.JobClient:  map 100% reduce 13%
12/07/03 22:29:23 INFO mapred.JobClient:  map 100% reduce 20%
12/07/03 22:29:32 INFO mapred.JobClient:  map 100% reduce 23%
12/07/03 22:29:38 INFO mapred.JobClient:  map 100% reduce 26%
12/07/03 22:29:41 INFO mapred.JobClient:  map 100% reduce 30%
12/07/03 22:29:47 INFO mapred.JobClient:  map 100% reduce 33%
12/07/03 22:29:56 INFO mapred.JobClient:  map 100% reduce 36%
12/07/03 22:30:02 INFO mapred.JobClient:  map 100% reduce 40%
12/07/03 22:30:05 INFO mapred.JobClient:  map 100% reduce 43%
12/07/03 22:30:11 INFO mapred.JobClient:  map 100% reduce 46%
12/07/03 22:30:14 INFO mapred.JobClient:  map 100% reduce 50%
12/07/03 22:30:23 INFO mapred.JobClient:  map 100% reduce 53%
12/07/03 22:30:29 INFO mapred.JobClient:  map 100% reduce 56%
12/07/03 22:30:35 INFO mapred.JobClient:  map 100% reduce 60%
12/07/03 22:30:38 INFO mapred.JobClient:  map 100% reduce 63%
12/07/03 22:30:44 INFO mapred.JobClient:  map 100% reduce 66%
12/07/03 22:30:47 INFO mapred.JobClient:  map 100% reduce 70%
12/07/03 22:30:59 INFO mapred.JobClient:  map 100% reduce 73%
12/07/03 22:31:02 INFO mapred.JobClient:  map 100% reduce 76%
12/07/03 22:31:08 INFO mapred.JobClient:  map 100% reduce 80%
12/07/03 22:31:11 INFO mapred.JobClient:  map 100% reduce 83%
12/07/03 22:31:17 INFO mapred.JobClient:  map 100% reduce 87%
12/07/03 22:31:23 INFO mapred.JobClient:  map 100% reduce 90%
12/07/03 22:31:32 INFO mapred.JobClient:  map 100% reduce 93%
12/07/03 22:31:35 INFO mapred.JobClient:  map 100% reduce 96%
12/07/03 22:31:41 INFO mapred.JobClient:  map 100% reduce 100%
12/07/03 22:31:46 INFO mapred.JobClient: Job complete: job_201207030133_0004
12/07/03 22:31:46 INFO mapred.JobClient: Counters: 26
12/07/03 22:31:46 INFO mapred.JobClient:   Job Counters 
12/07/03 22:31:46 INFO mapred.JobClient:     Launched reduce tasks=30
12/07/03 22:31:46 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=16282
12/07/03 22:31:46 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/07/03 22:31:46 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/07/03 22:31:46 INFO mapred.JobClient:     Launched map tasks=2
12/07/03 22:31:46 INFO mapred.JobClient:     Data-local map tasks=2
12/07/03 22:31:46 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=335658
12/07/03 22:31:46 INFO mapred.JobClient:   File Input Format Counters 
12/07/03 22:31:46 INFO mapred.JobClient:     Bytes Read=163409
12/07/03 22:31:46 INFO mapred.JobClient:   File Output Format Counters 
12/07/03 22:31:46 INFO mapred.JobClient:     Bytes Written=180399
12/07/03 22:31:46 INFO mapred.JobClient:   FileSystemCounters
12/07/03 22:31:46 INFO mapred.JobClient:     FILE_BYTES_READ=1882171
12/07/03 22:31:46 INFO mapred.JobClient:     HDFS_BYTES_READ=163635
12/07/03 22:31:46 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=4431596
12/07/03 22:31:46 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=180399
12/07/03 22:31:46 INFO mapred.JobClient:   Map-Reduce Framework
12/07/03 22:31:46 INFO mapred.JobClient:     Map output materialized bytes=1882351
12/07/03 22:31:46 INFO mapred.JobClient:     Map input records=13129
12/07/03 22:31:46 INFO mapred.JobClient:     Reduce shuffle bytes=1278651
12/07/03 22:31:46 INFO mapred.JobClient:     Spilled Records=26258
12/07/03 22:31:46 INFO mapred.JobClient:     Map output bytes=1842641
12/07/03 22:31:46 INFO mapred.JobClient:     Map input bytes=163159
12/07/03 22:31:46 INFO mapred.JobClient:     Combine input records=0
12/07/03 22:31:46 INFO mapred.JobClient:     SPLIT_RAW_BYTES=226
12/07/03 22:31:46 INFO mapred.JobClient:     Reduce input records=13129
12/07/03 22:31:46 INFO mapred.JobClient:     Reduce input groups=116
12/07/03 22:31:46 INFO mapred.JobClient:     Combine output records=0
12/07/03 22:31:46 INFO mapred.JobClient:     Reduce output records=13129
12/07/03 22:31:46 INFO mapred.JobClient:     Map output records=13129

已划分的MapFile文件查找

[ate: /local/nomad2/hadoop/tomwhite-hadoop-book-32dae01 ]
>> hadoop jar ch08.jar SortByTemperatureToMapFile -D mapred.reduce.tasks=30 input/ncdc/all-seq output-hashmapso>
12/07/03 22:35:53 INFO mapred.FileInputFormat: Total input paths to process : 2
12/07/03 22:35:53 INFO mapred.JobClient: Running job: job_201207030133_0005
12/07/03 22:35:54 INFO mapred.JobClient:  map 0% reduce 0%
12/07/03 22:36:08 INFO mapred.JobClient:  map 100% reduce 0%
12/07/03 22:36:20 INFO mapred.JobClient:  map 100% reduce 3%
12/07/03 22:36:23 INFO mapred.JobClient:  map 100% reduce 6%
12/07/03 22:36:29 INFO mapred.JobClient:  map 100% reduce 10%
12/07/03 22:36:32 INFO mapred.JobClient:  map 100% reduce 13%
12/07/03 22:36:44 INFO mapred.JobClient:  map 100% reduce 20%
12/07/03 22:36:53 INFO mapred.JobClient:  map 100% reduce 23%
12/07/03 22:36:56 INFO mapred.JobClient:  map 100% reduce 26%
12/07/03 22:37:02 INFO mapred.JobClient:  map 100% reduce 30%
12/07/03 22:37:05 INFO mapred.JobClient:  map 100% reduce 33%
12/07/03 22:37:17 INFO mapred.JobClient:  map 100% reduce 40%
12/07/03 22:37:26 INFO mapred.JobClient:  map 100% reduce 43%
12/07/03 22:37:29 INFO mapred.JobClient:  map 100% reduce 46%
12/07/03 22:37:35 INFO mapred.JobClient:  map 100% reduce 50%
12/07/03 22:37:38 INFO mapred.JobClient:  map 100% reduce 53%
12/07/03 22:37:51 INFO mapred.JobClient:  map 100% reduce 60%
12/07/03 22:38:00 INFO mapred.JobClient:  map 100% reduce 63%
12/07/03 22:38:03 INFO mapred.JobClient:  map 100% reduce 66%
12/07/03 22:38:09 INFO mapred.JobClient:  map 100% reduce 70%
12/07/03 22:38:12 INFO mapred.JobClient:  map 100% reduce 73%
12/07/03 22:38:18 INFO mapred.JobClient:  map 100% reduce 74%
12/07/03 22:38:21 INFO mapred.JobClient:  map 100% reduce 77%
12/07/03 22:38:24 INFO mapred.JobClient:  map 100% reduce 80%
12/07/03 22:38:33 INFO mapred.JobClient:  map 100% reduce 83%
12/07/03 22:38:36 INFO mapred.JobClient:  map 100% reduce 86%
12/07/03 22:38:42 INFO mapred.JobClient:  map 100% reduce 90%
12/07/03 22:38:45 INFO mapred.JobClient:  map 100% reduce 93%
12/07/03 22:38:57 INFO mapred.JobClient:  map 100% reduce 100%
12/07/03 22:39:02 INFO mapred.JobClient: Job complete: job_201207030133_0005
12/07/03 22:39:02 INFO mapred.JobClient: Counters: 26
12/07/03 22:39:02 INFO mapred.JobClient:   Job Counters 
12/07/03 22:39:02 INFO mapred.JobClient:     Launched reduce tasks=30
12/07/03 22:39:02 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=16299
12/07/03 22:39:02 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/07/03 22:39:02 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/07/03 22:39:02 INFO mapred.JobClient:     Launched map tasks=2
12/07/03 22:39:02 INFO mapred.JobClient:     Data-local map tasks=2
12/07/03 22:39:02 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=330354
12/07/03 22:39:02 INFO mapred.JobClient:   File Input Format Counters 
12/07/03 22:39:02 INFO mapred.JobClient:     Bytes Read=163409
12/07/03 22:39:02 INFO mapred.JobClient:   File Output Format Counters 
12/07/03 22:39:02 INFO mapred.JobClient:     Bytes Written=186935
12/07/03 22:39:02 INFO mapred.JobClient:   FileSystemCounters
12/07/03 22:39:02 INFO mapred.JobClient:     FILE_BYTES_READ=1882171
12/07/03 22:39:02 INFO mapred.JobClient:     HDFS_BYTES_READ=163635
12/07/03 22:39:02 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=4431532
12/07/03 22:39:02 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=186935
12/07/03 22:39:02 INFO mapred.JobClient:   Map-Reduce Framework
12/07/03 22:39:02 INFO mapred.JobClient:     Map output materialized bytes=1882351
12/07/03 22:39:02 INFO mapred.JobClient:     Map input records=13129
12/07/03 22:39:02 INFO mapred.JobClient:     Reduce shuffle bytes=1054827
12/07/03 22:39:02 INFO mapred.JobClient:     Spilled Records=26258
12/07/03 22:39:02 INFO mapred.JobClient:     Map output bytes=1842641
12/07/03 22:39:02 INFO mapred.JobClient:     Map input bytes=163159
12/07/03 22:39:02 INFO mapred.JobClient:     Combine input records=0
12/07/03 22:39:02 INFO mapred.JobClient:     SPLIT_RAW_BYTES=226
12/07/03 22:39:02 INFO mapred.JobClient:     Reduce input records=13129
12/07/03 22:39:02 INFO mapred.JobClient:     Reduce input groups=116
12/07/03 22:39:02 INFO mapred.JobClient:     Combine output records=0
12/07/03 22:39:02 INFO mapred.JobClient:     Reduce output records=13129
12/07/03 22:39:02 INFO mapred.JobClient:     Map output records=13129

全局排序

>> hadoop jar ch08.jar SortByTemperatureUsingTotalOrderPartitioner -D mapred.reduce.tasks=30 input/ncdc/all-seq output-totalsort                                     <
12/07/03 23:35:45 INFO mapred.FileInputFormat: Total input paths to process : 2
12/07/03 23:35:45 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/07/03 23:35:45 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
12/07/03 23:35:45 INFO compress.CodecPool: Got brand-new decompressor
12/07/03 23:35:45 INFO compress.CodecPool: Got brand-new decompressor
12/07/03 23:35:45 INFO compress.CodecPool: Got brand-new decompressor
12/07/03 23:35:45 INFO compress.CodecPool: Got brand-new decompressor
12/07/03 23:35:45 INFO lib.InputSampler: Using 1339 samples
12/07/03 23:35:45 INFO compress.CodecPool: Got brand-new compressor
12/07/03 23:35:45 INFO mapred.FileInputFormat: Total input paths to process : 2
12/07/03 23:35:45 INFO mapred.JobClient: Running job: job_201207030133_0006
12/07/03 23:35:46 INFO mapred.JobClient:  map 0% reduce 0%
12/07/03 23:36:01 INFO mapred.JobClient:  map 100% reduce 0%
12/07/03 23:36:13 INFO mapred.JobClient:  map 100% reduce 3%
12/07/03 23:36:16 INFO mapred.JobClient:  map 100% reduce 6%
12/07/03 23:36:25 INFO mapred.JobClient:  map 100% reduce 10%
12/07/03 23:36:28 INFO mapred.JobClient:  map 100% reduce 13%
12/07/03 23:36:37 INFO mapred.JobClient:  map 100% reduce 20%
12/07/03 23:36:49 INFO mapred.JobClient:  map 100% reduce 26%
12/07/03 23:36:58 INFO mapred.JobClient:  map 100% reduce 30%
12/07/03 23:37:01 INFO mapred.JobClient:  map 100% reduce 33%
12/07/03 23:37:10 INFO mapred.JobClient:  map 100% reduce 36%
12/07/03 23:37:16 INFO mapred.JobClient:  map 100% reduce 40%
12/07/03 23:37:19 INFO mapred.JobClient:  map 100% reduce 43%
12/07/03 23:37:25 INFO mapred.JobClient:  map 100% reduce 46%
12/07/03 23:37:31 INFO mapred.JobClient:  map 100% reduce 50%
12/07/03 23:37:40 INFO mapred.JobClient:  map 100% reduce 56%
12/07/03 23:37:49 INFO mapred.JobClient:  map 100% reduce 60%
12/07/03 23:37:52 INFO mapred.JobClient:  map 100% reduce 63%
12/07/03 23:38:01 INFO mapred.JobClient:  map 100% reduce 66%
12/07/03 23:38:04 INFO mapred.JobClient:  map 100% reduce 70%
12/07/03 23:38:13 INFO mapred.JobClient:  map 100% reduce 76%
12/07/03 23:38:22 INFO mapred.JobClient:  map 100% reduce 80%
12/07/03 23:38:25 INFO mapred.JobClient:  map 100% reduce 83%
12/07/03 23:38:34 INFO mapred.JobClient:  map 100% reduce 87%
12/07/03 23:38:37 INFO mapred.JobClient:  map 100% reduce 90%
12/07/03 23:38:40 INFO mapred.JobClient:  map 100% reduce 91%
12/07/03 23:38:46 INFO mapred.JobClient:  map 100% reduce 93%
12/07/03 23:38:49 INFO mapred.JobClient:  map 100% reduce 96%
12/07/03 23:38:58 INFO mapred.JobClient:  map 100% reduce 100%
12/07/03 23:39:03 INFO mapred.JobClient: Job complete: job_201207030133_0006
12/07/03 23:39:03 INFO mapred.JobClient: Counters: 26
12/07/03 23:39:03 INFO mapred.JobClient:   Job Counters 
12/07/03 23:39:03 INFO mapred.JobClient:     Launched reduce tasks=30
12/07/03 23:39:03 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=18040
12/07/03 23:39:03 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/07/03 23:39:03 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/07/03 23:39:03 INFO mapred.JobClient:     Launched map tasks=2
12/07/03 23:39:03 INFO mapred.JobClient:     Data-local map tasks=2
12/07/03 23:39:03 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=336193
12/07/03 23:39:03 INFO mapred.JobClient:   File Input Format Counters 
12/07/03 23:39:03 INFO mapred.JobClient:     Bytes Read=163409
12/07/03 23:39:03 INFO mapred.JobClient:   File Output Format Counters 
12/07/03 23:39:03 INFO mapred.JobClient:     Bytes Written=177339
12/07/03 23:39:03 INFO mapred.JobClient:   FileSystemCounters
12/07/03 23:39:03 INFO mapred.JobClient:     FILE_BYTES_READ=1882171
12/07/03 23:39:03 INFO mapred.JobClient:     HDFS_BYTES_READ=165067
12/07/03 23:39:03 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=4462828
12/07/03 23:39:03 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=177339
12/07/03 23:39:03 INFO mapred.JobClient:   Map-Reduce Framework
12/07/03 23:39:03 INFO mapred.JobClient:     Map output materialized bytes=1882351
12/07/03 23:39:03 INFO mapred.JobClient:     Map input records=13129
12/07/03 23:39:03 INFO mapred.JobClient:     Reduce shuffle bytes=1138806
12/07/03 23:39:03 INFO mapred.JobClient:     Spilled Records=26258
12/07/03 23:39:03 INFO mapred.JobClient:     Map output bytes=1842641
12/07/03 23:39:03 INFO mapred.JobClient:     Map input bytes=163159
12/07/03 23:39:03 INFO mapred.JobClient:     Combine input records=0
12/07/03 23:39:03 INFO mapred.JobClient:     SPLIT_RAW_BYTES=226
12/07/03 23:39:03 INFO mapred.JobClient:     Reduce input records=13129
12/07/03 23:39:03 INFO mapred.JobClient:     Reduce input groups=116
12/07/03 23:39:03 INFO mapred.JobClient:     Combine output records=0
12/07/03 23:39:03 INFO mapred.JobClient:     Reduce output records=13129
12/07/03 23:39:03 INFO mapred.JobClient:     Map output records=13129

二次排序

[ate: /local/nomad2/hadoop/tomwhite-hadoop-book-32dae01 ]
>> hadoop jar ch08.jar MaxTemperatureUsingSecondarySort input/ncdc/all output-secondarysort
12/07/03 23:59:15 INFO mapred.FileInputFormat: Total input paths to process : 2
12/07/03 23:59:15 INFO mapred.JobClient: Running job: job_201207030133_0007
12/07/03 23:59:16 INFO mapred.JobClient:  map 0% reduce 0%
12/07/03 23:59:31 INFO mapred.JobClient:  map 100% reduce 0%
12/07/03 23:59:43 INFO mapred.JobClient:  map 100% reduce 100%
12/07/03 23:59:48 INFO mapred.JobClient: Job complete: job_201207030133_0007
12/07/03 23:59:48 INFO mapred.JobClient: Counters: 26
12/07/03 23:59:48 INFO mapred.JobClient:   Job Counters 
12/07/03 23:59:48 INFO mapred.JobClient:     Launched reduce tasks=1
12/07/03 23:59:48 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=16330
12/07/03 23:59:48 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/07/03 23:59:48 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/07/03 23:59:48 INFO mapred.JobClient:     Launched map tasks=2
12/07/03 23:59:48 INFO mapred.JobClient:     Data-local map tasks=2
12/07/03 23:59:48 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=9967
12/07/03 23:59:48 INFO mapred.JobClient:   File Input Format Counters 
12/07/03 23:59:48 INFO mapred.JobClient:     Bytes Read=147972
12/07/03 23:59:48 INFO mapred.JobClient:   File Output Format Counters 
12/07/03 23:59:48 INFO mapred.JobClient:     Bytes Written=18
12/07/03 23:59:48 INFO mapred.JobClient:   FileSystemCounters
12/07/03 23:59:48 INFO mapred.JobClient:     FILE_BYTES_READ=131296
12/07/03 23:59:48 INFO mapred.JobClient:     HDFS_BYTES_READ=148184
12/07/03 23:59:48 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=326482
12/07/03 23:59:48 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=18
12/07/03 23:59:48 INFO mapred.JobClient:   Map-Reduce Framework
12/07/03 23:59:48 INFO mapred.JobClient:     Map output materialized bytes=131302
12/07/03 23:59:48 INFO mapred.JobClient:     Map input records=13130
12/07/03 23:59:48 INFO mapred.JobClient:     Reduce shuffle bytes=131302
12/07/03 23:59:48 INFO mapred.JobClient:     Spilled Records=26258
12/07/03 23:59:48 INFO mapred.JobClient:     Map output bytes=105032
12/07/03 23:59:48 INFO mapred.JobClient:     Map input bytes=1777168
12/07/03 23:59:48 INFO mapred.JobClient:     Combine input records=0
12/07/03 23:59:48 INFO mapred.JobClient:     SPLIT_RAW_BYTES=212
12/07/03 23:59:48 INFO mapred.JobClient:     Reduce input records=0
12/07/03 23:59:48 INFO mapred.JobClient:     Reduce input groups=2
12/07/03 23:59:48 INFO mapred.JobClient:     Combine output records=0
12/07/03 23:59:48 INFO mapred.JobClient:     Reduce output records=2
12/07/03 23:59:48 INFO mapred.JobClient:     Map output records=13129

3. 连接

4. 次要数据的分布 Side Data Distribution

分布式缓存

相对于在作业配置中对次要数据进行序列化，更好的方法是使用Hadoop的分布式缓存机制来分布数据集。它提供了为该任务及时复制文件和存档文件到任务节点的服务以便在运行时使用它们。为了节省网络带宽，每个作业文件通常复制到任何特定的节点一次。

>> hadoop jar ch08.jar MaxTemperatureByStationNameUsingDistributedCacheFile -files input/ncdc/metadata/stations-fixed-width.txt input/ncdc/all output                               <
12/07/04 00:18:14 INFO mapred.FileInputFormat: Total input paths to process : 2
12/07/04 00:18:14 INFO mapred.JobClient: Running job: job_201207030133_0008
12/07/04 00:18:15 INFO mapred.JobClient:  map 0% reduce 0%
12/07/04 00:18:29 INFO mapred.JobClient:  map 100% reduce 0%
12/07/04 00:18:41 INFO mapred.JobClient:  map 100% reduce 100%
12/07/04 00:18:46 INFO mapred.JobClient: Job complete: job_201207030133_0008
12/07/04 00:18:46 INFO mapred.JobClient: Counters: 26
12/07/04 00:18:46 INFO mapred.JobClient:   Job Counters 
12/07/04 00:18:46 INFO mapred.JobClient:     Launched reduce tasks=1
12/07/04 00:18:46 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=17800
12/07/04 00:18:46 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/07/04 00:18:46 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/07/04 00:18:46 INFO mapred.JobClient:     Launched map tasks=2
12/07/04 00:18:46 INFO mapred.JobClient:     Data-local map tasks=2
12/07/04 00:18:46 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=10372
12/07/04 00:18:46 INFO mapred.JobClient:   File Input Format Counters 
12/07/04 00:18:46 INFO mapred.JobClient:     Bytes Read=147972
12/07/04 00:18:46 INFO mapred.JobClient:   File Output Format Counters 
12/07/04 00:18:46 INFO mapred.JobClient:     Bytes Written=170
12/07/04 00:18:46 INFO mapred.JobClient:   FileSystemCounters
12/07/04 00:18:46 INFO mapred.JobClient:     FILE_BYTES_READ=234
12/07/04 00:18:46 INFO mapred.JobClient:     HDFS_BYTES_READ=148184
12/07/04 00:18:46 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=66722
12/07/04 00:18:46 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=170
12/07/04 00:18:46 INFO mapred.JobClient:   Map-Reduce Framework
12/07/04 00:18:46 INFO mapred.JobClient:     Map output materialized bytes=240
12/07/04 00:18:46 INFO mapred.JobClient:     Map input records=13130
12/07/04 00:18:46 INFO mapred.JobClient:     Reduce shuffle bytes=120
12/07/04 00:18:46 INFO mapred.JobClient:     Spilled Records=24
12/07/04 00:18:46 INFO mapred.JobClient:     Map output bytes=223193
12/07/04 00:18:46 INFO mapred.JobClient:     Map input bytes=1777168
12/07/04 00:18:46 INFO mapred.JobClient:     Combine input records=13129
12/07/04 00:18:46 INFO mapred.JobClient:     SPLIT_RAW_BYTES=212
12/07/04 00:18:46 INFO mapred.JobClient:     Reduce input records=12
12/07/04 00:18:46 INFO mapred.JobClient:     Reduce input groups=6
12/07/04 00:18:46 INFO mapred.JobClient:     Combine output records=12
12/07/04 00:18:46 INFO mapred.JobClient:     Reduce output records=6
12/07/04 00:18:46 INFO mapred.JobClient:     Map output records=13129

你可能感兴趣的:(《Hadoop The Definitive Guide》ch08 MapReduce Features)

你可能遗漏的一些C#/.NET/.NET Core知识点追逐时光者 C#.NET DotNetGuide编程指南 c#.net .netcore microsoft
前言在这个快速发展的技术世界中，时常会有一些重要的知识点、信息或细节被忽略或遗漏。《C#/.NET/.NETCore拾遗补漏》专栏我们将探讨一些可能被忽略或遗漏的重要知识点、信息或细节，以帮助大家更全面地了解这些技术栈的特性和发展方向。拾遗补漏GitHub开源地址https://github.com/YSGStudyHards/DotNetGuide/blob/main/docs/DotNet/D
Armv8.3 体系结构扩展--原文版代码改变世界ctw ARM-TEE-Android armv8 嵌入式 arm架构安全架构芯片 Trustzone Secureboot
快速链接:.ARMv8/ARMv9架构入门到精通-[目录]付费专栏-付费课程【购买须知】:个人博客笔记导读目录(全部)TheArmv8.3architectureextensionTheArmv8.3architectureextensionisanextensiontoArmv8.2.Itaddsmandatoryandoptionalarchitecturalfeatures.Somefeat
浅谈MapReduce Android路上的人 Hadoop 分布式计算 mapreduce 分布式框架 hadoop
从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
Hadoop 傲雪凌霜，松柏长青后端大数据 hadoop 大数据分布式
ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
Hadoop架构 henan程序媛 hadoop 大数据分布式
一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据 python hadoop 计算机毕业设计选题计算机毕业设计源码数据分析 spark毕设
作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
greenplum资源队列李春田
文章来源https://www.cnblogs.com/pl-boke/p/9852439.html官方文档：https://gpdb.docs.pivotal.io/6-8/admin_guide/workload_mgmt.html1、创建资源队列语法Command:CREATERESOURCEQUEUEDescription:createanewresourcequeueforworkloa
hbase介绍 CrazyL- 云计算+大数据 hbase
hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用hadoopmapreduce来处理hbase、中的海量数据hbase利用zookeeper作为分布式系统服务特点：数据量大：一个表可以有上亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的
【docker npm】npm 私库琴韵 docker npm 容器
1.部署环境window11x64DockerDesktop4.34.1(166053)DockerEnginev27.2.01.1.Docker镜像源1.1.1.DockerEngine配置{"builder":{"features":{"buildkit":true},"gc":{"defaultKeepStorage":"32GB","enabled":true}},"experimenta
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
基于深度学习的文本引导的图像编辑 SEU-WYL 深度学习dnn 深度学习人工智能
基于深度学习的文本引导的图像编辑（Text-GuidedImageEditing）是一种通过自然语言文本指令对图像进行编辑或修改的技术。它结合了图像生成和自然语言处理（NLP）的最新进展，使用户能够通过描述性文本对图像内容进行精确的调整和操控。1.文本引导的图像编辑的挑战文本和图像之间的对齐：如何将文本中的语义信息准确地映射到图像中的特定区域或元素是一个关键挑战。这涉及到多模态数据的对齐和理解。编
python工程打包成whl文件机灵巢穴_WitNest python python 开发语言
资料：PackagingPythonProjects—PythonPackagingUserGuide6.Modules—Python3.11.4documentation步骤1.安装打包工具python3-mpipinstallsetuptoolswheeltwine2.更新pip工具python3-mpipinstall--upgradepip3.创建工程结构python_test_packa
Spark集群的三种模式 MelodyYN #Spark spark hadoop big data
文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式3.2Yarn模式安装部署配置历史服务器运行模式4、WordCount案例1、Spark的由来定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可
月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线「已注销」个人总结 hadoop
一、时间线梳理3月3日，寻找到同专业的就业伙伴3月5日，着手准备Java八股文，决定先走Java后端路线3月8月，申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka的视频，同时在准备实习的项目3月20日，退
HBase介绍 mingyu1016 数据库
概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。HBase的表结构HBase以表的形式存储数据。表有行和列组成。列划分为
Java中的大数据处理框架对比分析省赚客app开发者 java 开发语言
Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
【Webpack】了解Webpack Sam9029 Webpack webpack 前端 node.js
Sam9029的CSDN博客主页:Sam9029的博客_CSDN博客-前端领域博主‍若此文你认为写的不错，不要吝啬你的赞扬，求收藏，求评论，求一个大大的赞！*文章若有错误或某个内容有更优的解决方案，还望指正！*Webpack了解webpack指南https://webpack.docschina.org/guides/webpack文档https://webpack.docschina.org/前
Hadoop windows intelij 跑 MR WordCount piziyang12138
一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9Hadoop分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven工程。(如果只跑MapReduce创建java工程即可，不用勾选Creatfromarchetype，如果想创建web工程或者使用骨架可以勾选)image.png设置GroupId和Artif
Hadoop学习第三课（HDFS架构--读、写流程）小小程序员呀~ 数据库 hadoop 架构 big data
1.块概念举例1：一桶水1000ml，瓶子的规格100ml=>需要10个瓶子装完一桶水1010ml，瓶子的规格100ml=>需要11个瓶子装完一桶水1010ml，瓶子的规格200ml=>需要6个瓶子装完块的大小规格，只要是需要存储，哪怕一点点，也是要占用一个块的块大小的参数：dfs.blocksize官方默认的大小为128M官网：https://hadoop.apache.org/docs/r3.
hadoop启动HDFS命令 m0_67401228 java 搜索引擎 linux 后端
启动命令：/hadoop/sbin/start-dfs.sh停止命令：/hadoop/sbin/stop-dfs.sh
用DESeq2包来对RNA-seq数据进行差异分析 Seurat_Satija
差异分析的套路都是差不多的，大部分设计思想都是继承limma这个包，DESeq2也不例外。DESeq2是DESeq包的更新版本，看样子应该不会有DESeq3了，哈哈，它的设计思想就是针对count类型的数据。可以是任意features的count数据，比如对各个基因的count，或者外显子，或者CHIP-seq的一些feature，都可以用来做差异分析。使用这个包也是需要三个数据：表达矩阵分组矩阵
ArcGIS地图切片原理与算法数智侠 GIS
ArcGIS地图切图系列之（一）切片原理解析点击打开链接ArcGIS地图切图系列之（二）JAVA实现点击打开链接ArcGIS地图切图系列之（三）MapReduce实现点击打开链接
【计算机毕设-大数据方向】基于Hadoop的电商交易数据分析可视化系统的设计与实现程序员-石头山大数据实战案例大数据 hadoop 毕业设计毕设
博主介绍：✌全平台粉丝5W+,高级大厂开发程序员，博客之星、掘金/知乎/华为云/阿里云等平台优质作者。【源码获取】关注并且私信我【联系方式】最下边感兴趣的可以先收藏起来，同学门有不懂的毕设选题，项目以及论文编写等相关问题都可以和学长沟通，希望帮助更多同学解决问题前言随着电子商务行业的迅猛发展，电商平台积累了海量的数据资源，这些数据不仅包括用户的基本信息、购物记录，还包括用户的浏览行为、评价反馈等多
分布式离线计算—Spark—基础介绍测试开发abbey 人工智能—大数据
原文作者：饥渴的小苹果原文地址：【Spark】Spark基础教程目录Spark特点Spark相对于Hadoop的优势Spark生态系统Spark基本概念Spark结构设计Spark各种概念之间的关系Executor的优点Spark运行基本流程Spark运行架构的特点Spark的部署模式Spark三种部署方式Hadoop和Spark的统一部署摘要：Spark是基于内存计算的大数据并行计算框架Spar
spark常用命令我是浣熊的微笑 spark
查看报错日志：yarnlogsapplicationIDspark2-submit--masteryarn--classcom.hik.ReadHdfstest-1.0-SNAPSHOT.jar进入$SPARK_HOME目录，输入bin/spark-submit--help可以得到该命令的使用帮助。hadoop@wyy:/app/hadoop/spark100$bin/spark-submit--
spark启动命令学不会又听不懂 spark 大数据分布式
hadoop启动：cd/root/toolssstart-dfs.sh，只需在hadoop01上启动stop-dfs.sh日志查看：cat/root/toolss/hadoop/logs/hadoop-root-datanode-hadoop03.outzookeeper启动：cd/root/toolss/zookeeperbin/zkServer.shstart，三台都要启动bin/zkServ
QLoRa使用教程云帆@ 训练 peft 人工智能
一、定义定义案例1二、实现定义QLoRa:量化+LoRa.网址：https://huggingface.co/docs/peft/main/en/developer_guides/quantization案例11.4bit量化+LoRaimporttorchfromtransformersimportBitsAndBytesConfigconfig=BitsAndBytesConfig(load_
编程常用命令总结 Yellow0523 Linux BigData 大数据
编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令kafka命令Hibench命令MySQL命令3.Linux常用命令Git命令conda命令pip命令查看Linux系统的详细信息查看Linux系统架构(X86还是ARM，两种方法都可)端口号命令L
Hadoop常见面试题整理及解答叶青舟 Linux hdfs 大数据 hadoop linux
Hadoop常见面试题整理及解答一、基础知识篇：1.把数据仓库从传统关系型数据库转到hadoop有什么优势？答：（1）关系型数据库成本高，且存储空间有限。而Hadoop使用较为廉价的机器存储数据，且Hadoop可以将大量机器构建成一个集群，并在集群中使用HDFS文件系统统一管理数据，极大的提高了数据的存储及处理能力。（2）关系型数据库仅支持标准结构化数据格式，Hadoop不仅支持标准结构化数据格式
一维数组 list 呢，怎么转换成 (批次句子长度特征值 )三维向量 python pytorch lstm 编程人工智能 zhangfeng1133 python pytorch 人工智能数据挖掘
一、介绍对于一维数组，如果你想将其转换成适合深度学习模型（如LSTM）输入的格式，你需要考虑将其扩展为三维张量。这通常涉及到批次大小（batchsize）、序列长度（sequencelength）和特征数量（numberoffeatures）的维度。以下是如何将一维数组转换为这种格式的步骤：###1.确定维度-**批次大小（BatchSize）**：这是你一次处理的样本数量。-**序列长度（Seq
jsonp 常用util方法 hw1287789687 jsonp jsonp常用方法 jsonp callback
jsonp 常用java方法 (1)以jsonp的形式返回:函数名(json字符串) /*** * 用于jsonp调用 * @param map : 用于构造json数据 * @param callback : 回调的javascript方法名 * @param filters : <code>SimpleBeanPropertyFilter theFilt
多线程场景 alafqq 多线程
0 能不能简单描述一下你在java web开发中需要用到多线程编程的场景？0 对多线程有些了解，但是不太清楚具体的应用场景，能简单说一下你遇到的多线程编程的场景吗？ Java多线程 2012年11月23日 15:41 Young9007 Young9007 4 0 0 4 Comment添加评论关注(2) 3个答案按时间排序按投票排序 0 0 最典型的如： 1、
Maven学习——修改Maven的本地仓库路径 Kai_Ge maven
安装Maven后我们会在用户目录下发现.m2 文件夹。默认情况下，该文件夹下放置了Maven本地仓库.m2/repository。所有的Maven构件(artifact)都被存储到该仓库中，以方便重用。但是windows用户的操作系统都安装在C盘，把Maven仓库放到C盘是很危险的，为此我们需要修改Maven的本地仓库路径。
placeholder的浏览器兼容 120153216 placeholder
【前言】自从html5引入placeholder后，问题就来了，不支持html5的浏览器也先有这样的效果，各种兼容，之前考虑，今天测试人员逮住不放，想了个解决办法，看样子还行，记录一下。【原理】不使用placeholder，而是模拟placeholder的效果，大概就是用focus和focusout效果。【代码】 <scrip
debian_用iso文件创建本地apt源 2002wmj Debian
1.将N个debian-506-amd64-DVD-N.iso存放于本地或其他媒介内，本例是放在本机/iso/目录下 2.创建N个挂载点目录如下： debian:~#mkdir –r /media/dvd1 debian:~#mkdir –r /media/dvd2 debian:~#mkdir –r /media/dvd3 …. debian:~#mkdir –r /media
SQLSERVER耗时最长的SQL 357029540 SQL Server
对于DBA来说，经常要知道存储过程的某些信息： 1. 执行了多少次 2. 执行的执行计划如何 3. 执行的平均读写如何 4. 执行平均需要多少时间列名 &
com/genuitec/eclipse/j2eedt/core/J2EEProjectUtil 7454103 eclipse
今天eclipse突然报了com/genuitec/eclipse/j2eedt/core/J2EEProjectUtil 错误，并且工程文件打不开了，在网上找了一下资料，然后按照方法操作了一遍，好了，解决方法如下：错误提示信息： An error has occurred.See error log for more details. Reason: com/genuitec/
用正则删除文本中的html标签 adminjun java html 正则表达式去掉html标签
使用文本编辑器录入文章存入数据中的文本是HTML标签格式，由于业务需要对HTML标签进行去除只保留纯净的文本内容，于是乎Java实现自动过滤。如下： public static String Html2Text(String inputString) { String htmlStr = inputString; // 含html标签的字符串 String textSt
嵌入式系统设计中常用总线和接口 aijuans linux 基础
嵌入式系统设计中常用总线和接口任何一个微处理器都要与一定数量的部件和外围设备连接，但如果将各部件和每一种外围设备都分别用一组线路与CPU直接连接，那么连线
Java函数调用方式——按值传递 ayaoxinchao java 按值传递对象基础数据类型
Java使用按值传递的函数调用方式，这往往使我感到迷惑。因为在基础数据类型和对象的传递上，我就会纠结于到底是按值传递，还是按引用传递。其实经过学习，Java在任何地方，都一直发挥着按值传递的本色。首先，让我们看一看基础数据类型是如何按值传递的。 public static void main(String[] args) { int a = 2;
ios音量线性下降 bewithme ios音量
直接上代码吧 //second 几秒内下降为0 - (void)reduceVolume:(int)second { KGVoicePlayer *player = [KGVoicePlayer defaultPlayer]; if (!_flag) { _tempVolume = player.volume;
与其怨它不如爱它 bijian1013 选择理想职业规划
抱怨工作是年轻人的常态，但爱工作才是积极的心态，与其怨它不如爱它。一般来说，在公司干了一两年后，不少年轻人容易产生怨言，除了具体的埋怨公司“扭门”，埋怨上司无能以外，也有许多人是因为根本不爱自已的那份工作，工作完全成了谋生的手段，跟自已的性格、专业、爱好都相差甚远。
一边时间不够用一边浪费时间 bingyingao 工作时间浪费
一方面感觉时间严重不够用，另一方面又在不停的浪费时间。每一个周末，晚上熬夜看电影到凌晨一点，早上起不来一直睡到10点钟，10点钟起床，吃饭后玩手机到下午一点。精神还是很差，下午像一直野鬼在城市里晃荡。为何不尝试晚上10点钟就睡，早上7点就起，时间完全是一样的，把看电影的时间换到早上，精神好，气色好，一天好状态。控制让自己周末早睡早起，你就成功了一半。有多少个工作
【Scala八】Scala核心二：隐式转换 bit1129 scala
Implicits work like this: if you call a method on a Scala object, and the Scala compiler does not see a definition for that method in the class definition for that object, the compiler will try to con
sudoku slover in Haskell (2) bookjovi haskell sudoku
继续精简haskell版的sudoku程序，稍微改了一下，这次用了8行，同时性能也提高了很多，对每个空格的所有解不是通过尝试算出来的，而是直接得出。 board = [0,3,4,1,7,0,5,0,0, 0,6,0,0,0,8,3,0,1, 7,0,0,3,0,0,0,0,6, 5,0,0,6,4,0,8,0,7,
Java-Collections Framework学习与总结-HashSet和LinkedHashSet BrokenDreams linkedhashset
本篇总结一下两个常用的集合类HashSet和LinkedHashSet。它们都实现了相同接口java.util.Set。Set表示一种元素无序且不可重复的集合；之前总结过的java.util.List表示一种元素可重复且有序
读《研磨设计模式》-代码笔记-备忘录模式-Memento bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.List; /* * 备忘录模式的功能是，在不破坏封装性的前提下，捕获一个对象的内部状态，并在对象之外保存这个状态，为以后的状态恢复作“备忘”
《RAW格式照片处理专业技法》笔记 cherishLC PS
注意，这不是教程！仅记录楼主之前不太了解的一、色彩（空间）管理作者建议采用ProRGB（色域最广），但camera raw中设为ProRGB，而PS中则在ProRGB的基础上，将gamma值设为了1.8（更符合人眼）注意：bridge、camera raw怎么设置显示、输出的颜色都是正确的（会读取文件内的颜色配置文件），但用PS输出jpg文件时，必须先用Edit->conv
使用 Git 下载 Spring 源码编译 for Eclipse crabdave eclipse
使用 Git 下载 Spring 源码编译 for Eclipse 1、安装gradle，下载 http://www.gradle.org/downloads 配置环境变量GRADLE_HOME，配置PATH %GRADLE_HOME%/bin，cmd，gradle -v 2、spring4 用jdk8 下载 https://jdk8.java.
mysql连接拒绝问题 daizj mysql 登录权限
mysql中在其它机器连接mysql服务器时报错问题汇总一、[running][email protected]:~$mysql -uroot -h 192.168.9.108 -p //带-p参数，在下一步进行密码输入 Enter password: //无字符串输入 ERROR 1045 (28000): Access
Google Chrome 为何打压 H.264 dsjt apple html5 chrome Google
Google 今天在 Chromium 官方博客宣布由于 H.264 编解码器并非开放标准，Chrome 将在几个月后正式停止对 H.264 视频解码的支持，全面采用开放的 WebM 和 Theora 格式。 Google 在博客上表示，自从 WebM 视频编解码器推出以后，在性能、厂商支持以及独立性方面已经取得了很大的进步，为了与 Chromium 现有支持的編解码器保持一致，Chrome
yii 获取控制器名和方法名 dcj3sjt126com yii framework
1. 获取控制器名在控制器中获取控制器名: $name = $this->getId(); 在视图中获取控制器名: $name = Yii::app()->controller->id; 2. 获取动作名在控制器beforeAction()回调函数中获取动作名: $name =
Android知识总结（二） come_for_dream android
明天要考试了，速速总结如下 1、Activity的启动模式 standard：每次调用Activity的时候都创建一个（可以有多个相同的实例，也允许多个相同Activity叠加。） singleTop：可以有多个实例，但是不允许多个相同Activity叠加。即，如果Ac
高洛峰收徒第二期：寻找未来的“技术大牛” ——折腾一年，奖励20万元 gcq511120594 工作项目管理
高洛峰，兄弟连IT教育合伙人、猿代码创始人、PHP培训第一人、《细说PHP》作者、软件开发工程师、《IT峰播》主创人、PHP讲师的鼻祖！首期现在的进程刚刚过半，徒弟们真的很棒，人品都没的说，团结互助，学习刻苦，工作认真积极，灵活上进。我几乎会把他们全部留下来，现在已有一多半安排了实际的工作，并取得了很好的成绩。等他们出徒之日，凭他们的能力一定能够拿到高薪，而且我还承诺过一个徒弟，当他拿到大学毕
linux expect heipark expect
1. 创建、编辑文件go.sh #!/usr/bin/expect spawn sudo su admin expect "*password*" { send "13456\r\n" } interact 2. 设置权限 chmod u+x go.sh 3.
Spring4.1新特性——静态资源处理增强 jinnianshilongnian spring 4.1
目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
idea ubuntuxia 乱码 liyonghui160com
1.首先需要在windows字体目录下或者其它地方找到simsun.ttf 这个字体文件。 2.在ubuntu 下可以执行下面操作安装该字体： sudo mkdir /usr/share/fonts/truetype/simsun sudo cp simsun.ttf /usr/share/fonts/truetype/simsun fc-cache -f -v
改良程序的11技巧 pda158 技巧
有很多理由都能说明为什么我们应该写出清晰、可读性好的程序。最重要的一点，程序你只写一次，但以后会无数次的阅读。当你第二天回头来看你的代码时，你就要开始阅读它了。当你把代码拿给其他人看时，他必须阅读你的代码。因此，在编写时多花一点时间，你会在阅读它时节省大量的时间。让我们看一些基本的编程技巧：尽量保持方法简短永远永远不要把同一个变量用于多个不同的
300个涵盖IT各方面的免费资源（下）——工作与学习篇 shoothao 创业免费资源学习课程远程工作
工作与生产效率: A. 背景声音 Noisli:背景噪音与颜色生成器。 Noizio:环境声均衡器。 Defonic:世界上任何的声响都可混合成美丽的旋律。 Designers.mx:设计者为设计者所准备的播放列表。 Coffitivity:这里的声音就像咖啡馆里放的一样。 B. 避免注意力分散 Self Co
深入浅出RPC uule rpc
深入浅出RPC-浅出篇深入浅出RPC-深入篇 RPC Remote Procedure Call Protocol 远程过程调用协议它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发