test

hadoop2.2.0基础编程实例

1. Default mapreduce

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
importorg.apache.hadoop.mapreduce.Mapper;
importorg.apache.hadoop.mapreduce.Reducer;
importorg.apache.hadoop.conf.Configuration;
importorg.apache.hadoop.conf.Configured;
importorg.apache.hadoop.fs.Path;
importorg.apache.hadoop.util.Tool;
importorg.apache.hadoop.util.ToolRunner;
importorg.apache.hadoop.mapreduce.Job;
importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;
importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
                      
public class DefaultMapReduce extends Configured
   implements Tool {
     @Override
     public int run(String[] args) throwsException {
         Configuration conf = getConf();
         Job job = Job.getInstance(conf);
         job.setJarByClass(getClass());
         job.setNumReduceTasks( 0 );
         FileInputFormat.addInputPath(job, newPath(args[ 0 ]));
         FileOutputFormat.setOutputPath(job, newPath(args[ 1 ]));
                      
         returnjob.waitForCompletion( true ) ? 0 : 1 ;
     }
     public static void main(String[] args) throws Exception {
         ToolRunner.run(newDefaultMapReduce(), args);
     }
}

 

注意：

此处并没有定义map但是程序任然可以运行，是因为hadoop新的API用mapred类（接口实现）替换成了mapreduce类（抽象类实现），新的Mapper抽象类本身提供了可以运行的map方法， 部分源码如下：

1
2
3
4
5
6
7
8
9
10
publicvoidrun(Context context) throwsIOException, InterruptedException {
   setup(context);
   try {
     while (context.nextKeyValue()) {
       map(context.getCurrentKey(), context.getCurrentValue(), context);
     }
   } finally {
     cleanup(context);
   }
}

2.SequenceFileWritDemo

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.IOUtils;
   
public class SequenceFileWritDemo {
   private static final String[] DATA = {
     "one, two, buckle my shoe" ,
     "Three, four, shut the door"
   };
   public static void main(String[] args) throws IOException {
     String uri = args[ 0 ];
     Configuration conf = new Configuration();
     FileSystem fs = FileSystem.get(URI.create(uri), conf);
     Path path = new Path(uri);
   
     IntWritable key = new IntWritable();
     Text value = new Text();
     SequenceFile.Writer writer = null ;
     try {
       writer = SequenceFile.createWriter(conf, writer.file(path),
qwriter.keyClass(key.getClass()),writer.valueClass(value.getClass()));
   
       for ( int i = 0 ; i < 100 ; i++ ) {
         key.set( 100 - i);
   
         value.set(DATA[i % DATA.length]);
   
         System.out.printf( "[%s]\t%s\t%s\n" , writer.getLength(), key, value);
         writer.append(key, value);
       }
     } finally {
       IOUtils.closeStream(writer);
     }
   }
}

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.IOUtils;
                    
public class SequenceFileWritDemo {
   private static final String[] DATA = {
     "one, two, buckle my shoe" ,
     "Three, four, shut the door"
   };
   public static void main(String[] args) throws IOException {
     String uri = args[ 0 ];
     Configuration conf = new Configuration();
     FileSystem fs = FileSystem.get(URI.create(uri), conf);
     Path path = new Path(uri);
                    
     IntWritable key = new IntWritable();
     Text value = new Text();
     SequenceFile.Writer writer = null ;
     try {
       writer = SequenceFile.createWriter(conf, writer.file(path),
qwriter.keyClass(key.getClass()),writer.valueClass(value.getClass()));
                    
       for ( int i = 0 ; i < 100 ; i++ ) {
         key.set( 100 - i);
                    
         value.set(DATA[i % DATA.length]);
                    
         System.out.printf( "[%s]\t%s\t%s\n" , writer.getLength(), key, value);
         writer.append(key, value);
       }
     } finally {
       IOUtils.closeStream(writer);
     }
   }
}

3.write & read a  MapFile

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
import java.io.IOException;
                   
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.MapFile;
import org.apache.hadoop.io.MapFile.Writer;
import org.apache.hadoop.io.MapFile.Reader;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
                   
public class MyMapFile {
                   
   static private final String[] DATA =  {
       "this is the first" ,
       "this is the second" ,
       "this is the third" ,
       "this is the forth"
     }; 
                   
   public static void main(String[] args) throws IOException {
     Configuration conf = new Configuration();
     FileSystem fs = FileSystem.get(conf);
     String uri = args[ 0 ];
                   
     IntWritable key = new IntWritable();
     Text val = new Text();
                   
     MapFile.Writer writer = new MapFile.Writer(conf, new Path(uri),
Writer.keyClass(key.getClass()),Writer.valueClass(val.getClass()));
                   
     for ( int i = 0 ; i < 10 ; i++ ) {
       key.set( i + 1 );
       val.set(DATA[ i % DATA.length ]);
       writer.append(key, val);
     }
     writer.close();
                   
     MapFile.Reader reader = new MapFile.Reader( new Path(uri), conf);
                   
     while ( reader.next(key, val) ){
       System.out.println( key + "\t" + val );
     }
     reader.close();
   }
}

 

4.Configurataion Printer

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
import java.util.Map.Entry;
                  
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.util.ToolRunner;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.conf.Configured;
                  
public class ConfigurationPrinter extends Configured implements Tool {
                  
   @Override
   public int run(String[] args) throws Exception {
     Configuration.addDefaultResource(args[ 0 ]);
     Configuration.addDefaultResource(args[ 1 ]);
                  
     Configuration conf = getConf();
     for (Entry<String, String> entry : conf) {
       System.out.printf( "%s=%s\n" , entry.getKey(), entry.getValue());
     }  
     return 0 ;
   }
                  
   public static void main(String[] args) throws Exception {
     ToolRunner.run( new ConfigurationPrinter(), args);
   }
}

 

5.计算温度最大值 （基于全新2.2.0API）

Deprecated:  Job类的所有Constructors， 新的API用静态方法getInstance(conf)来去的Job的实例；

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
import java.io.IOException;
import java.util.Iterator;
                 
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
                 
public class getMaxTemperature 
   extends Configured implements Tool {
                 
   class MaxTemperatureMapper
     extends Mapper<LongWritable, Text, Text, IntWritable> {
     @Override
     public void map(LongWritable key, Text val, Context context)
       throws IOException, InterruptedException {
       String line = val.toString();
       String year = line.substring( 15 , 19 );
                 
       int Temperature;
       if (!hasPlus(line)){
         Temperature = Integer.parseInt(line.substring( 87 , 92 ));
       } else {
         Temperature = Integer.parseInt(line.substring( 88 , 92 ));
       }  
       String qual = line.substring( 92 , 93 );
       if (!matched(qual)) {
         context.write( new Text(year), new IntWritable(Temperature));
    }
                 
     }
                 
     private boolean hasPlus(String line) {
       return line.charAt( 87 ) == '+' ?  true : false ;
     }
                 
     private boolean matched(String line) {
         return line.matches( "[01459" ) ? true : false ;
     }
                 
   }
                 
   class MaxTemperatureReducer
     extends Reducer<Text, IntWritable, Text, IntWritable> {
     @Override
     public void reduce(Text key, Iterable<IntWritable> vals, Context context)
       throws IOException, InterruptedException {
       int maxValue = Integer.MIN_VALUE;
       for ( IntWritable value : vals ) {
         maxValue = Math.max(maxValue, value.get());
       }
       context.write(key, new IntWritable(maxValue));
     }
   }
                 
     @Override
     public int run(String[] args)
       throws Exception {
       Configuration conf = getConf();
       Job job = Job.getInstance(conf);
       job.setJobName( "helloRuby" );
       job.setJarByClass(getClass());
       FileInputFormat.addInputPath(job, new Path(args[ 0 ]));
       FileOutputFormat.setOutputPath(job, new Path(args[ 1 ]));
                 
       job.setMapperClass(MaxTemperatureMapper. class );
       job.setCombinerClass(MaxTemperatureReducer. class );
       job.setReducerClass(MaxTemperatureReducer. class );
                 
       job.setOutputKeyClass(Text. class );
       job.setOutputValueClass(IntWritable. class );
                 
       return job.waitForCompletion( true ) ? 0 : 1 ;
     }
                 
                 
   public static void main(String[] args)
     throws Exception {
     ToolRunner.run( new getMaxTemperature() , args);
   }
}

 

6.File Read

1
2
3
4
5
6
7
8
9
10
11
public class FileRead {
     public static void main(Sting[] args)
       throws Exception {
         Configuration conf = new Configuration();
         FileSystem fs = FileSystem.get(conf);
         InputStream in = new InputStream();
         in = fs.open( new Path(args[ 0 ]));
         IOUtils.copyBytes(in, System.out, 4096 , false );
         IOUtils.closeStream(in);
     }
}

过程分析：

（1）open

当client读取文件时，在FileSystem ojbect上调用open()方法，而FileSystem是HDFS的一个instance;

从上述程序中可见：

line5 得到FileSystem的instance

line7 调用FileSystem上的open()方法

（2）get block location

随后，HDFS通过RPC(Remote Procedure Call)来呼叫namenode, 来获得the locations of the blocks for the first few blocks, 对于每一个block, namenode会返回有此block的datanode 的 address, 而且datanode会根据Network Topology被重新排序；

获取locations以后，DFS会返回一个FSDataInputStream给client来读取数据， FSDataInputStream会依次wrap一个DFSInputStream来管理datanode和namenode的 I/O，DFSInputStream上同时也存储了first few datanode 的address;

（3）read

client 在FSDataInputStream上call read(), 则DFSInputStream会连接存储第一个block的最近的datanode， 之后不停地call read()方法从datanode读取数据到client, 当到达block的末尾，DFSInputStream会关闭与此datanode的连接， 然后找到存储下一个block的datanode, 依次往复...

(4) DFSInputStream

DFSInputStream按顺序读入每一个packet的最近的一个block， 每读一个block都要重新和一个datanode建立连接；

DFSInputStream同时会和namenode保持连接，来重新获取下一个packet的blocks所在的datanode的locations

（5）FSDataInputStream

FSDataInputStream 是client和datanode连接的中介， client call read() methods 都通过FSDataInputStream来调用DFSInputStream

（6）容错

在读取数据的过程中遇到的错误主要有两类：

1. DFSInputStream和datanode 的communication出现错误， 此时DFSInputStream会尝试连接保存此packet的下一个block所在的datanode中最近的一个， 同时会记录此datanode, 防止读取下一个block是再次从该datanode上读取；

2. DFSInputStream checksum data from datanode时，发现损坏的数据块， 则它会在DFSInputStream尝试从另一个datanode读取此packet的下一个block副本之前报告给namenode；

7.File Write

1
2
3
4
5
6
7
8
9
10
11
12
13
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.Configuration;
               
public class CreateDir {
   public static void main(String[] args)
    throws Exception {
     Configuration conf = new Configuration();
     String dst = args[ 0 ];
     FileSystem fs = FileSystem.get(conf);
     fs.create( new Path(dst));
   }
}

 

过程分析：

(1)create

当client 写入文件时， 在FileSystem object上调用create()方法， FileSystem是HDFS的一个instance;

(2) create new file in filesystem's namespace

DFS 通过Remote Procedure Call 来call namenode， namenode会在filesystem的namespace产生一个新的文件， 新建文件之前，nanemode会做一些列检查，包括client是否有create file的permission， 要create的文件是否已经存在， 若检查没有通过，则抛出IOException；

create file以后，DFS会返回一个FSDataOutputStream给client来写文件， FSDataInputStream会wrap一个DFSOutputStream来与namenode和datanode交流；

(3) client write data

client开始写入数据到文件时，DFSOutputStream会将待写入的数据split into 很多packets, 这些packet会被写入一个内部队列data queue, DFSOutputStream维护此data queue;

这个data queue将被DataStreamer所用，DataStreamer主要负责向namenode发出申请，来为新的packet的block副本分配 合适的datanode， namenode会挑选出合适的datanodes来存储这些data blocks；

存储这个packet的blocks的datanode会组成一个pipeline, 假设每个packet的block的replication level是3， 则此pipeline由3个datanode组成。

DataStreamer将此packet导入pipeline的第一个datanode, 该datanode存储此packet之后forward it to 第二个datanode, 同样地，第二个datanode存储此packet, forward to 第三个datanode;

(4) 容错

从(3)中我们知道DFSOutputStream维护着一个data queue, 此外，

DFSOutputStream还维护一个ack queue(acknowledged), 当一个packet已经被所有在pipeline中的datanode acknowledged， 则，此packet将会从ack queue中移走；

如果写数据时，一个datanode 写入失败，则会发生以下动作：

首先， pipeline会关闭，所有在ack queue中的packets会被添加到data queue前面，以保证下游的datanode不会丢失任何packets, 当前已写入datanode的数据块会被标识， 而写入坏的datnode中的部分数据会在此datanode recover以后被删除；

failed的datanode将从pipeline中移走， namenode 会notice到这些，会重新分配一个datanode来组成新的pipeline； 下一个packet的block不会受到影响；

当写入一个block时若大量的datanode failed，只要满足dfs.replication.min（default is 1), 则此写入就不会失败，block会被复制并同步到cluster上的datanode中，知道达到dfs.replication所设的数目（默认是3）

(5)数据写入的收尾阶段

当client完成数据写入是，client会调用在FSDataOutputStream 上的close()。 此动作会在给namenode发送file完成写入的信号之前flushs所有剩余的packets到datanode pipeline并等待acknowledge；

因为DataStreamer之前曾为所有的packets向namenode申请过block locations, 故namenode已经知道此文件由哪些blocks组成。

8.MRUnit使用

常用类

1
2
3
4
5
6
7
8
9
implements java.lang.annotation.Annotation：
org.junit.Test
org.junit.Rule
org.junit.Ignore
org.junit.ClassRule
org.junit.BeforeClass
org.junit.Before
org.junit.AfterClass
org.junit.After

Code

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
import java.io.IOException;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.junit.Test;
import org.apache.hadoop.mrunit.mapreduce.MapDriver;
             
public class MaxTemperatureMapperTest {
   @Test
   public void processesValidRecord() throws IOException {
     Text value = new Text( "0043011990999991950051518004+68750+023550FM-12+0382" +
                                   // Year ^^^^
         "99999V0203201N00261220001CN9999999N9-00111+99999999999" );
                               // Temperature ^^^^^
     new MapDriver<LongWritable, Text, Text, IntWritable>()
     .withMapper( new MaxTemperatureMapper())
     .withInput( new LongWritable( 1 ), value)
     .withOutput( new Text( "1950" ), new IntWritable(- 11 ))
     .runTest();
   }
}

 

注意一些deprecated的class和methods:

org.apache.hadoop.mrunit.MapDriver<K1,V1,K2,V2>被弃用应该可以理解，此类是为mapreduce的旧API（比如org.apache.hadoop.mapred）写的，比如其中一个方法

MapDriver<K1,V1,K2,V2>withMapper(org.apache.hadoop.mapred.Mapper<K1,V1,K2,V2> m)

mapreduce的新API为org.apache.hadoop.mapreduce.*; 与之对应MRUnit的MapDriver（包括ReduceDriver）为：

org.apache.hadoop.mrunit.mapreduce.MapDriver<K1,V1,K2,V2>， 同样的，上述方法变为：

MapDriver<K1,V1,K2,V2>withCounters(org.apache.hadoop.mapreduce.Counters ctrs)  

 MapDriverBase class中的T withInputValue(V1 val) 被弃用，改为T withInput(K1 key, V1 val) ，还有很多，不详列。

执行步骤：

注意： 需要下载MRUnit并编译，在/home/user/.bashrc下设置MRUnit_HOME变量， 之后修改$HADOOP_HOME/libexec/hadoop-config.sh，将$MRUnit_HOME/lib/*.jar添加进去, 之后source $HADOOP_HOME/libexec/hadoop-config.sh,再执行下面操作：

1
2
3
javac  -d class/  MaxTemperatureMapper.java  MaxTemperatureMapperTest.java
jar -cvf test .jar -C class ./
java - cp test .jar:$CLASSPATH org.junit.runner.JUnitCore  MaxTemperatureMapperTest

9.Test Tool, ToolRunner, GenericOptionsParser, Configuration

说明：

   Tool 中的run()方法可以看做是mapreduce程序的driver, 我们一般通过implements Tool接口来设置Job启动的相关属性，然后在main()函数里通过静态调用ToolRunner.run(new MainClass(), args)来间接调用run()方法;

    2. 包装GenericOptionsParser类来解generic hadoop command line arguments（参见另一篇文章：《hadoopFS-shell commands》

Code1 (Configuration里添加的resource是String类型):

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
import java.util.Map.Entry;
            
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.util.ToolRunner;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.fs.Path;
            
public class ConfigurationPrinter extends Configured implements Tool {
   static {
     Configuration.addDefaultResource( "config.xml" );
   }
            
   @Override
     public int run(String[] args) throws Exception {
       Configuration conf = getConf();
       for (Entry<String, String> hash: conf) {
         System.out.printf( "%s=%s\n" , hash.getKey(), hash.getValue());
       }  
       return 0 ;
     }
            
   public static void main(String[] args) throws Exception {
     int exitCode = ToolRunner.run( new ConfigurationPrinter(), args);
     System.exit(exitCode);
   }
}

注：Configuration class提供只一种静态方法：addDefaultresource(String name）， 如上述代码， 添加Resource "config.xml"为String类型时，hadoop将从classpath里查找此文件；若Resource 为Path()类型时，hadoop将从local filesystem里查找此文件： Configuration conf = new Configuration(); conf.addResource(new Path("config.xml"));

执行步骤：

1
2
#将自定义的config文件config.xml放在hadoop的$HADOOP_CONF_DIR里
% mv config.xml $HADOOP_HOME /etc/hadoop/

假如我们添加的resource如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<!--cat $HADOOP_HOME/etc/hadoop/config.xml-->
< configuration >
   < property >
     < name >color</ name >
     < value >yellow</ value >
   </ property >
                                                                                                          
   < property >
     < name >size</ name >
     < value >10</ value >
   </ property >
                                                                                                          
   < property >
     < name >weight</ name >
     < value >heavy</ value >
     < final >true</ final >
   </ property >
</ configuration >

执行代码：

1
2
3
4
5
6
7
8
9
10
mkdir class
source $HADOOP_HOME /libexec/hadoop-config .sh
javac  -d class ConfigurationPrinter.java
jar -cvf ConfigurationPrinter.jar -C class ./
export HADOOP_CLASSPATH=ConfigurationPrinter.jar:$CLASSPATH
#下面查找刚才添加的resource是否被读入
#我们在config.xml里添加了一项 <name>color</name>，执行
yarn ConfigurationPrinter| grep "color"
color=yellow
#可见代码是正确的

或者在Command line里指定HADOOP_CONF_DIR， 比如执行：

1
2
% $YARN_HOME /bin/yarn ConfigurationPrinter --conf config.xml | grep color
color=yellow

也是可以的！

Code2 (Configuration里添加的resource是Path类型)：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
import java.util.Map.Entry;
                                                                                                     
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.util.ToolRunner;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.fs.Path;
                                                                                                     
public class ConfigurationPrinter extends Configured implements Tool {
   @Override
   public int run(String[] args) throws Exception {
     Configuration conf = new Configuration();
     conf.addResource( new Path( "config.xml" ));
     for (Entry<String, String> hash: conf) {
       System.out.printf( "%s=%s\n" , hash.getKey(), hash.getValue());
     }  
     return 0 ;
   }
                                                                                                     
   public static void main(String[] args) throws Exception {
     int exitCode = ToolRunner.run( new ConfigurationPrinter(), args);
     System.exit(exitCode);
   }
}

此时添加的resource类型是Path()类型，故hadoop将从local filesystem里查找config.xml, 不需要将config.xml放在conf/下面，只要在代码中指定config.xml在本地文件系统中的路径即可（new Path("../others/config.xml"））

运行步骤:

1
2
3
4
5
6
7
8
9
10
% mkdir class
% source $HADOOP_HOME /libexec/hadoop-config .sh
% javac  -d class ConfigurationPrinter.java
% jar -cvf ConfigurationPrinter.jar -C class ./
% export HADOOP_CLASSPATH=ConfigurationPrinter.jar:$CLASSPATH
#下面查找刚才添加的resource是否被读入
#我们在config.xml里添加了一项 <name>color</name>，执行
% yarn ConfigurationPrinter| grep "color"
color=yellow
#可见代码是正确的

备注：ConfigurationParser支持set individual properties:

1
2
3
4
5
6
7
8
9
10
11
12
13
Generic Options
The supported generic options are:
                                                                                               
-conf <configuration file >     specify a configuration file
      -D <property=value>            use value for given property
      -fs < local |namenode:port>      specify a namenode
      -jt < local |jobtracker:port>    specify a job tracker
      -files <comma separated list of files>    specify comma separated
                             files to be copied to the map reduce cluster
      -libjars <comma separated list of jars>   specify comma separated
                             jar files to include in the classpath.
      -archives <comma separated list of archives>    specify comma
              separated archives to be unarchived on the compute machines.

可以尝试：

1
2
3
% $YARN_HOME /bin/yarn ConfigurationPrinter -d fuck=Japan | grep fuck
#输出为：
fuck=Japan

再次提醒：

ToolRunner can be used to run classes implementing Toolinterface. It works in conjunction with GenericOptionsParser to parse thegeneric hadoop command line arguments and modifies the Configurationof theTool. The application-specific options are passed along without being modified.

ToolRunner和GenericOptionsParser共同来（解析|修改） generic hadoop command line arguments （什么是generic hadoop command line arguments？ 比如：yarn  command [genericOptions] [commandOptions]

10.DFS API 操作

Code 1. Reading data from a hadoop URL

说明：想要让java从hadoop的dfs里读取数据，则java 必须能够识别hadoop hdfs URL schema, 因此我们应该将hdfs的FsUrlStreamHandlerFactory作为一个实例提供给java, java的setURLStreamHandlerFactory方法可以实现此功能；

注意：此方法有缺陷，由于在java里，setURLStreamHandlerFactorymethod在 每一个JVM里只能调用一次，加入第三方component已经set a URLStreamHandlerFactory，则hadoop用户就不能使用setURLStreamHandlerFactory方法来 reading data from hadoop。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;                   
    
public class URLCat {
   static {
     URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
   }
   public static void main(String[] args) throws Exception {
     InputStream in = null;
     try {
       in = new URL(args[0]).openStream();
       IOUtils.copyBytes( in , System.out, 4096, false );
     } finally {
       IOUtils.closeStream( in );
     } 
   }
}

 

执行步骤：

1
2
3
4
5
6
7
$ source $YARN_HOME /libexec/hadoop-config .sh
$ mkdir myclass
$javac - cp $CLASSPATH URLCat.java -d myclass
$jar -cvf urlcat.jar -C myclass ./
# assume we have a file bar.txt in hdfs： /user/grid/bar.txt
# then we need run yarn with this command
$yarn jar - cp urlcat.jar URLCat hdfs: ///user/grid/bar .txt

Code2. Reading data using HDFS API

说明：使用hadoop的FileSystem API可以避免上面所述的JVM只能调用一次setURLStreamHandlerFactory的缺陷；

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
import java.net.URI;
import java.io.InputStream;
                                                                                          
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.Configuration;
                                                                                          
public class URICat {
   public static void main(String[] args) throws Exception {
    String uri = args[ 0 ];
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(URI.create(uri), conf);
    InputStream in = null ;
    try {
      in = fs.open( new Path(uri));
      IOUtils.copyBytes(in, System.out, 4096 , false );
    } finally {
      IOUtils.closeStream(in);
    } 
   }
}

执行步骤：

1
2
3
4
5
$ source $YARN_HOME /libexec/hadoop-config .sh
$ mkdir myclass
$javac - cp $CLASSPATH URICat.java -d myclass
$jar -cvf uricat.jar -C myclass ./
$yarn jar - cp uricat.jar URICat /user/grid/bar .txt

备注1：因为我们调用了FileSystem的API，故输入的filepath也可以省略HDFS的URI全名hdfs://,如上面执行步骤里所写。

备注2：FileSystem是抽象类，故不能new FileSystem()来得到instance, 而需要调用其的静态方法get()来得到；

备注3：注意java里的向上转型，体现在简要提示里各种Stream的继承关系上；

备注4：Configuration conf = new Configuration();

  • Configurations需要xml文件里的键值对<name>x</name>来配置，规则为：

　　　　if x is named by a String, 则在classpath里检查同名文件；

　　　　if x is named by a Path, 则直接本地查找，不检查classpath；

  • 若用户不指定，则默认调用两个resources： core-site.xml和core-default.xml        

  • 用户可以指定xml文件以添加自己定义的configurations：             

    conf.addResource("my_configuration.xml");

Code3. Writing data

从本地复制文件到hdfs

版本1 FileCopy with copyBytes() method

简要提示：

1.核心代码就一行，即从InputStrea 以二进制方式复制到OutputStream：   

1
static void copyBytes(InputStream in , OutputStream out, int buffSize, boolean close)

2.我们新建一个FileInputStream(localsrc)实例, 将其暂存在BufferedInputStream()里，并向上转型生成InputStream:

1
FileInputStream(String name )

3.调用FileSystem来产生OutputStream:

1
FSDataOutputStream create(Path f, Progressable progress)

代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
import java.net.URI;
import java.io.InputStream;
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.OutputStream;
                                                                                 
import org.apache.hadoop.fs.BufferedFSInputStream;
import org.apache.hadoop.util.Progressable;
import org.apache.hadoop.util.Progressable;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.conf.Configuration;
                                                                                 
public class FileCopyWithProgress {
   public static void main(String[] args) throws Exception {
     String localsrc = args[ 0 ];
     String dst = args[ 1 ];
     InputStream in = new BufferedInputStream( new FileInputStream(localsrc));
     Configuration conf = new Configuration();
     FileSystem fs = FileSystem.get(URI.create(dst), conf);
     OutputStream out = fs.create( new Path(dst), new Progressable() {
         public void progress() { System.out.print( "." );} }
                                 );
     IOUtils.copyBytes(in, out, 4096 , true );
   }
}

执行步骤：

1
2
3
4
5
6
7
8
9
% $YARN_HOME /libexec/hadoop-config .sh
% javac - cp $CLASSPATH -d my_class FileCopyWithProgress.java
% jar -cvf filecopywithprogress.jar -C my_class/ .
# assum we have a local file foo.out in directory: /home/grid/foo.out,
# then we should run yarn like below
% yarn jar filecopywithprogress.jar FileCopyWithProgress \
/home/grid/foo .out hdfs: ///user/grid/copied_foo .out
# we can do a check for the copied file
% hadoop fs - ls -R /user/grid/

注：从下面开始使用另一种方式来编译、运行代码

版本2  使用FileSystem的copyFromLocalFile()方法        

代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.conf.Configuration;
                                                                               
public class FileCopyFromLocal {
   public static void main(String[] args) throws Exception {
     String localSrc = args[ 0 ];
     String dst = args[ 1 ];
     Configuration conf = new Configuration();
     FileSystem fs = FileSystem.get(conf);
     fs.copyFromLocalFile( new Path(localSrc), new Path(dst));
   }
}

执行步骤：

1
2
3
4
5
6
7
8
9
10
$ source $YARN_HOME /libexec/hadoop-config .sh
$javac FileCopyFromLocal.java -d class/
$jar -cvf filecopyfromlocal.jar -C class ./
$ export HADOOP_CLASSPATH=$CLASSPATH:filecopyfromlocal.jar
# suppose we have a file bar.txt in local disk,
# then we use the following command line to copy it to hdfs
$yarn FileCopyFromLocal bar.txt hdfs: ///user/grid/kissyou
# we can check the copied file on hdfs
$hadoop fs - ls /user/grid/
w-r--r--   3 grid supergroup   899 2013-11-17 01:33 /user/grid/kissyou

Code4.新建文件夹/文件

新建文件夹 FileSystem.mkdirs()

1
2
3
4
5
6
7
8
9
10
11
12
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
                                                                        
public class CreateDir {
   public static void main(String[] args) throws Exception {
     Configuration conf = new Configuration();
     String dst = args[ 0 ];
     FileSystem fs = FileSystem.get(conf);
     fs.mkdirs( new Path(dst));
   }
}

执行步骤:

1
2
3
4
5
6
7
8
$ source $YARN_HOME /libexec/hadoop-config .sh
$javac CreatDir.java -d class/
$jar -cvf createdir.jar -C class ./
$ export HADOOP_CLASSPATH=$CLASSPATH:createdir.jar
$yarn CreateDir hdfs: ///user/grid/kissyou
# we can check the created directory on hdfs
$hadoop fs - ls /user/grid/
w-r--r--   3 grid supergroup        899 2013-11-17 01:33 /user/grid/kissyou

 

新建文件 FileSystem.create()

1
2
3
4
5
6
7
8
9
10
11
12
13
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
                                                                  
public class CreateFile {
   public static void main(String[] args)
    throws Exception {
     Configuration conf = new Configuration();
     String dst = args[ 0 ];
     FileSystem fs = FileSystem.get(conf);
     fs.create( new Path(dst));
   }
}

执行步骤：

1
2
3
4
5
6
7
8
$ source $YARN_HOME /libexec/hadoop-config .sh
$javac CreatFile.java -d class/
$jar -cvf createfile.jar -C class ./
$ export HADOOP_CLASSPATH=$CLASSPATH:createfile.jar
$yarn CreatFile hdfs: ///user/grid/kissyou .txt
# we can check the created file on hdfs
$hadoop fs - ls /user/grid/
w-r--r--   3 grid supergroup        899 2013-11-17 01:33 /user/grid/kissyou .txt

注意三点：

1. 同一路径下不可以新建同名的文件foo和目录foo/, 否则运行时会抛出异常：fs.FileAlreadyExistsException

2. 我们进行copy复制、写文件操作时mkdirs()方法会被自动调用，故一般不会调用mkdirs()来手动创建目录；

3. 官方API文档里对mkdirs()的描述是:"Make the given file and all non-existent parents into directories", 所以在hadoop里创建文件的方法是recursive(递归的)，相当于linux里的:

1
% mkdir -p foo /bar/qzx

同样等价于hdfs-shell里的命令：

1
% $YARN_HOME/bin/hadoop fs -mkdir -p hdfs: ///foo/bar/qzx

Code5.Testing file and Getting fileStatus

提示： hadoop2.2中一些API已经deprecated, 以下代码全部用新的constructor,methods写成。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
import java.net.URI;
                                                            
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
                                                            
public class TestFileStatus {
   public static void main(String[] args) throws Exception {
     Configuration conf = new Configuration();
     FileSystem fs = FileSystem.get(conf);
     FileStatus stat = fs.getFileStatus( new Path(args[ 0 ]));
     if (stat.isDirectory()) {
       System.out.println(stat.getPath().toUri().getPath() +
       " is a directory." );
     } else if (stat.isFile()) {
       System.out.println(stat.getPath().toUri().getPath() +
       " is a file." );
       System.out.println(stat.getPath().toUri().getPath() +
       " getBlockSize: " + stat.getBlockSize());
       System.out.println(stat.getPath().toUri().getPath() +
       " getLen(): " + stat.getLen());
       System.out.println(stat.getPath().toUri().getPath() +
       " getOwner(): " + stat.getOwner());
       System.out.println(stat.getPath().toUri().getPath() +
       " getGroup(): " + stat.getGroup());
       System.out.println(stat.getPath().toUri().getPath() +
       " getAccessTime(): " + stat.getAccessTime());
       System.out.println(stat.getPath().toUri().getPath() +
       " getModificationTime(): " + stat.getModificationTime());
       System.out.println(stat.getPath().toUri().getPath() +
       " getPermission(): " + stat.getPermission());
       System.out.println(stat.getPath().toUri().getPath() +
       " hashcode(): " + stat.hashCode());
       System.out.println(stat.getPath().toUri().getPath() +
       " getPath(): " + stat.getPath());
     }
   }
}

利用下面我写的小脚本可以方便地编译并生成jar文件：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
#!/usr/bin/env sh
CWD=$( pwd )
export CLASSPATH= ''
. $YARN_HOME /libexec/hadoop-config .sh
                                          
if [ -d class ]; then
   rm -rf class/*
else
   mkdir $CWD /class
fi
                                          
for f in $@
   do
     srcs= "$srcs $CWD/$f"
   done
                                          
javac $srcs -d class
                                          
if [ $? - ne 0 ] ; then
   echo Error found when compiling the code!
   exit 1
fi
                                          
class=$( cat $1 | grep 'package' | sed -e "s/\(package\s\)\|\(;\)//g" \
        ).$( echo $1 | sed -r 's/(.*).java/echo \1/ge' )
jarfile=$( echo $1 | sed -r 's/(.*)\.java/echo \L\1\.jar/ge' )
                                          
jar -cvf $CWD/$jarfile -C $CWD /class . > /dev/null 2>&1
#echo jar -cvf $jarfile -C class .
echo -----------------CMD Lines-----------------------
echo source $YARN_HOME /libexec/hadoop-config .sh >sourceIt.sh
echo export HADOOP_CLASSPATH=$jarfile: '$CLASSPATH' >>sourceIt.sh
echo source  $CWD /sourceIt .sh
echo yarn $class  [ command args]...

执行步骤：

注意，为了简化起见，脚本定义:

1
2
3
4
5
6
7
8
9
10
$. /compack .sh args1 args2 args3...中args1为main class
$ chmod 500 compack.sh
$. /compack .sh TestFileStatus.java
#then the script will reminder you with the following message：
-----------------CMD Lines------------------
source sourceIt.sh
yarn TestFileStatus  [ command args]...
$ source sourceIt.sh
# suppose we have a file "part-m-00000" in hdfs，run yarn like below
$yarn TestFileStatus /user/hive/warehouse/footbl/part-m-00000

Output:

1
2
3
4
5
6
7
8
9
10
11
12
#output
/user/hive/warehouse/footbl/part-m-00000 is a file .
/user/hive/warehouse/footbl/part-m-00000 getBlockSize: 134217728
/user/hive/warehouse/footbl/part-m-00000 getLen(): 1275
/user/hive/warehouse/footbl/part-m-00000 getOwner(): grid
/user/hive/warehouse/footbl/part-m-00000 getGroup(): supergroup
/user/hive/warehouse/footbl/part-m-00000 getAccessTime(): 1384675957784
/user/hive/warehouse/footbl/part-m-00000 getModificationTime(): 1384675958368
/user/hive/warehouse/footbl/part-m-00000 getPermission(): rw-r--r--
/user/hive/warehouse/footbl/part-m-00000 hashcode(): 1096001837
/user/hive/warehouse/footbl/part-m-00000 getPath(): \
hdfs: //cluster1 :9000 /user/hive/warehouse/footbl/part-m-00000

Code6. Listing files & glob files

Listing files

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import java.net.URI;
                                        
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.Configuration;
                                        
public class ListFiles {
   public static void main(String[] args) throws Exception {
     Configuration conf = new Configuration();
     FileSystem fs = FileSystem.get(conf);
                                        
     Path[] paths = new Path[args.length];
     for ( int i = 0 ; i < args.length; i++) {
       paths[i] = new Path(args[i]);
     }
                                        
     FileStatus[] status = fs.listStatus(paths);
     Path[] pathList = FileUtil.stat2Paths(status);
     for (Path p : pathList) {
       System.out.println(p);
     }
   }
}

执行步骤：

1
2
3
% . /compack .sh ListFiles.java
% source sourceIt.s
% yarn ListFiles /user/hive/warehouse/footbl /user/grid/

output:

1
2
3
4
5
hdfs: //cluster1 :9000 /user/hive/warehouse/footbl/_SUCCESS
hdfs: //cluster1 :9000 /user/hive/warehouse/footbl/part-m-00000
hdfs: //cluster1 :9000 /user/grid/kiss
hdfs: //cluster1 :9000 /user/grid/kissyou
hdfs: //cluster1 :9000 /user/grid/missyou

Filter files

1
2
3
4
5
6
7
8
9
10
11
12
13
14
package org.apache.hadoop.MyCode;
           
import org.apache.hadoop.fs.PathFilter;
import org.apache.hadoop.fs.Path;
           
public class MyFilter implements PathFilter {
   private final String regex;
   public MyFilter(String regex) {
     this .regex = regex;
   }
   public boolean accept(Path path) {
     return path.toString().matches(regex);
   }
}

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
package org.apache.hadoop.MyCode;
          
import org.apache.hadoop.MyCode.MyFilter;
          
import java.net.URI;
          
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.conf.Configuration;
          
public class ListStatusWithPattern {
   public static void main(String[] args) throws Exception {
     Configuration conf = new Configuration();
     FileSystem fs = FileSystem.get(conf);
          
     FileStatus[] status = fs.globStatus( new Path(args[ 0 ]), new MyFilter(args[ 1 ]));
     Path[] pathList = FileUtil.stat2Paths(status);
          
     for ( Path p : pathList ) {
       System.out.println(p);
     }
   }
}

执行步骤：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
% source $YARN_HOME/libexec/hadoop-config.sh
% mkdir class
% javac ListStatusWithPattern.java  MyFilter.java -d class
% jar -cvf liststatuswithpattern.jar -C class ./
% export HADOOP_CLASSPATH=liststatuswithpattern.jar:$CLASSPATH
#suppose we have four files in hdfs like below
% hadoop fs -ls /user/grid/
Found 4 items
drwxr-xr-x   - grid supergroup          0 2013 - 11 - 17 01 : 06 /user/grid/kiss
-rw-r--r--   3 grid supergroup          0 2013 - 11 - 17 06 : 05 /user/grid/kissyou
drwxr-xr-x   - grid supergroup          0 2013 - 11 - 17 19 : 33 /user/grid/miss
-rw-r--r--   3 grid supergroup        899 2013 - 11 - 17 01 : 33 /user/grid/missyou
# then we can run the command to filter the matched file
% yarn jar liststatuswithpattern.jar org.apache.hadoop.MyCode.ListStatusWithPattern "hdfs:///user/grid/*ss*" "^.*grid/[k].*$

或者可以使用前面给出的脚本编译、打包并生成主要的执行yarn的代码：

1
2
3
4
5
6
7
8
9
10
$. /compack .sh ListStatusWithPattern.java MyFilter.java #注意，脚本默认输入的第一个源文件为main class所在文件
$ source source /home/grid/hadoop-2 .2.0-src /hadoop-dist/target/hadoop-2 .2.0 /task/DFSAPIProgramming/sourceIt .sh
-----------------CMD Lines-----------------------
source /home/grid/hadoop-2 .2.0-src /hadoop-dist/target/hadoop-2 .2.0 /task/DFSAPIProgramming/sourceIt .sh
yarn org.apache.hadoop.MyCode.MyFilter [ command args]...
$yarn org.apache.hadoop.MyCode.ListStatusWithPattern "hdfs:///user/grid/*ss*" "^.*grid/[k].*$"
output:
                                                                                        
hdfs: //cluster1 :9000 /user/grid/kiss
hdfs: //cluster1 :9000 /user/grid/kissyou

 

11.重写comparactor

要点：

  1. 类型比较在hadoop的mapreduce中非常重要，主要用来比较keys;

  2. hadoop中的RawComparator<T>接口继承自java的comparator, 主要用来比较序列化的objects;

  3. hadoop中的WritableComparator class更全面，提供了两种主要的比较方法，一种是直接比较object，另一种是较serialized representations;

　　　　举例来说 比较object:

compare(new IntWritable(21), new IntWritable(998));

比较serialized representations：

compare(serialize(new IntWritable(21)), serialize(new IntWritable(998)))

提示：继承关系

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
//1.org.apache.hadoop.io
Interface RawComparator<T>
  //description
  public interface RawComparator<T>
  extends Comparator<T>
  //method
  int compare( byte [] b1, int s1, int l1, byte [] b2, int s2, int l2)
//2.org.apache.hadoop.io
InterfaceWritableComparable<T>
  //description
public interface WritableComparable<T>
  extends Writable, Comparable<T>
  //method
Methods inherited from interface org.apache.hadoop.io.Writable
  readFields, write
//3.java.lang.Object
      |__ org.apache.hadoop.io.WritableComparator
  //description
public class WritableComparator
  extends Object
  implements RawComparator
  //methods
int compare( byte [] b1, int s1, int l1, byte [] b2, int s2, int l2) 
  int compare(Object a, Object b)
  int compare(WritableComparable a, WritableComparable b) 
  static int compareBytes( byte [] b1, int s1, int l1, byte [] b2, int s2, int l2)
//4.java.util
InterfaceComparator<T>
  //description
public interface Comparator<T>
  //methods
int compare(T o1, T o2)
  boolean equals(Object obj)


Code

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
import java.lang.Byte;
import java.io.DataOutputStream;
import java.io.ByteArrayOutputStream;
                                                                            
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.WritableComparator;
import org.apache.hadoop.io.RawComparator;
                                                                            
public class MyIntWritableComparactor {
                                                                            
   public static byte [] serialize(IntWritable writable) throws Exception {
     ByteArrayOutputStream out = new ByteArrayOutputStream();
     DataOutputStream dataOut = new DataOutputStream(out);
     writable.write(dataOut);
     dataOut.close();
     return out.toByteArray();
   }
                                                                            
   @SuppressWarnings ( "unchecked" )
   public static void main(String[] args) throws Exception {
     RawComparator<IntWritable> comparator = WritableComparator.get(IntWritable. class );
     IntWritable w1 = new IntWritable( 13 );
     IntWritable w2 = new IntWritable( 12 );
     System.out.println( "w1: " + w1 + " w2: " + w2);
     System.out.println( "w1 compare w2 : " + comparator.compare(w1,w2));
                                                                            
     byte [] b1 = serialize(w1);
     byte [] b2 = serialize(w2);
     System.out.println( "b1.length: " + b1.length);
     System.out.println( "b2.length: " + b2.length);
     System.out.println( "b1.length compare b2.length: " +
  comparator.compare(b1, 0 , b1.length, b2, 0 , b2.length));
                                                                            
   }
}

编译，运行：

1
2
3
4
5
6
7
// 注意我用的是hadoop2.2
% source $YARN_HOME /libexec/hadoop-config .sh
% mkdir myclass
% javac -d myclass MyIntWritableCompare.java
% jar -cvf  mycompare.jar -C myclass ./
% export HADOOP_CLASSPATH=$CLASSPATH:mycompare.jar
% yarn MyIntWritableCompare

输出：

1
2
3
4
5
6
% yarn jar text.jar Text
w1: 13 w2: 12
w1 compare w2 : 1
b1.length: 4
b2.length: 4
b1.length compare b2.length: 1

12.数据压缩

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import org.apache.hadoop.io.*;
import org.apache.hadoop.io.compress.CompressionOutputStream;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.ReflectionUtils;
                                                                    
public class StreamCompressor {
   public static void main(String[] args) throws Exception {
     String codeClassname = args[ 0 ];
     Class<?> codeClass = Class.forName(codeClassname);
     Configuration conf = new Configuration();
     CompressionCodec codec =
(CompressionCodec)ReflectionUtils.newInstance(codeClass,conf);
                                                                    
     CompressionOutputStream out = codec.createOutputStream(System.out);
     IOUtils.copyBytes(System.in,out, 4096 , false );
     out.finish();
   }
}
mapreduce

你可能感兴趣的:(test)

  • 四章-32-点要素的聚合 彩云飘过
    本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
  • webpack图片等资源的处理 dmengmeng
    需要的loaderfile-loader（让我们可以引入这些资源文件）url-loader（其实是file-loader的二次封装）img-loader（处理图片所需要的）在没有使用任何处理图片的loader之前，比如说css中用到了背景图片，那么最后打包会报错的，因为他没办法处理图片。其实你只想能够使用图片的话。只加一个file-loader就可以，打开网页能准确看到图片。{test:/\.(p
  • K近邻算法_分类鸢尾花数据集 _feivirus_ 算法机器学习和数学分类机器学习K近邻
    importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
  • 多线程之——ExecutorCompletionService 阿福德
    在我们开发中，经常会遇到这种情况，我们起多个线程来执行，等所有的线程都执行完成后，我们需要得到个线程的执行结果来进行聚合处理。我在内部代码评审时，发现了不少这种情况。看很多同学都使用正确，但比较啰嗦，效率也不高。本文介绍一个简单处理这种情况的方法：直接上代码：publicclassExecutorCompletionServiceTest{@TestpublicvoidtestExecutorCo
  • Linux查看服务器日志 TPBoreas 运维linux运维
    一、tail这个是我最常用的一种查看方式用法如下：tail-n10test.log查询日志尾部最后10行的日志;tail-n+10test.log查询10行之后的所有日志;tail-fn10test.log循环实时查看最后1000行记录(最常用的)一般还会配合着grep用，(实时抓包)例如:tail-fn1000test.log|grep'关键字'（动态抓包）tail-fn1000test.log
  • Python 课程10-单元测试 可愛小吉 Python教學python单元测试开发语言TDDunittest
    前言在现代软件开发中，单元测试已成为一种必不可少的实践。通过测试，我们可以确保每个功能模块在开发和修改过程中按预期工作，从而减少软件缺陷，提高代码质量。而测试驱动开发（TDD）则进一步将测试作为开发的核心部分，先编写测试，再编写代码，以测试为指导开发出更稳定、更可靠的代码。Python提供了强大的unittest模块，它是Python标准库的一部分，专门用于编写和执行单元测试。与其他测试框架相比，
  • [Swift]LeetCode943. 最短超级串 | Find the Shortest Superstring 黄小二哥 swift
    ★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★➤微信公众号：山青咏芝（shanqingyongzhi）➤博客园地址：山青咏芝（https://www.cnblogs.com/strengthen/）➤GitHub地址：https://github.com/strengthen/LeetCode➤原文地址：https://www.cnblogs.com/streng
  • Dockerfile（1） - FROM 指令详解 小菠萝测试笔记 dockerpythonjavacmd大数据
    FROM指明当前的镜像基于哪个镜像构建dockerfile必须以FROM开头，除了ARG命令可以在FROM前面FROM[--platform=][AS]FROM[--platform=][:][AS]FROM[--platform=][@][AS]小栗子FROMalpine:latest一个dockerfile可以有多个FROM可以有多个FROM来创建多个镜像，或区分构建阶段，将一个构建阶段作为另
  • 详解mybatis的一二级缓存以及缓存失效原因 仰望天花板 缓存数据库mybatisjavamysql
    数据库的大部分场景下是从磁盘读取，如果数据从内存进行读取，速度较比磁盘要快得多。但因为内存的容量有限，所以一般只会把使用和查询较多的数据缓存起来，以便快速反应，其他使用率不太多的继续存放在磁盘。mybatis分为一级缓存和二级缓存1.一级缓存一级缓存存放在SqlSqeeion上，默认开启1.1pojo@DatapublicclassRole{privateLongid;privateStringr
  • [移动端自动化] AppAgent介绍 大卫软件测试 自动化
    AUITestAgentAUITestAgent/README_zh.mdatmain·bz-lab/AUITestAgent(github.com)1/MobileAgentX-PLUG/MobileAgent:Mobile-Agent:ThePowerfulMobileDeviceOperationAssistantFamily(github.com)2/AppAgentAppAgent/RE
  • python比较字符串是否一样,Python如何确定两个字符串是否相同 鲁东学子 python比较字符串是否一样
    I'vetriedtounderstandwhenPythonstringsareidentical(akasharingthesamememorylocation).Howeverduringmytests,thereseemstobenoobviousexplanationwhentwostringvariablesthatareequalsharethesamememory:importsy
  • UI 自动化的页面对象管理神器 PO-Manager TesterHome
    原文由alex发表于TesterHome社区网站，点击原文链接可于作者直接交流。做UI自动化的同学都知道，UI自动化一个难点就是页面元素的变化，让自动化维护成为一个痛点。在此，为了减轻这个痛点，我在基于Page-Object模式的基础上开发了页面对象维护的工具。该工具为vscode的一个插件，可以通过vscode插件市场搜索PO-Manager来下载安装本文中的页面对象库文件基于json.一个元素
  • 【C#Mutex】 initiallyOwned错误引起的缺陷 闻缺陷则喜何志丹 c#互斥量进程同步WaitOneinitiallyOwned临界区
    临界区只能对同一个进程的不同线程同步，互斥量可以跨进程同步。典型应用场景：两个exe会操作同一个注册表项。错误代码封装类publicclassCMutexHelp:IDisposable{publicCMutexHelp(){s_mutex.WaitOne();}privatestaticMutexs_mutex=newMutex(true,"Time202409091406ab");public
  • python读写CSV文件 bcbobo21cn .Netpython开发语言机器学习CSV
    做数据分析，有时候要分析的数据在CSV文件里；先看一下python读写CSV文件；importpandasaspddf=pd.read_csv('test1.csv')print(df)print('')print(df.head(2))companyname=["A1","B2","E3","F4"]legperson=["lier","yanqi","wangwu","zhangsan"]le
  • 基于Python执行lua脚本 xu-jssy Python自动化脚本pythonlua自动化rpa
    一、依赖安装pipinstalllupa二、源码将lua文件存放在base_path路径，将lua文件名称（不包含后缀名）传递给lua_runner函数即可importmultiprocessingimportlupa#lua文件存放位置base_path='D:\\test\\lua'classLuaFuncion:#创建Lua运行时环境lua=lupa.LuaRuntime(unpack_re
  • Presto【基础 01】简介+架构+数据源+数据模型 2401_84254343 程序员架构
    一个Catalog包含Schema和Connector。例如，配置JMX的Catalog，通过JXMConnector访问JXM信息。当执行一条SQL语句时，可以同时运行在多个Catalog。Presto处理table时，是通过表的完全限定（fully-qualified）名来找到Catalog。例如，一个表的权限定名是hive.test_data.test，则test是表名，test_data是
  • 安装依赖时报错：npm ERR! code ERESOLVE npm ERR! ERESOLVE could not resolve npm ERR! npm ERR! While resolving 帅气绝非偶然 npm前端node.js
    这里我在npmivant@latest-v2或者其他依赖包的时候出现以上错误可能是npm版本问题报错解决方法：在安装命令后边加上1|--legacy-peer-deps或者--force如图中的指令：
  • HALTT4LLM：大型语言模型的幻觉检测指标 谢忻含Norma
    HALTT4LLM：大型语言模型的幻觉检测指标haltt4llmThisprojectisanattempttocreateacommonmetrictotestLLM'sforprogressineliminatinghallucinationswhichisthemostseriouscurrentprobleminwidespreadadoptionofLLM'sformanyrealpur
  • 5-【JavaWeb】JUnit 单元测试及JUL 日志系统 weixin_44329069 JavaWebjunit单元测试
    1.使用JUnit进行单元测试JUnit是Java中非常流行的单元测试框架，MyBatis与JUnit可以很好地结合，来测试持久层代码的正确性。1.1添加JUnit依赖在使用JUnit之前，需要在pom.xml中引入JUnit依赖。junitjunit4.13.2test1.2单元测试基本结构假设我们要测试UserMapper中的getUserById方法，测试代码如下：importorg.apa
  • Python OS模块操作文件 小丫头呀 #Python随笔python
    在Python中，可以使用os模块主要对文件进行重命名，删除等一些操作以下为os模块常用的方法示例:重命名操作importosos.rename('Test.txt','Test_重命名.txt')#参数1：要重命名的源文件#参数2：对源文件要重新命名的名称删除文件importosos.remove('Test_重命名.txt')#参数为要删除的源文件名称，如果该文件不存在则抛出异常创建空文件夹i
  • 学生管理系统 wu1113_ java
    文章目录1.案例需求2.编程思路3.运行效果4.案例源码5.小结1.案例需求上次我们完成了一个酒店管理系统，这次我们使用面向对象思维，完成一个学生管理系统。实现一个简单的学生管理系统，它具备5个功能，分别为显示所有的学生信息添加学生修改学生信息删除学生退出本系统功能2.编程思路首先我们要额外定义一个Studnet类，包括学生的学号、姓名、年龄、性别等属性。其次我们定义一个测试类Test，在测试类的
  • VUE实现大小缩放轮播图 书边事. vue.js前端javascript
    效果图import{ref,computed,reactive,watch,onMounted}from'vue';exportdefault{props:{/***轮播数据来源*/source:{type:Array,default:()=>[{img:require('@/assets/imgs/test/1.png')},{img:require('@/assets/imgs/test/1.
  • python 判断 ‘NoneType’的方法 cuisidong1997 文本转换python
    的错误时说明需要进行判断，而对‘NoneType’进行判断时直接使用‘isNone’即可，如下：iftextisNone:print('testis’+None)else:print('testisnot’+None)a=re.match(r’主叫号码(.*)客户姓名’,r’2、主叫号码：15558191990;3、客户姓名：韩东远;')print(type(a))ifaisNone:print(
  • Unity3D多线程UI之ScrollYExtand 胡强_79a4
    先附上git地址https://github.com/huqiang0204/huqiang.UnitySubThreadUI示例代码请看ScrollExTestPage可以绑定三种模型，头部，尾部，和中间数据部分这里只用到了中间数据模型和头部模型Listdatas=newList();ScrollYExtand.DataTemplatetmp=newScrollYExtand.DataTempl
  • Ihandy Unity开发 面试题 2024 z2014z 面试职场和发展
    1.当i>10时，调用test是否会出现死锁？原因是什么？voidtest(inti){lock(this){if(i>10){i--;test(i);}}}2.有一个表有n条记录，每条记录有两个字段，weight和id，写出程序保证id出现的概率与权重相同3.从1到n，一共有多少个14.二叉树的层次遍历5.给定两个链表，将对应数值相加6.检查两棵树是否相同
  • PCIe进阶之Gen3 Physical Layer Transmit Logic（二） 芯芯之火，可以燎原 PCIe进阶硬件工程信息与通信
    1文章概述本文是接着上面一篇文章《Gen3PhysicalLayerTransmitLogic（一）》继续对Gen3PhysicalLayerTransmitLogic做进一步的解析，具体包含ByteStriping和Scrambling以及Serializer。1.1ByteStripingGen3x1OrderedSetConstruction如下所示：OrderedSetBlock由一个Sy
  • 避免 PyCharm 将该 Python 脚本作为测试运行 MonkeyKing.sun pythonpycharmide
    为了避免PyCharm将该Python脚本作为测试运行（即pytest自动捕获），你可以做以下几步来确保该脚本作为普通的Python程序执行，而不是作为pytest运行。解决方案：1.确保文件名不以test_开头：Pytest会自动检测以test_开头的文件，并尝试将其作为测试运行。如果你的文件名是test_milvus.py，pytest会尝试收集并运行它。可以重命名文件为不包含test_的前缀
  • PostgreSQL | 生成UUID 报错：HINT: No function matches the given name and argument types 慌途L PostgreSQLpostgresqluuiduuid_generategen_random_uuid
    在PG数据库上新建表结构：CREATETABLE"public"."t_test"("guid"uuidNOTNULLDEFAULTuuid_generate_v4(),"data"jsonb,"create_time"timestamptz(6)DEFAULTnow(),CONSTRAINT"test_pkey"PRIMARYKEY("guid"));报错：ERROR:functionuuid_
  • vue3 + vite + js 配置Eslint + prettier 菜鸡的崛起 vuejavascriptvue
    第一步安装ESlintnpmieslint@latest-D或pnpmaddeslint@latest-D/pnpminstalleslint@latest-D或yarnaddeslint@latest-D第二步初始化Eslintnpxeslint--init执行npxeslint--init控制台会出现以下步骤1）你想如何使用ESLint（选择最后一个）Youcanalsorunthiscomm
  • oracle实验-RMAN的PIPE接口 congqingm32098 数据库
    RMAN的PIPE接口RMAN除了支持交互式和批处理式，还支持一种PIPE的接口，通过这种PIPE接口，可以在ORACLE中将各种命令发送给RMAN。首先，以PIPE方式启动RMAN，其中P1是管道的名称：F:>RMANPIPEP1TARGET/@TESTNOCATALOG恢复管理器:版本9.2.0.4.0-ProductionCopyright(c)1995,2002,OracleCorpora
  • ztree异步加载 3213213333332132 JavaScriptAjaxjsonWebztree
    相信新手用ztree的时候,对异步加载会有些困惑，我开始的时候也是看了API花了些时间才搞定了异步加载，在这里分享给大家。 我后台代码生成的是json格式的数据，数据大家按各自的需求生成，这里只给出前端的代码。 设置setting，这里只关注async属性的配置 var setting = { //异步加载配置
  • thirft rpc 具体调用流程 BlueSkator 中间件rpcthrift
    Thrift调用过程中，Thrift客户端和服务器之间主要用到传输层类、协议层类和处理类三个主要的核心类，这三个类的相互协作共同完成rpc的整个调用过程。在调用过程中将按照以下顺序进行协同工作：         （1）     将客户端程序调用的函数名和参数传递给协议层（TProtocol），协议
  • 异或运算推导, 交换数据 dcj3sjt126com PHP异或^
    /* * 5 0101 * 9 1010 * * 5 ^ 5 * 0101 * 0101 * ----- * 0000 * 得出第一个规律: 相同的数进行异或, 结果是0 * * 9 ^ 5 ^ 6 * 1010 * 0101 * ---- * 1111 * * 1111 * 0110 * ---- * 1001
  • 事件源对象 周华华 JavaScript
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&q
  • MySql配置及相关命令 g21121 mysql
            MySQL安装完毕后我们需要对它进行一些设置及性能优化，主要包括字符集设置，启动设置，连接优化，表优化，分区优化等等。           一 修改MySQL密码及用户      
  • [简单]poi删除excel 2007超链接 53873039oycg Excel
          采用解析sheet.xml方式删除超链接，缺点是要打开文件2次,代码如下:      public void removeExcel2007AllHyperLink(String filePath) throws Exception { OPCPackage ocPkg = OPCPac
  • Struts2添加 open flash chart 云端月影
    准备以下开源项目： 1. Struts 2.1.6 2. Open Flash Chart 2 Version 2 Lug Wyrm Charmer (28th, July 2009) 3. jofc2，这东西不知道是没做好还是什么意思，好像和ofc2不怎么匹配，最好下源码，有什么问题直接改。 4. log4j 用eclipse新建动态网站，取名OFC2Demo，将Struts2 l
  • spring包详解 aijuans spring
    下载的spring包中文件及各种包众多，在项目中往往只有部分是我们必须的，如果不清楚什么时候需要什么包的话，看看下面就知道了。 aspectj目录下是在Spring框架下使用aspectj的源代码和测试程序文件。Aspectj是java最早的提供AOP的应用框架。 dist 目录下是Spring 的发布包，关于发布包下面会详细进行说明。 docs&nb
  • 网站推广之seo概念 antonyup_2006 算法Web应用服务器搜索引擎Google
       持续开发一年多的b2c网站终于在08年10月23日上线了。作为开发人员的我在修改bug的同时，准备了解下网站的推广分析策略。     所谓网站推广，目的在于让尽可能多的潜在用户了解并访问网站，通过网站获得有关产品和服务等信息，为最终形成购买决策提供支持。     网站推广策略有很多，seo，email，adv
  • 单例模式,sql注入,序列 百合不是茶 单例模式序列sql注入预编译
      序列在前面写过有关的博客,也有过总结,但是今天在做一个JDBC操作数据库的相关内容时 需要使用序列创建一个自增长的字段  居然不会了,所以将序列写在本篇的前面    1,序列是一个保存数据连续的增长的一种方式; 序列的创建; CREATE SEQUENCE seq_pro 2 INCREMENT BY 1 -- 每次加几个 3
  • Mockito单元测试实例 bijian1013 单元测试mockito
    Mockito单元测试实例： public class SettingServiceTest { private List<PersonDTO> personList = new ArrayList<PersonDTO>(); @InjectMocks private SettingPojoService settin
  • 精通Oracle10编程SQL(9)使用游标 bijian1013 oracle数据库plsql
    /* *使用游标 */ --显示游标 --在显式游标中使用FETCH...INTO语句 DECLARE CURSOR emp_cursor is select ename,sal from emp where deptno=1; v_ename emp.ename%TYPE; v_sal emp.sal%TYPE; begin ope
  • 【Java语言】动态代理 bit1129 java语言
      JDK接口动态代理 JDK自带的动态代理通过动态的根据接口生成字节码(实现接口的一个具体类)的方式，为接口的实现类提供代理。被代理的对象和代理对象通过InvocationHandler建立关联   package com.tom; import com.tom.model.User; import com.tom.service.IUserService;
  • Java通信之URL通信基础 白糖_ javajdkwebservice网络协议ITeye
    java对网络通信以及提供了比较全面的jdk支持，java.net包能让程序员直接在程序中实现网络通信。 在技术日新月异的现在，我们能通过很多方式实现数据通信，比如webservice、url通信、socket通信等等，今天简单介绍下URL通信。 学习准备：建议首先学习java的IO基础知识   URL是统一资源定位器的简写，URL可以访问Internet和www，可以通过url
  • 博弈Java讲义 - Java线程同步 (1) boyitech java多线程同步锁
      在并发编程中经常会碰到多个执行线程共享资源的问题。例如多个线程同时读写文件，共用数据库连接，全局的计数器等。如果不处理好多线程之间的同步问题很容易引起状态不一致或者其他的错误。    同步不仅可以阻止一个线程看到对象处于不一致的状态，它还可以保证进入同步方法或者块的每个线程，都看到由同一锁保护的之前所有的修改结果。处理同步的关键就是要正确的识别临界条件（cri
  • java-给定字符串，删除开始和结尾处的空格，并将中间的多个连续的空格合并成一个。 bylijinnan java
    public class DeleteExtraSpace { /** * 题目：给定字符串，删除开始和结尾处的空格，并将中间的多个连续的空格合并成一个。 * 方法1.用已有的String类的trim和replaceAll方法 * 方法2.全部用正则表达式，这个我不熟 * 方法3.“重新发明轮子”，从头遍历一次 */ public static v
  • An error has occurred.See the log file错误解决！ Kai_Ge MyEclipse
    今天早上打开MyEclipse时，自动关闭！弹出An error has occurred.See the log file错误提示！ 很郁闷昨天启动和关闭还好着！！！打开几次依然报此错误，确定不是眼花了！ 打开日志文件！找到当日错误文件内容： --------------------------------------------------------------------------
  • [矿业与工业]修建一个空间矿床开采站要多少钱? comsci
           地球上的钛金属矿藏已经接近枯竭...........        我们在冥王星的一颗卫星上面发现一些具有开采价值的矿床.....        那么,现在要编制一个预算,提交给财政部门..
  • 解析Google Map Routes dai_lm google api
    为了获得从A点到B点的路劲，经常会使用Google提供的API，例如 [url] http://maps.googleapis.com/maps/api/directions/json?origin=40.7144,-74.0060&destination=47.6063,-122.3204&sensor=false [/url] 从返回的结果上，大致可以了解应该怎么走，但
  • SQL还有多少“理所应当”？ datamachine sql
    转贴存档，原帖地址：http://blog.chinaunix.net/uid-29242841-id-3968998.html、http://blog.chinaunix.net/uid-29242841-id-3971046.html！ ------------------------------------华丽的分割线--------------------------------
  • Yii使用Ajax验证时，如何设置某些字段不需要验证 dcj3sjt126com Ajaxyii
    经常像你注册页面,你可能非常希望只需要Ajax去验证用户名和Email,而不需要使用Ajax再去验证密码,默认如果你使用Yii 内置的ajax验证Form,例如: $form=$this->beginWidget('CActiveForm', array(        'id'=>'usuario-form',&
  • 使用git同步网站代码 dcj3sjt126com crontabgit
    转自:http://ued.ctrip.com/blog/?p=3646?tn=gongxinjun.com   管理一网站，最开始使用的虚拟空间，采用提供商支持的ftp上传网站文件，后换用vps，vps可以自己搭建ftp的，但是懒得搞，直接使用scp传输文件到服务器，现在需要更新文件到服务器，使用scp真的很烦。发现本人就职的公司，采用的git+rsync的方式来管理、同步代码，遂
  • sql基本操作 蕃薯耀 sqlsql基本操作sql常用操作
    sql基本操作 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2015年6月1日 17:30:33 星期一     &
  • Spring4+Hibernate4+Atomikos3.3多数据源事务管理 hanqunfeng Hibernate4
    Spring3+后不再对JTOM提供支持，所以可以改用Atomikos管理多数据源事务。Spring2.5+Hibernate3+JTOM参考：http://hanqunfeng.iteye.com/blog/1554251Atomikos官网网站：http://www.atomikos.com/   一.pom.xml <dependency> <
  • jquery中两个值得注意的方法one()和trigger()方法 jackyrong trigger
      在jquery中，有两个值得注意但容易忽视的方法，分别是one()方法和trigger()方法,这是从国内作者<<jquery权威指南》一书中看到不错的介绍 1） one方法     one方法的功能是让所选定的元素绑定一个仅触发一次的处理函数，格式为    one(type,${data},fn) &nb
  • 拿工资不仅仅是让你写代码的 lampcy 工作面试咨询
    这是我对团队每个新进员工说的第一件事情。这句话的意思是，我并不关心你是如何快速完成任务的，哪怕代码很差，只要它像救生艇通气门一样管用就行。这句话也是我最喜欢的座右铭之一。 这个说法其实很合理：我们的工作是思考客户提出的问题，然后制定解决方案。思考第一，代码第二，公司请我们的最终目的不是写代码，而是想出解决方案。 话粗理不粗。 付你薪水不是让你来思考的，也不是让你来写代码的，你的目的是交付产品
  • 架构师之对象操作----------对象的效率复制和判断是否全为空 nannan408 架构师
    1.前言。   如题。 2.代码。 (1)对象的复制，比spring的beanCopier在大并发下效率要高，利用net.sf.cglib.beans.BeanCopier Src src=new Src(); BeanCopier beanCopier = BeanCopier.create(Src.class, Des.class, false);
  • ajax 被缓存的解决方案 Rainbow702 JavaScriptjqueryAjaxcache缓存
    使用jquery的ajax来发送请求进行局部刷新画面，各位可能都做过。 今天碰到一个奇怪的现象，就是，同一个ajax请求，在chrome中，不论发送多少次，都可以发送至服务器端，而不会被缓存。但是，换成在IE下的时候，发现，同一个ajax请求，会发生被缓存的情况，只有第一次才会被发送至服务器端，之后的不会再被发送。郁闷。 解决方法如下： ① 直接使用 JQuery提供的 “cache”参数，
  • 修改date.toLocaleString()的警告 tntxia String
      我们在写程序的时候，经常要查看时间，所以我们经常会用到date.toLocaleString()，但是date.toLocaleString()是一个过时 的API，代替的方法如下：   package com.tntxia.htmlmaker.util; import java.text.SimpleDateFormat; import java.util.
  • 项目完成后的小总结 xiaomiya js总结项目
    项目完成了，突然想做个总结但是有点无从下手了。 做之前对于客户端给的接口很模式。然而定义好了格式要求就如此的愉快了。 先说说项目主要实现的功能吧 1，按键精灵 2，获取行情数据 3，各种input输入条件判断 4，发送数据（有json格式和string格式） 5，获取预警条件列表和预警结果列表， 6，排序， 7，预警结果分页获取 8，导出文件（excel，text等） 9，修
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他