Hadoop中的DBOutputFormat

一：背景

为了方便MapReduce直接访问关系型数据库(MYSQL、Oracle等)，Hadoop提供了DBInputFormat和DBOutputFormat两个类，通过DBInputFormat类把数据库表中的数据导入到HDFS中，通过DBOutputFormat类把数MapReduce产生的结果导出到数据库表中。

二：技术实现

我们接上一篇文章即通过通过DBInputFormat将数据库表中的数据导入到HDFS中，这里我们讲的是通过DBOutputFormat类将MapReduce产生的结果导出到数据库表中，我们在同一个数据库即myDB中创建user表，如下：

create table user(id INTEGER NOT NULL PRIMARY KEY,name VARCHAR(32) NOT NULL);

数据准备：在数据文件上传到HDFS中，数据如下图：

         

我这里使用的hadoop版本为hadoop1.X，具体的代码和相关的知识点我们写在注释里了，代码如下：

public class MyDBOutputFormat {

	// 定义输出路径
	private static final String INPUT_PATH = "hdfs://liaozhongmin:9000/user";

	public static void main(String[] args) {

		try {
			// 创建配置信息
			Configuration conf = new Configuration();

			/*
			 * //对Map端的输出进行压缩
			 *  conf.setBoolean("mapred.compress.map.output", true); 
			 * //设置map端输出使用的压缩类
			 *  conf.setClass("mapred.map.output.compression.codec",GzipCodec.class, CompressionCodec.class); 
			 * //对reduce端输出进行压缩 
			 * conf.setBoolean("mapred.output.compress", true); 
			 * //设置reduce端输出使用的压缩类
			 * conf.setClass("mapred.output.compression.codec", GzipCodec.class, CompressionCodec.class);
			 */

			// 添加配置文件(我们可以在编程的时候动态配置信息，而不需要手动去改变集群)
			/*
			 * conf.addResource("classpath://hadoop/core-site.xml");
			 * conf.addResource("classpath://hadoop/hdfs-site.xml");
			 * conf.addResource("classpath://hadoop/hdfs-site.xml");
			 */

			// 通过conf创建数据库配置信息
			DBConfiguration.configureDB(conf, "com.mysql.jdbc.Driver", "jdbc:mysql://liaozhongmin:3306/myDB", "root", "134045");
			
			/*// 创建文件系统
			FileSystem fileSystem = FileSystem.get(new URI(OUT_PATH), conf);

			// 如果输出目录存在就删除
			if (fileSystem.exists(new Path(OUT_PATH))) {
				fileSystem.delete(new Path(OUT_PATH), true);
			}*/

			// 创建任务
			Job job = new Job(conf, MyDBOutputFormat.class.getName());

			// 1.1 设置输入数据格式化的类和设置数据来源
			job.setInputFormatClass(TextInputFormat.class);
			FileInputFormat.setInputPaths(job, INPUT_PATH);
			//1.2 设置自定义的Mapper类和Mapper输出的key和value的类型
			job.setMapperClass(MyDBOutputFormatMapper.class);
			job.setMapOutputKeyClass(LongWritable.class);
			job.setMapOutputValueClass(User.class);

			// 1.3 设置分区和reduce数量(reduce的数量和分区的数量对应，因为分区只有一个，所以reduce的个数也设置为一个)
			job.setPartitionerClass(HashPartitioner.class);
			job.setNumReduceTasks(1);

			// 1.4 排序、分组
			// 1.5 归约
			// 2.1 Shuffle把数据从Map端拷贝到Reduce端

			// 2.2 指定Reducer类和输出key和value的类型
			job.setReducerClass(MyDBOutputFormatReducer.class);

			// 2.3 设置输出的格式化类和设置将reduce端输出的key值对应user表
			job.setOutputFormatClass(DBOutputFormat.class);
			DBOutputFormat.setOutput(job, "user", new String[] { "id", "name" });

			// 提交作业 然后关闭虚拟机正常退出
			System.exit(job.waitForCompletion(true) ? 0 : 1);

		} catch (Exception e) {
			e.printStackTrace();
		}
	}

	/**
	 *  自定义Mapper类
	 * @author 廖钟民
	 * time : 2015年1月15日下午3:37:31
	 * @version
	 */
	public static class MyDBOutputFormatMapper extends Mapper<LongWritable, Text, LongWritable, User>{
		
		//创建写出去的value类型
		private User user = new User();
		
		protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, LongWritable, User>.Context context) throws IOException,
				InterruptedException {
			//对value进行切分
			String[] splits = value.toString().split("\t");
			//封装user对象
			user.setId(Integer.parseInt(splits[0]));
			user.setName(splits[1]);
			//把user对象作为value写出去
			context.write(key, user);
		}
	}
	

	/**
	 * 关键是写出去的key要为User对象
	 * 写出去的value值无所谓，为NullWritable都可以
	 * @author 廖钟民
	 * time : 2015年1月15日下午3:44:24
	 * @version
	 */
	public static class MyDBOutputFormatReducer extends Reducer<LongWritable, User, User, Text> {
		
		protected void reduce(LongWritable key, Iterable<User> values, Reducer<LongWritable, User, User, Text>.Context context) throws IOException,
				InterruptedException {
			for (User user : values){
				context.write(user, new Text(new Text(user.getName())));
			}
		}
		
	}
}
/**
 * 自定义实体对象要实现
 * 因为使用了DBOutputFormat，所以要实现DBWritable接口
 * @author 廖钟民
 * time : 2015年1月15日下午3:46:35
 * @version
 */
class User implements Writable, DBWritable {

	private int id;
	private String name;

	// 无参构造函数
	public User() {
	}

	public int getId() {
		return id;
	}

	public void setId(int id) {
		this.id = id;
	}

	public String getName() {
		return name;
	}

	public void setName(String name) {
		this.name = name;
	}

	// 实现DBWritable接口要实现的方法
	public void readFields(ResultSet resultSet) throws SQLException {
		this.id = resultSet.getInt(1);
		this.name = resultSet.getString(2);
	}

	// 实现DBWritable接口要实现的接口
	public void write(PreparedStatement preparedStatement) throws SQLException {
		preparedStatement.setInt(1, this.id);
		preparedStatement.setString(2, this.name);
	}

	// 实现Writable接口要实现的方法
	public void readFields(DataInput dataInput) throws IOException {
		this.id = dataInput.readInt();
		this.name = Text.readString(dataInput);
	}

	// 实现Writable接口要实现的接口
	public void write(DataOutput dataOutput) throws IOException {
		dataOutput.writeInt(this.id);
		Text.writeString(dataOutput, this.name);
	}

	@Override
	public String toString() {
		return "User [id=" + id + ", name=" + name + "]";
	}

}

程序运行的结果如下：