sqoop2 去除单引号与自定义分隔符

1、缘由（需求）

      正在做oracle到hive的数据导入，遇到数据分隔问题，sqoop2 默认分隔式逗号，我使用hive 也是逗号分隔，发现数据中含有逗号的字段，hive把它分成了好几个。于是去网上找自定义分隔的解决方法，但是无奈这方面的资料很少。不解决此问题，工作无法进行。胜了最后一个法宝，编译源码。

2、去下载跟你使用的一个版本的sqoop2 源码（最好），使用maven构建，（注意，打包时最好跳过test，进行编译，不然可能会报错）

3、修改代码：

       定位：应为是写到hdfs上，所谓我认识应该写该hdfs-connector的代码，发现代码中有定义默认分隔符的，把它改成 制表符，编译->上传后，发现结果没有改变。接着思考，发现类：org.apache.sqoop.connector.hdfs.hdfsWriter.HdfsTextWriter下有个write方法，并且有个HdfsConstants.DEFAULT_RECORD_DELIMITER（每行的记录的默认分隔），

这个是每个记录以逗号分隔的的数据，现在要写个方法将其分开（把单引号作为一种标志把，字段的逗号跟非分隔符逗号分开）

4、下面是以逗号分隔改为以 ‘\t’分隔的代码（org.apache.sqoop.connector.hdfs.hdfsWriter.HdfsTextWriter整个类）

   

package org.apache.sqoop.connector.hdfs.hdfsWriter;

import com.google.common.base.Charsets;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.sqoop.connector.hdfs.HdfsConstants;

import java.io.BufferedWriter;
import java.io.DataOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;

public class HdfsTextWriter extends GenericHdfsWriter {

  private BufferedWriter filewriter;

  @Override
  public void initialize(Path filepath, Configuration conf, CompressionCodec codec) throws IOException {
    FileSystem fs = filepath.getFileSystem(conf);

    DataOutputStream filestream = fs.create(filepath, false);
    if (codec != null) {
      filewriter = new BufferedWriter(new OutputStreamWriter(
              codec.createOutputStream(filestream, codec.createCompressor()),
              Charsets.UTF_8));
    } else {
      filewriter = new BufferedWriter(new OutputStreamWriter(
              filestream, Charsets.UTF_8));
    }
  }

  @Override
  public void write(String csv) throws IOException {
    filewriter.write(transfer(csv) + HdfsConstants.DEFAULT_RECORD_DELIMITER);

  }

  @Override
  public void destroy() throws IOException {
    filewriter.close();
  }
  private String transfer(String csv){
		String words[]=csv.split(",");
		StringBuffer sb=new StringBuffer();
		boolean flag1=false;
		boolean flag2=false;
		boolean flag3=false;
		String temp="";
		for (int i = 0; i < words.length; i++) {
			if(words[i].equalsIgnoreCase("NULL")){
				words[i]="-1";
			}
			flag1=words[i].startsWith("'");
			flag2=words[i].endsWith("'");
			if(flag1&&flag2){
				sb.append(words[i]);
				sb.append('\t');
			}else if(flag1&&!flag2){
				temp=words[i]+",";
				flag3=true;
			}else if(!flag1&&flag2){
				temp=temp+","+words[i];
				flag3=false;			
				sb.append(temp);
				sb.append('\t');
			}else{
				if(flag3){
					temp=temp+words[i];
				}else{
					sb.append(words[i]);
					sb.append('\t');
				}
			}
		}
		return sb.toString().replace("'", "").trim();
		//return sb.toString().trim();
	}

}

5、打包，及上传到sqoop2文件夹/webapps/sqoop/WEB-INF/lib（或许由于版本不一样而有差别，请选择connector所在的文件夹），在上传之前要把hdfs-connector，mv 到其他文件夹（为了保险），也可以删掉（不建议），也可以把hdfs-connector里的名字改掉（未试验），重启sqoop2。执行任务看看效果。

6、完成。