JAVA从文本文件(txt)读取一百万条数据保存到数据库

Java读取大文本文件保存到数据库

1、追求效率

　　将文件读取到内存，效率比较高，经过测试读取1G左右的文本文件，机器内存消耗达到接近3个G，对内存消耗太大，不建议使用

2、通过调用第三方类库实现

　　通过开源的Apache Commons IO流类库提供的LineIterator对每行数据读取，底层通过jdk中提供的BufferedReader实现，对内存的开销不是很大

3、具体实现步骤

创建java项目引入pom依赖

 1 
 2         <dependency>
 3             <groupId>commons-iogroupId>
 4             <artifactId>commons-ioartifactId>
 5             <version>2.4version>
 6         dependency>
 7         
 8         <dependency>
 9             <groupId>ojdbcgroupId>
10             <artifactId>ojdbcartifactId>
11             <version>14version>
12         dependency>

具体实现代码

  1 package com.sun.file;
  2 
  3 import java.io.File;
  4 import java.io.IOException;
  5 import java.sql.Connection;
  6 import java.sql.DriverManager;
  7 import java.sql.PreparedStatement;
  8 import java.sql.SQLException;
  9 import java.util.Date;
 10 
 11 import org.apache.commons.io.FileUtils;
 12 import org.apache.commons.io.LineIterator;
 13 
 14 public class ReadCustomerFile {
 15     
 16     int idx;
 17     Connection conn = null;
 18     PreparedStatement pstmt = null;    
 19     
 20     /**
 21      * 使用commons-io.jar包的FileUtils的类进行读取
 22      * txt中内容文件的分割必须为|，java中需要加转译符号
 23      * @Title: readTxtFileByFileUtils 
 24      * @author sunt  
 25      * @date 2017年11月13日
 26      * @return void
 27      */
 28     public void readTxtFileByFileUtils(String fileName) {
 29         File file = new File(fileName);
 30         
 31         dbConnection();
 32         
 33         try {
 34             LineIterator lineIterator = FileUtils.lineIterator(file, "UTF-8");
 35             while (lineIterator.hasNext()) {
 36                 String line = lineIterator.nextLine();
 37                 
 38                 // 行数据转换成数组
 39                 String[] custArray = line.split("\\|");
 40                 insertCustInfo(custArray,"SQLLOADER");
 41                 Thread.sleep(10);
 42             }
 43         } catch (IOException e) {
 44             e.printStackTrace();
 45         } catch (InterruptedException e) {
 46             e.printStackTrace();
 47         } finally {
 48             dbDisConnection();
 49         }
 50     }
 51     
 52    /**
 53     * 数据入库的逻辑需要自己实现
 54     *  sqlBf.append("INSERT INTO TEMP_CUST_INFO(CUST_NO, CUST_NM, MOB_NO1)                \n");
 55             sqlBf.append("          VALUES(?                                                    \n");
 56             sqlBf.append("               , ?                                                    \n");
 57             sqlBf.append("               , ?)                                                   \n");
 58             
 59             拼接sql最后结尾的括号不能丢失
 60     * @Title: insertCustInfo 
 61     * @author sunt  
 62     * @date 2017年11月13日
 63     * @return void
 64     */
 65     public void insertCustInfo(String[] strArray,String tableName) {         
 66         try {
 67             StringBuffer sqlBf = new StringBuffer();
 68             sqlBf.setLength(0);
 69             
 70             sqlBf.append("INSERT INTO "+tableName+"(ID, NAME)                \n");
 71             sqlBf.append("          VALUES(?                                                    \n");
 72             sqlBf.append("               , ?)                                                   \n");
 73             
 74             pstmt = conn.prepareStatement(sqlBf.toString());
 75             idx = 1;
 76             pstmt.clearParameters();
 77            // pstmt.setInt(idx++, Integer.parseInt(strArray[0]));
 78             pstmt.setString(idx++, strArray[0]);
 79             pstmt.setString(idx++, strArray[1]);
 80             
 81             pstmt.executeUpdate();            
 82         } catch (SQLException e) {
 83             e.printStackTrace();
 84         } finally {
 85             if (pstmt != null) {
 86                 try {
 87                     pstmt.close();
 88                 } catch (SQLException e) {
 89                     e.printStackTrace();
 90                 }
 91             }
 92         }
 93     }
 94     
 95     /**
 96      * 连接数据库的基本信息
 97      * @Title: dbConnection 
 98      * @author sunt  
 99      * @date 2017年11月13日
100      * @return Connection
101      */
102     public Connection dbConnection() {
103         try {
104             Class.forName("oracle.jdbc.driver.OracleDriver");
105             
106             String url = "jdbc:oracle:thin:@192.168.40.30:1521:orcl";  
107             String user = "ACTIVITY1";  
108             String password = "ACTIVITY1"; 
109             
110             conn = DriverManager.getConnection(url, user, password);    
111             System.out.println("Connection 开启！");
112         } catch (ClassNotFoundException e) {
113             e.printStackTrace();
114         } catch (SQLException e) {
115             e.printStackTrace();
116         }
117         
118         return conn;
119     }
120     
121     /**
122      * 关闭数据库的连接
123      * @Title: dbDisConnection 
124      * @author sunt  
125      * @date 2017年11月13日
126      * @return void
127      */
128     public void dbDisConnection() {
129         if (conn != null) {
130             try {
131                 conn.close();
132                 System.out.println("Connection 关闭！");
133             } catch (SQLException e) {
134                 e.printStackTrace();
135             }
136         }
137     }
138     
139     //测试代码
140     public static void main(String[] args) {
141         ReadCustomerFile rcf = new ReadCustomerFile();
142         Long startTime = new Date().getTime();
143         rcf.readTxtFileByFileUtils("F:\\lc_test.txt");
144         System.out.println("导入数据总共耗时:" + (new Date().getTime() - startTime)/1000 + "秒");
145     }
146 }

导入的文件模板(大约100百万模拟数据)，以|作为分隔符

导入数据库成功

注意事项:

　　需要修改自己的数据库连接信息和指定导入文本文件的路径，insertCustInfo方法需要自己修改实现

 

转载于:https://www.cnblogs.com/sunny1009/p/7826669.html