使用split进行大数据分割时内存溢出解决方案

某个文本文件中存储了60W条记录，以\r\n作为分隔符，现在需要从文本中一次性取出所有值并存放到一个string[]数组中。

StreamReader sr = new StreamReader(strFilePath, System.Text.UnicodeEncoding.GetEncoding("utf-8"));

string strContent = sr.ReadToEnd();

string[] strArr = strContent.Split("\r\n".ToCharArray(), StringSplitOptions.RemoveEmptyEntries);

以上方式非常不建议使用，当数据量很大时很容易抛出内存溢出异常，这是由于string类型自身的安全性导致的，不建议使用string类型的对象临时保存大量的数据。

我们应该采用下面的方式来进行大数据量的处理。

 

代码

   
     

    
      
    
       List
    
      <
    
      string
    
      >
    
       List 
    
      =
    
       
    
      new
    
       List
    
      <
    
      string
    
      >
    
      ();
 
    
      using
    
       (StreamReader _StreamReaderKey 
    
      =
    
       
    
      new
    
       StreamReader(strTermCacheFilePath 
    
      +
    
       fileInfo.Name))
 {
 
    
      string
    
       strLine 
    
      =
    
       
    
      ""
    
      ;
 
    
      while
    
       (
    
      !
    
      string
    
      .IsNullOrEmpty((strLine 
    
      =
    
       _StreamReaderKey.ReadLine())))
 {
 List.Add(strLine);
 }
 }