ADO.NET 获取大型 数据

获取大型 数据

C#, Database, ASP.NET

DataReader 的默认行为是在整个数据行可用时立即以行的形式加载传入数据。但是，对于二进制大对象 (BLOB) 则需要进行不同的处理，因为它们可能包含数十亿字节的数据，而单个行中无法包含如此多的数据。Command.ExecuteReader 方法具有一个重载，它将采用 CommandBehavior 参数来修改 DataReader 的默认行为。您可以将 CommandBehavior.SequentialAccess 传递到 ExecuteReader 方法来修改 DataReader 的默认行为，以便让 DataReader 按照顺序在接收到数据时立即将其加载，而不是加载数据行。这是加载 BLOB 或其他大数据结构的理想方案。请注意，该行为可能会因数据源的不同而不同。例如，从 Microsoft Access 中返回 BLOB 将导致整个 BLOB 加载到内存中，而不是按接收数据的顺序加载数据。

在将 DataReader 设置为使用 SequentialAccess 时，务必要注意访问所返回字段的顺序。DataReader 的默认行为是在整个行可用时立即加载该行，这使您能够在读取下一行之前按任何顺序访问所返回的字段。但是，当使用 SequentialAccess 时，必须按顺序访问由 DataReader 返回的不同字段。例如，如果查询返回三个列，其中第三列是 BLOB，则必须在访问第三个字段中的 BLOB 数据之前返回第一个和第二个字段的值。如果在访问第一个或第二个字段之前访问第三个字段，则第一个和第二个字段值将不再可用。这是因为 SequentialAccess 已修改 DataReader，使其按顺序返回数据，当 DataReader 已经读取超过特定数据时，该数据将不可用。

在访问 BLOB 字段中的数据时，请使用 DataReader 的 GetBytes 或 GetChars 类型化访问器，它们将用数据来填充数组。还可以对字符数据使用 GetString，但是为了节省系统资源，您可能不希望将整个 BLOB 值加载到单个字符串变量中。您可以指定要返回的特定数据缓冲区大小，以及从返回的数据中读取的第一个字节或字符的起始位置。GetBytes 和 GetChars 将返回一个 long 值，它表示返回的字节或字符数。如果将一个空数组传递给 GetBytes 或 GetChars，则返回的长值将是 BLOB 中字符或字符的总数。您可以选择将数组中的某个索引指定为所读取数据的起始位置。

以下示例从 Microsoft SQL Server 中的 pubs 示例数据库中返回发行者 ID 和徽标。发行者 ID (pub_id) 是字符字段，而徽标则是图形，即 BLOB。由于 logo 字段是位图，因此该示例使用 GetBytes 返回二进制数据。请注意，由于必须按顺序访问字段，所以将在访问徽标之前访问当前数据行的发行者 ID。

[C#]
SqlConnection pubsConn = new SqlConnection("Data Source=localhost;Integrated Security=SSPI;Initial Catalog=pubs;");
SqlCommand logoCMD = new SqlCommand("SELECT pub_id, logo FROM pub_info", pubsConn);

FileStream fs;                          // Writes the BLOB to a file (*.bmp).
BinaryWriter bw;                        // Streams the BLOB to the FileStream object.

int bufferSize = 100;                   // Size of the BLOB buffer.
byte[] outbyte = new byte[bufferSize];  // The BLOB byte[] buffer to be filled by GetBytes.
long retval;                            // The bytes returned from GetBytes.
long startIndex = 0;                    // The starting position in the BLOB output.

string pub_id = "";                     // The publisher id to use in the file name.

// Open the connection and read data into the DataReader.
pubsConn.Open();
SqlDataReader myReader = logoCMD.ExecuteReader(CommandBehavior.SequentialAccess);

while (myReader.Read())
{
  // Get the publisher id, which must occur before getting the logo.
  pub_id = myReader.GetString(0); 

  // Create a file to hold the output.
  fs = new FileStream("logo" + pub_id + ".bmp", FileMode.OpenOrCreate, FileAccess.Write);
  bw = new BinaryWriter(fs);

  // Reset the starting byte for the new BLOB.
  startIndex = 0;

  // Read the bytes into outbyte[] and retain the number of bytes returned.
  retval = myReader.GetBytes(1, startIndex, outbyte, 0, bufferSize);

  // Continue reading and writing while there are bytes beyond the size of the buffer.
  while (retval == bufferSize)
  {
    bw.Write(outbyte);
    bw.Flush();

    // Reposition the start index to the end of the last buffer and fill the buffer.
    startIndex += bufferSize;
    retval = myReader.GetBytes(1, startIndex, outbyte, 0, bufferSize);
  }

  // Write the remaining buffer.
  bw.Write(outbyte, 0, (int)retval - 1);
  bw.Flush();

  // Close the output file.
  bw.Close();
  fs.Close();
}

// Close the reader and the connection.
myReader.Close();
pubsConn.Close();