CSV文件解析（转）
http://dobon.net/vb/dotnet/file/readcsvfile.html
Jet ProviderやODBC Providerを使う方法
さて、ここから本題に入ります。まずは、Jet ProviderやODBC Providerを使う方法を紹介します。これらを使って、CSVファイルを解析することができます。
以下にJet Providerを使った例を紹介します。ここでは解析されたCSVファイルの内容をDataTableに格納しています。CSVファイルの文字コードは、Shift JISである必要があります。なお、接続文字列の「HDR=No」を「HDR=Yes」とすることにより、一行目をヘッダとすることができます。
[VB.NET]
'CSVファイルのあるフォルダ
Dim csvDir As String = "C:/"
'CSVファイルの名前
Dim csvFileName As String = "test.csv"
'接続文字列
Dim conString As String = _
"Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" _
+ csvDir + ";Extended Properties=""text;HDR=No;FMT=Delimited"""
Dim con As New System.Data.OleDb.OleDbConnection(conString)
Dim commText As String = "SELECT * FROM [" + csvFileName + "]"
Dim da As New System.Data.OleDb.OleDbDataAdapter(commText, con)
'DataTableに格納する
Dim dt As New DataTable
da.Fill(dt)
[C#] //CSVファイルのあるフォルダ string csvDir = @"C:/"; //CSVファイルの名前 string csvFileName = "test.csv"; //接続文字列 string conString = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + csvDir + ";Extended Properties=/"text;HDR=No;FMT=Delimited/""; System.Data.OleDb.OleDbConnection con = new System.Data.OleDb.OleDbConnection(conString); string commText = "SELECT * FROM [" + csvFileName + "]"; System.Data.OleDb.OleDbDataAdapter da = new System.Data.OleDb.OleDbDataAdapter(commText, con); //DataTableに格納する DataTable dt = new DataTable(); da.Fill(dt);
次はODBC Provider（Microsoft Text Driver）を使った例です。.NET Framework 1.1以降で使用できます。なおこの場合は、一行目がヘッダとして処理されます。
[VB.NET]
'CSVファイルのあるフォルダ
Dim csvDir As String = "C:/"
'CSVファイルの名前
Dim csvFileName As String = "test.csv"
'接続文字列
Dim conString As String = _
"Driver={Microsoft Text Driver (*.txt; *.csv)};Dbq=" _
+ csvDir + ";Extensions=asc,csv,tab,txt;"
Dim con As New System.Data.Odbc.OdbcConnection(conString)
Dim commText As String = "SELECT * FROM [" + csvFileName + "]"
Dim da As New System.Data.Odbc.OdbcDataAdapter(commText, con)
'DataTableに格納する
Dim dt As New DataTable
da.Fill(dt)
[C#] //CSVファイルのあるフォルダ string csvDir = @"C:/"; //CSVファイルの名前 string csvFileName = "test.csv"; //接続文字列 string conString = "Driver={Microsoft Text Driver (*.txt; *.csv)};Dbq=" + csvDir + ";Extensions=asc,csv,tab,txt;"; System.Data.Odbc.OdbcConnection con = new System.Data.Odbc.OdbcConnection(conString); string commText = "SELECT * FROM [" + csvFileName + "]"; System.Data.Odbc.OdbcDataAdapter da = new System.Data.Odbc.OdbcDataAdapter(commText, con); //DataTableに格納する DataTable dt = new DataTable(); da.Fill(dt);
このような方法では、正しくCSVファイルが解析されるようにするには、Schema.iniを用意しておく必要があります。そうしないと、正しく解釈されない可能性が十分にあります。
Schema.iniファイルの作成法については、「Importing CSV Data and saving it in database」や「[AC97]VBAから Schema.ini ファイルを作成する方法」が参考になります。
- 参考：
- ConnectionStrings.com
正規表現を使った方法
次に正規表現を使った方法を紹介します。「Perlメモ」の「CSV形式の行から値のリストを取り出す」や「値に改行コードを含むCSV形式を扱う」が参考になります。 これによると、CSVの一つの行（一つのレコード）からフィールドを取り出すには、レコードの最後にカンマをつけてから、
("(?:[^"]|"")*"|[^,]*),
というパターンを使用します。
また、フィールドに改行コードを含む場合にCSV形式の文字列から一つのレコードを取り出すには、まず一行を取り出してから、その文字列内の「"」の数を数え、奇数であれば次の一行を追加します。これを「"」の数が偶数になるまで繰り返し、偶数になったところで、一つのレコードが取り出せたものとします。
フィールドを取り出すためのパターンは、他にもいろいろ考えられます。例えば、一つのレコードからフィールドを取り出すためのパターンとしては、
,(?=([^/"]*"[^"]*")*(?![^"]*"))
や
(?:^|,)(/"(?:[^/"]+|/"/")*/"|[^,]*)
などが「CSV Regex Pattern」や「RegEx for CSV」で紹介されています。
「Perlメモ」による方法を参考にしたサンプルを以下に紹介します。ここでは、先のCSV規則の3が適切に処理されるように、「Perlメモ」のパターンに手を加えています。また、一行取り出すためにも、正規表現を使っています。取り出したフィールドは、レコードごとにArrayListに格納し、これらをさらにArrayListに格納しています（実用的ではありませんが、あくまでCSVの解析のサンプルということで、ご理解ください）。CSVにはヘッダが無く、すべてのフィールドを文字列として取得します。CSV形式のファイルを解析する場合は、その内容をString型に読み込んでからメソッドを呼び出してください。
[VB.NET]
'''
''' CSVをArrayListに変換
'''
''' CSVの内容が入ったString
''' 変換結果のArrayList
Public Shared Function CsvToArrayList1(ByVal csvText As String) _
As System.Collections.ArrayList
Dim csvRecords As New System.Collections.ArrayList
'前後の改行を削除しておく
csvText = csvText.Trim( _
New Char() {ControlChars.Cr, ControlChars.Lf})
'一行取り出すための正規表現
Dim regLine As New System.Text.RegularExpressions.Regex( _
"^.*(?:/n|$)", _
System.Text.RegularExpressions.RegexOptions.Multiline)
'1行のCSVから各フィールドを取得するための正規表現
Dim regCsv As New System.Text.RegularExpressions.Regex( _
"/s*(""(?:[^""]|"""")*""|[^,]*)/s*,", _
System.Text.RegularExpressions.RegexOptions.None)
Dim mLine As System.Text.RegularExpressions.Match = _
regLine.Match(csvText)
While mLine.Success
'一行取り出す
Dim line As String = mLine.Value
'改行記号が"で囲まれているか調べる
While CountString(line, """") Mod 2 = 1
mLine = mLine.NextMatch()
If Not mLine.Success Then
Throw New ApplicationException("不正なCSV")
End If
line += mLine.Value
End While
'行の最後の改行記号を削除
line = line.TrimEnd( _
New Char() {ControlChars.Cr, ControlChars.Lf})
'最後に「,」をつける
line += ","
'1つの行からフィールドを取り出す
Dim csvFields As New System.Collections.ArrayList
Dim m As System.Text.RegularExpressions.Match = _
regCsv.Match(line)
While m.Success
Dim field As String = m.Groups(1).Value
'前後の空白を削除
field = field.Trim()
'"で囲まれている時
If field.StartsWith("""") And field.EndsWith("""") Then
'前後の"を取る
field = field.Substring(1, field.Length - 2)
'「""」を「"」にする
field = field.Replace("""""", """")
End If
csvFields.Add(field)
m = m.NextMatch()
End While
csvFields.TrimToSize()
csvRecords.Add(csvFields)
mLine = mLine.NextMatch()
End While
csvRecords.TrimToSize()
Return csvRecords
End Function
'''
''' 指定された文字列内にある文字列が幾つあるか数える
'''
''' strFindが幾つあるか数える文字列
''' 数える文字列
''' strInput内にstrFindが幾つあったか
Public Shared Function CountString( _
ByVal strInput As String, _
ByVal strFind As String) As Integer
Dim foundCount As Integer = 0
Dim sPos As Integer = strInput.IndexOf(strFind)
While sPos > -1
foundCount += 1
sPos = strInput.IndexOf(strFind, sPos + 1)
End While
Return foundCount
End Function
[C#] ////// CSVをArrayListに変換 /// /// CSVの内容が入ったString ///変換結果のArrayList public static System.Collections.ArrayList CsvToArrayList1(string csvText) { System.Collections.ArrayList csvRecords = new System.Collections.ArrayList(); //前後の改行を削除しておく csvText = csvText.Trim(new char[] {'/r', '/n'}); //一行取り出すための正規表現 System.Text.RegularExpressions.Regex regLine = new System.Text.RegularExpressions.Regex( "^.*(?://n|$)", System.Text.RegularExpressions.RegexOptions.Multiline); //1行のCSVから各フィールドを取得するための正規表現 System.Text.RegularExpressions.Regex regCsv = new System.Text.RegularExpressions.Regex( "//s*(/"(?:[^/"]|/"/")*/"|[^,]*)//s*,", System.Text.RegularExpressions.RegexOptions.None); System.Text.RegularExpressions.Match mLine = regLine.Match(csvText); while (mLine.Success) { //一行取り出す string line = mLine.Value; //改行記号が"で囲まれているか調べる while ((CountString(line, "/"") % 2) == 1) { mLine = mLine.NextMatch(); if (!mLine.Success) { throw new ApplicationException("不正なCSV"); } line += mLine.Value; } //行の最後の改行記号を削除 line = line.TrimEnd(new char[] {'/r', '/n'}); //最後に「,」をつける line += ","; //1つの行からフィールドを取り出す System.Collections.ArrayList csvFields = new System.Collections.ArrayList(); System.Text.RegularExpressions.Match m = regCsv.Match(line); while (m.Success) { string field = m.Groups[1].Value; //前後の空白を削除 field = field.Trim(); //"で囲まれている時 if (field.StartsWith("/"") && field.EndsWith("/"")) { //前後の"を取る field = field.Substring(1, field.Length - 2); //「""」を「"」にする field = field.Replace("/"/"", "/""); } csvFields.Add(field); m = m.NextMatch(); } csvFields.TrimToSize(); csvRecords.Add(csvFields); mLine = mLine.NextMatch(); } csvRecords.TrimToSize(); return csvRecords; } ////// 指定された文字列内にある文字列が幾つあるか数える /// /// strFindが幾つあるか数える文字列 /// 数える文字列 ///strInput内にstrFindが幾つあったか public static int CountString(string strInput, string strFind) { int foundCount = 0; int sPos = strInput.IndexOf(strFind); while (sPos > -1) { foundCount++; sPos = strInput.IndexOf(strFind, sPos + 1); } return foundCount; }
文字列を独自に解析する方法
最後に紹介するのは、文字列を独自に解析する方法です。面倒ですが、これが一番速いかもしれません。
以下にその例を示します。使い方は先のCsvToArrayList1メソッドと同じです。
補足：テストが十分でないため、間違いがあるかもしれません。不具合を発見された方は、ぜひご報告ください。
[VB.NET]
'''
''' CSVをArrayListに変換
'''
''' CSVの内容が入ったString
''' 変換結果のArrayList
Public Shared Function CsvToArrayList2(ByVal csvText As String) _
As System.Collections.ArrayList
'前後の改行を削除しておく
csvText = csvText.Trim( _
New Char() {ControlChars.Cr, ControlChars.Lf})
Dim csvRecords As New System.Collections.ArrayList
Dim csvFields As New System.Collections.ArrayList
Dim csvTextLength As Integer = csvText.Length
Dim startPos As Integer = 0
Dim endPos As Integer = 0
Dim field As String = ""
While True
'空白を飛ばす
While startPos < csvTextLength _
AndAlso (csvText.Chars(startPos) = " "c _
OrElse csvText.Chars(startPos) = ControlChars.Tab)
startPos += 1
End While
'データの最後の位置を取得
If startPos < csvTextLength _
AndAlso csvText.Chars(startPos) = ControlChars.Quote Then
'"で囲まれているとき
'最後の"を探す
endPos = startPos
While True
endPos = csvText.IndexOf(ControlChars.Quote, endPos + 1)
If endPos < 0 Then
Throw New ApplicationException("""が不正")
End If
'"が2つ続かない時は終了
If endPos + 1 = csvTextLength OrElse _
csvText.Chars((endPos + 1)) <> ControlChars.Quote Then
Exit While
End If
'"が2つ続く
endPos += 1
End While
'一つのフィールドを取り出す
field = csvText.Substring(startPos, endPos - startPos + 1)
'""を"にする
field = field.Substring(1, field.Length - 2). _
Replace("""""", """")
endPos += 1
'空白を飛ばす
While endPos < csvTextLength AndAlso _
csvText.Chars(endPos) <> ","c AndAlso _
csvText.Chars(endPos) <> ControlChars.Lf
endPos += 1
End While
Else
'"で囲まれていない
'カンマか改行の位置
endPos = startPos
While endPos < csvTextLength AndAlso _
csvText.Chars(endPos) <> ","c AndAlso _
csvText.Chars(endPos) <> ControlChars.Lf
endPos += 1
End While
'一つのフィールドを取り出す
field = csvText.Substring(startPos, endPos - startPos)
'後の空白を削除
field = field.TrimEnd()
End If
'フィールドの追加
csvFields.Add(field)
'行の終了か調べる
If endPos >= csvTextLength OrElse _
csvText.Chars(endPos) = ControlChars.Lf Then
'行の終了
'レコードの追加
csvFields.TrimToSize()
csvRecords.Add(csvFields)
csvFields = New System.Collections.ArrayList( _
csvFields.Count)
If endPos >= csvTextLength Then
'終了
Exit While
End If
End If
'次のデータの開始位置
startPos = endPos + 1
End While
csvRecords.TrimToSize()
Return csvRecords
End Function
[C#] ////// CSVをArrayListに変換 /// /// CSVの内容が入ったString ///変換結果のArrayList public static System.Collections.ArrayList CsvToArrayList2(string csvText) { //前後の改行を削除しておく csvText = csvText.Trim(new char[] {'/r', '/n'}); System.Collections.ArrayList csvRecords = new System.Collections.ArrayList(); System.Collections.ArrayList csvFields = new System.Collections.ArrayList(); int csvTextLength = csvText.Length; int startPos = 0, endPos = 0; string field = ""; while (true) { //空白を飛ばす while (startPos < csvTextLength && (csvText[startPos] == ' ' || csvText[startPos] == '/t')) { startPos++; } //データの最後の位置を取得 if (startPos < csvTextLength && csvText[startPos] == '"') { //"で囲まれているとき //最後の"を探す endPos = startPos; while (true) { endPos = csvText.IndexOf('"', endPos + 1); if (endPos < 0) { throw new ApplicationException("/"が不正"); } //"が2つ続かない時は終了 if (endPos + 1 == csvTextLength || csvText[endPos + 1] != '"') { break; } //"が2つ続く endPos++; } //一つのフィールドを取り出す field = csvText.Substring(startPos, endPos - startPos + 1); //""を"にする field = field.Substring(1, field.Length - 2).Replace("/"/"", "/""); endPos++; //空白を飛ばす while (endPos < csvTextLength && csvText[endPos] != ',' && csvText[endPos] != '/n') { endPos++; } } else { //"で囲まれていない //カンマか改行の位置 endPos = startPos; while (endPos < csvTextLength && csvText[endPos] != ',' && csvText[endPos] != '/n') { endPos++; } //一つのフィールドを取り出す field = csvText.Substring(startPos, endPos - startPos); //後の空白を削除 field = field.TrimEnd(); } //フィールドの追加 csvFields.Add(field); //行の終了か調べる if (endPos >= csvTextLength || csvText[endPos] == '/n') { //行の終了 //レコードの追加 csvFields.TrimToSize(); csvRecords.Add(csvFields); csvFields = new System.Collections.ArrayList( csvFields.Count); if (endPos >= csvTextLength) { //終了 break; } } //次のデータの開始位置 startPos = endPos + 1; } csvRecords.TrimToSize(); return csvRecords; }
第三者の作成したクラス
このようなコードを自分で書かなくても、すでに優秀なクラスが多く存在します。最後に、その内幾つかを以下に紹介しておきます。（上の2つが代表的なものです。）
- A Fast CSV Reader
- XmlCsvReader Implementation
- A portable and efficient generic parser for flat files
- ASC2XXX - Two classes for parsing delimited text files（正規表現を使用しているようです）
.NET Framework 2.0以降で、TextFieldParserクラスを使用する方法
.NET Framework 2.0からは、VB.NET用のクラスとして、TextFieldParserクラスが追加されました。これを使えば、CSVファイルの解析も楽になります。
以下に例を示します。文字コードを指定しているEncodingに関しては、「文字コードを指定してテキストファイルを読み込む」を参考にしてください。C#では参照に「Microsoft.VisualBasic.dll」を追加する必要があります。
[VB.NET]
Dim csvRecords As New System.Collections.ArrayList()
'CSVファイル名
Dim csvFileName As String = "C:/test.csv"
'Shift JISで読み込む
Dim tfp As New FileIO.TextFieldParser(csvFileName, _
System.Text.Encoding.GetEncoding(932))
'フィールドが文字で区切られているとする
'デフォルトでDelimitedなので、必要なし
tfp.TextFieldType = FileIO.FieldType.Delimited
'区切り文字を,とする
tfp.Delimiters = New String() {","}
'フィールドを"で囲み、改行文字、区切り文字を含めることができるか
'デフォルトでtrueなので、必要なし
tfp.HasFieldsEnclosedInQuotes = True
'フィールドの前後からスペースを削除する
'デフォルトでtrueなので、必要なし
tfp.TrimWhiteSpace = True
While Not tfp.EndOfData
'フィールドを読み込む
Dim fields As String() = tfp.ReadFields()
'保存
csvRecords.Add(fields)
End While
'後始末
tfp.Close()
[C#]
System.Collections.ArrayList csvRecords =
new System.Collections.ArrayList();
//CSVファイル名
string csvFileName = "C://test.csv";
//Shift JISで読み込む
Microsoft.VisualBasic.FileIO.TextFieldParser tfp =
new Microsoft.VisualBasic.FileIO.TextFieldParser(
csvFileName,
System.Text.Encoding.GetEncoding(932));
//フィールドが文字で区切られているとする
//デフォルトでDelimitedなので、必要なし
tfp.TextFieldType = Microsoft.VisualBasic.FileIO.FieldType.Delimited;
//区切り文字を,とする
tfp.Delimiters = new string[] { "," };
//フィールドを"で囲み、改行文字、区切り文字を含めることができるか
//デフォルトでtrueなので、必要なし
tfp.HasFieldsEnclosedInQuotes = true;
//フィールドの前後からスペースを削除する
//デフォルトでtrueなので、必要なし
tfp.TrimWhiteSpace = true;
while (!tfp.EndOfData)
{
//フィールドを読み込む
string[] fields = tfp.ReadFields();
//保存
csvRecords.Add(fields);
}
//後始末
tfp.Close();
TextFieldParser.TrimWhiteSpaceプロパティはフィールドの前後のスペースを削除するものですが、ダブルクォートで囲まれていた場合でも、前後のスペースを削除します。また、TrimWhiteSpaceの削除するスペースは、スペース文字の他に、タブや改行文字も含まれるようです。このような点から、TextFieldParserクラスを使って先に示したルールに基づいた解析は、無理のようです。（RFC4180に基づくならば、TrimWhiteSpaceをfalseにすればよいかもしれませんが。）