CSV指南：Python程序获取大型CSV文件行数

本指南提供了几种使用Python来获取大型CSV文件行数的方法，并解释了每种方法的适用场景。

方法1: 使用csv.reader处理复杂CSV文件

当你的CSV文件中包含多行字段（即某些字段的值中包含换行符）时，使用csv.reader是一个可靠的选择，因为它能够正确处理这些复杂情况。

这个方法适用于大多数大小的CSV文件，但是对于非常大的文件，读取整个文件可能会占用较多的时间和内存。对于极大的文件，考虑使用分块读取或其他高效的数据处理技术。

PS：我的CSV数据文件大小为5.24GB，电脑主存16GB，跑这段代码的时候，在中间时段主存能占用到80%+。

import csv

# 定义一个函数来计算CSV文件的行数
def count_csv_rows(file_path):
    # 使用'with'语句打开文件，确保文件最后能够被正确关闭
    with open(file_path, 'r', encoding='utf-8') as file:
        # 创建一个csv.reader对象来读取文件
        csv_reader = csv.reader(file)
        # 使用生成器表达式计算行数
        row_count = sum(1 for row in csv_reader)
    # 返回总行数
    return row_count

# 指定CSV文件的路径
file_path = 'your_large_file.csv'
# 调用函数并打印文件的行数
print(f"The CSV file has {count_csv_rows(file_path)} rows.")

这段代码首先导入了Python的csv模块，然后定义了一个count_csv_rows函数，该函数打开指定路径的CSV文件，并使用csv.reader读取文件。通过迭代csv_reader对象中的每一行，并对迭代器使用sum函数，我们可以计算出文件中的行数。最后，函数返回行数。

注意事项：

• 记得将file_path变量替换为你的CSV文件的实际路径

方法2: 简单逐行读取

对于格式简单的CSV文件，逐行读取是一种更快的方法。这种方法不会将整个文件加载到内存中，因此对内存的使用更为友好。

# 定义一个函数来逐行读取并计算行数
def count_csv_rows_optimized(file_path):
    count = 0
    # 打开文件进行逐行读取
    with open(file_path, 'r', encoding='utf-8') as file:
        for _ in file:
            count += 1
    # 返回总行数
    return count

# 指定CSV文件的路径
file_path = 'path_to_your_large_csv_file.csv'
# 调用函数并打印文件的行数
print(f"The CSV file has {count_csv_rows_optimized(file_path)} rows.")

这个方法简单地迭代文件的每一行，对行进行计数，而不实际加载行的内容。这样做的好处是减少了内存消耗，使得处理大文件变得更加可行。

注意事项：

• 这种方法假设文件中没有包含换行符的多行字段。如果你的CSV文件中某些字段可能跨越多行（即字段值内部包含换行符），则需要采用更复杂的解析策略，可能需要回到使用csv.reader或类似的库来正确处理这些情况。
• 对于极大的文件，即使这种方法对内存友好，执行时间仍可能较长。确保在可以接受的时间范围内运行，或者考虑在性能更强的计算环境中执行。
• 如果文件存储在支持快速随机访问的存储介质上（如SSD），这将进一步提高处理速度。

我遇到的问题：上面这两个代码运行结果不一致

两种方法在大多数情况下应该提供一致的结果，即统计CSV文件的行数。不过，存在一些特殊情况可能导致结果不一致：

1. 多行字段处理：csv.reader能够正确处理CSV文件中跨多行的字段。如果一个字段的值包含换行符，csv.reader会将这个跨多行的值识别为同一行中的一个字段。这意味着，即使数据在视觉上跨越了多行，csv.reader也会将其计为一行。如果您的CSV文件中包含此类跨多行的字段，使用csv.reader得到的行数会比简单逐行读取的方法得到的行数少，因为简单逐行读取方法会将每个换行符都计为新的一行。

2. 文件末尾的空行：csv.reader在读取时可能会忽略文件末尾的空行，而简单逐行读取方法（如果没有特别处理空行）会将空行计入总行数。优化后的逐行读取方法通过检查每行是否非空来避免计入空行，但如果检查条件与csv.reader的处理方式不完全一致，也可能导致结果的微小差异。

3. 编码和格式问题：在某些情况下，文件的编码或特定的格式问题可能会影响csv.reader的解析结果。例如，如果文件包含某些特殊字符或不规范的CSV格式（如不一致的引号使用），csv.reader可能会因为尝试解析这些格式问题而跳过部分行或将多行错误地解析为一行。

为了确保结果的一致性，特别是在处理包含多行字段的CSV文件时，推荐使用csv.reader方法。如果您确定CSV文件格式简单，不包含多行字段，并且对性能有较高要求，可以使用逐行读取的方法，但需要额外注意处理可能的空行问题。

如果遇到了结果不一致的情况，建议首先检查CSV文件是否包含上述提到的特殊情况。此外，为了进一步诊断问题，可以在文件的开始和结束部分检查是否有异常的空行或格式问题，并根据具体情况调整代码逻辑。

为了提供一个更稳健的逐行读取示例，可以加入对空行的检查：

方法3: 优化逐行读取并加入对空行的检查

如果你的CSV文件末尾可能包含空行，使用下面的方法可以避免将这些空行计入总行数。

# 定义一个函数来逐行读取并计算非空行数
def count_csv_rows_optimized(file_path):
    count = 0
    with open(file_path, 'r', encoding='utf-8') as file:
        for line in file:
            # 使用strip()方法检查行是否为空
            if line.strip():
                count += 1
    # 返回非空行的总数
    return count

# 指定CSV文件的路径
file_path = 'path_to_your_large_csv_file.csv'
# 调用函数并打印非空行的总数
print(f"The CSV file has {count_csv_rows_optimized(file_path)} rows.")

这段代码通过检查每行是否非空（即去除空白符后是否有内容），来避免将空行计入总行数，这样可以在不使用csv.reader的情况下，提高行数统计的准确性。

使用场景

• 使用csv.reader可以正确处理包含多行字段的复杂CSV文件。
• 简单逐行读取方法适用于格式简单的CSV文件，且对内存使用更友好。
• 优化后的逐行读取方法通过检查空行，提供了更准确的行数统计。

选择哪种方法取决于你的CSV文件的具体格式和内容，以及你对处理速度和内存使用的考虑。