更高效的Python CSV文件导出

image

在上一篇文章，我介绍了CSV是什么？CSV有哪些优点？如何使用等等？并且最后我们用一个例子简单讲解了如何使用Python模块CSV进行导出后缀为.csv的文本文件。

具体文章参看：Python模块之CSV导出（一）

其实例子用于异步导出数据文件是够了，但工作中我们可能还需要结合我们Web框架进行更复杂的CSV导出。

所以今天我们的目的就是结合Python Django框架进行分享CSV导出的另外一种方式。

安装依赖

这里面我们需要安装一个第三方包djangorestframework-csv：
方法如下，使用pip安装到你virtualenv构建的虚拟环境中，当然你如果使用了docker进行环境隔离这儿也可以直接安装你docker容器中。

$ pip install djangorestframework-csv

有些同学可能不太明白，明明是Django框架怎么和Django REST Framework（简称DRF）扯上关系了，简单解释一下，由于我们Django API开发常常配合DRF进行，所以一般都是一起安装使用了的，把Django和DRF结合起来整个RESTFul API开发效率能大大提高，建议稍微大一点工程化项目都去使用DRF。

使用

使用方式如下：

1. 继承CSVRenderer 定义一个自己的Render类

2. 将要生成CSV的字典数据传入该类的方法render方法

3. 使用HttpResponse或者StreamingHttpResponse进行返回

看起来是不是简单方便，确实就是这么简单，下面我们看一个例子。

例子

废话不多说，直接上代码，先定义一个自己的CSV Render

# 定义CSV Render
from rest_framework_csv import renderers

class YourModelRender(renderers.CSVStreamingRenderer):
    header = [
        'phone',
        'remark',
        'create_time',
    ]
    labels = dict([
        ('phone', u'联系电话'),
        ('remark', u'备注'),
        ('create_time', u'时间'),
    ])

这里使用label dict属性将自定义标签应用于CSVRenderer，其中每个键对应于表头header，值对应于该表头header的自定义标签，这样我们各个值就能和header对应起来。

Django导出的view方法，源码如下。

    @list_route(methods=['get']) # 这是DRF生成URL的方式，没用过的可以忽略。
    def example_export_csv(self):
        '''
        CSV 案例
        '''
        queryset = YourModel.objects.all()
        renderer = YourModelRender()
        data = (
            YourModelListSerializer(instance).data ## 得到字典数据
            for instance in queryset
        )
        response = StreamingHttpResponse(
            renderer.render(data),
            content_type='text/csv'
        )
        response['Content-Disposition'] = 'attachment; filename="somefilename.csv"'
        return response

上面几行代码是不是看起来很简单，确实就是这么简单，简单的背后是rest_framework_csv帮我们做了导出功能，底层实现还是昨天我说的那种方式write，writerow的方式。

这里面简单解释一下：

1. YourModelListSerializer写过DRF的同学知道这个就是定义数据处理逻辑校验，格式化什么等操作。这里面我们通过YourModelListSerializer复用了其他模块处理逻辑，如RRESTFul的列表数据展示。

2. 这样大大减少了我们导出CSV还需要去重新处理多个字段组装，过滤，变换等逻辑。因为往往我们列表需要展示数据就是我们CSV要导出的数据。记得几年前那会儿导出数据还要自己重新组装数据，真是酸爽。

3. 我们这儿用了StreamingHttpResponse，将文件内容进行流式传输，对于实时导出大文件，可以避免服务器断开连接。比起HttpResponse更节约内存。

其他

上面我们使用DRF，并且也用了看起来复杂的YourModelListSerializer这种复杂的概念，主要目的是让大家知道DRF的方式，至于普通使用Django其实我们完全可以把renderer.render(data)换为上一篇文章
(writer.writerow(row) for row in rows) 这种形势。

关于CSV我们还可以用Django模板形式进行，和我们用rest_framework_csv模块思路差不多
简单给一个官方案例：

csv_data = (
        ('First row', 'Foo', 'Bar', 'Baz'),
        ('Second row', 'A', 'B', 'C', '"Testing"', "Here's a quote"),
    )
    t = loader.get_template('my_template_name.txt') # 定义模板代码
    c = Context({
        'data': csv_data,
    })
response.write(t.render(c))
return response

虽然思路相似，但过程实现会麻烦较多，你要去切换模板代码书写，渲染，不推荐这种方式。

---

最后关于CSV我们就介绍到这里，结合上一篇主要两种方式：

1. 普通CSV导出+Celery Beat定时导出

2. Django + DRF + 实时导出

原理都是Python内置模块CSV的一些变换，只是结合第三库，让我们操作更快更方便起来。

image

扫码免费加入我们

更多阅读：

Python模块之CSV导出（一）

你必须知道的10个Python第三库

image