阅读源码分析使用 restframework-bulk 包进行`批量`操作中的 `批量更新` 失败问题

django-restframework-icon.png

背景

之前写过一篇文章 《Django restframework实现批量操作》 介绍了两种方案实现 Django批量操作，其中一种是通过 restframework-bulk 来实现，但是当时遇到一个 QuerySet object has no attribute pk 问题没有搞明白。

今天看到博客中有朋友提问，就打开源码分析debug了一下，找到了根本愿意所在

先说结果

User模型中的name字段使用 unique=True， 程序在运行过程中就进行 UniqueValidator严重，根源是这个类中exclude_current_instance 方法没有对参数instance 做类型判断，在批量 操作的时候instance 是 List 类型，不是对象类型，所以报错没有pk属性

穿插

如果想更好的理解和实战Django restframework实现批量操作 涉及的知识点，可以获取该案例的源码

下载地址 django multi operations demo code

分析

1）、批量更新接口http://127.0.0.1:8002/api/v2/users/ 定位到 urls.py 文件中相关代码

from demoapp.views import UserViewSet
router.register('users', UserViewSet)

2）、看到 views.py 文件中 UserViewSet的定义

# Create your views here.
class UserViewSet(BulkModelViewSet):
    serializer_class = UserSerializer
    queryset = User.objects.all()
    filter_backends = (DjangoFilterBackend, )
    filterset_class = UserFilterSet

    def allow_bulk_destroy(self, qs, filtered):
        print("here: qs-> ", qs, "\n filtered-> ", filtered)
        return qs is not filtered

3）、ctrl+鼠标右键 BulkModelViewSet 上找到 restframework_bulk/generic.py 看到

class BulkModelViewSet(bulk_mixins.BulkCreateModelMixin,
                       bulk_mixins.BulkUpdateModelMixin,
                       bulk_mixins.BulkDestroyModelMixin,
                       ModelViewSet):
    pass

这里我们分析 bulk_mixins.BulkUpdateModelMixin

4）、同样的方式定位到 restframework_bulk/drf3/mixins.py 看 BulkUpdateModelMixin 的实现

class BulkUpdateModelMixin(object):
    ... ...
    def bulk_update(self, request, *args, **kwargs):
        partial = kwargs.pop('partial', False)
        serializer = self.get_serializer(
            self.filter_queryset(self.get_queryset()),
            data=request.data,
            many=True,
            partial=partial,
        )
        # Attention: 
        # 1、注意上面的 self.get_serializer() 中有了many=True，所以不是序列化是没有问题
        # 2、但是从错误中知道这里 is_valid() 触发了异常
        # 3、那么就需要根据错误去追 rest_framework中对应 serializers 相关的逻辑
        serializer.is_valid(raise_exception=True)
        self.perform_bulk_update(serializer)
        return Response(serializer.data, status=status.HTTP_200_OK)

Attention:

• 1、注意上面的 self.get_serializer() 中有了many=True，所以不是序列化是没有问题
• 2、但是从错误中知道这里 is_valid() 触发了异常
• 3、那么就需要根据错误去追 rest_framework中对应 serializers 相关的逻辑

5）、从错误中有如下信息

... ...
File "/Users/colinspace/.pyenv/versions/py2022/lib/python3.9/site-packages/rest_framework/serializers.py", line 756, in is_valid
    self._validated_data = self.run_validation(self.initial_data)
.... ...

所以去 rest_framework/serializers.py 中 756行检查，源码中可以得知是定位到 ListSerializer类中的is_valid() 方法，然后调用相关的内部方法，这里列举出 调用顺序，具体源码太多这里不做展示

is_valid() -> self.run_validation() -> self.to_internal_value(data) -> self.child.run_validation(item) -> Serializer类中的self.to_internal_value(data)

这里需要把 Serializer类中的self.to_internal_value(data) 展开说明下

fields = self._writable_fields
for field in fields:
    validate_method = getattr(self, 'validate_' + field.field_name, None)
    primitive_value = field.get_value(data)
    try:
        validated_value = field.run_validation(primitive_value)
        if validate_method is not None:
            validated_value = validate_method(validated_value)

这里是对模型序列化中的可写字段进行run_validation 处理，然后就跳到了 rest_framework/fields.py中的 CharField类的run_validation() -> Field类的run_validation() -> Field类的 run_validators()

def run_validators(self, value):
    errors = []
    for validator in self.validators:
        try:
            if getattr(validator, 'requires_context', False):
                validator(value, self)
            else:
                validator(value)

前面说过 Unique=True 会进行 UniqueValidator 验证，UniqueValidator 中 requires_context=True ,

这里执行validator(value, self) 实际就是执行 UniqueValidator 类的__call__(self, value, serializer_field) 方法

def __call__(self, value, serializer_field):
    field_name = serializer_field.source_attrs[-1]
    instance = getattr(serializer_field.parent, 'instance', None)

    queryset = self.queryset
    queryset = self.filter_queryset(value, queryset, field_name)
    queryset = self.exclude_current_instance(queryset, instance)
    if qs_exists(queryset):
        raise ValidationError(self.message, code='unique')

这里 serializer_field 就是UserSerializer的name字段, serializer_field.parent就是UserSerializer本身，它的instance 在批量操作的情况就是一个List类型，而不是单一对象，这里可以 输出类型很容易验证

最后知道错误发送在 exclude_current_instance 方法，不就是 UniqueValidator 中的方法么，

def exclude_current_instance(self, queryset, instance):
    if instance is not None:
        return queryset.exclude(pk=instance.pk)
    return queryset

既然 instance 此时是List类型，所以 instance.pk 必然报错

所以需要修改这里的源码为如下：

def exclude_current_instance(self, queryset, instance):
    """
    If an instance is being updated, then do not include
    that instance itself as a uniqueness conflict.
    """
    if instance is not None:
        if isinstance(instance, list):
            for item in instance:
                queryset.exclude(pk=instance.pk)
            return queryset
        # return queryset.exclude(pk=instance.pk)
    return queryset

然后执行批量更新，没有报错，也确实按照实际期望执行了

---

ok，今天的源码分析就到这里，比较冗长也比较细，就要是带着大家都一遍，了解如何去分析阅读源码。这样以后出现问题的时候，就知道怎么去分析解决问题了。

如果喜欢文章， 欢迎点赞、关注、留言交流 1209755822

---

博客首页: http://blog.colinspace.com
csdn首页: https://blog.csdn.net/eagle5063
首页: https://www.jianshu.com/u/6d793fbacc88
知乎首页: https://www.zhihu.com/people/colin-31-49