Flask 2.2.x 将结果集数据序列化出现TypeError的解决方法

前言

最近学习开发小程序，需要个后端提供API，于是选择了小而美的flask。原想调用API接口，从数据库返回的结果以json格式返回给前端。结果出现类型错误：

TypeError
TypeError: The view function did not return a valid response. The return type must be a string, dict, list, tuple with headers or status, Response instance, or WSGI callable, but it was a TypeError.

从错误提示可知，返回类型不符合。因为自定义的模型没有正确解析，从而报错。

环境

Python 3.10.6
Flask 2.2.2

定位错误

从报错信息

File "C:\Users\77413\.conda\envs\app_end\lib\json\__init__.py", line 238, in dumps
    **kw).encode(obj)
  File "C:\Users\77413\.conda\envs\app_end\lib\json\encoder.py", line 201, in encode
    chunks = list(chunks)
  File "C:\Users\77413\.conda\envs\app_end\lib\json\encoder.py", line 429, in _iterencode    
    yield from _iterencode_list(o, _current_indent_level)
  File "C:\Users\77413\.conda\envs\app_end\lib\json\encoder.py", line 325, in _iterencode_list
    yield from chunks
  File "C:\Users\77413\.conda\envs\app_end\lib\json\encoder.py", line 438, in _iterencode    
    o = _default(o)
  File "C:\Users\77413\.conda\envs\app_end\lib\site-packages\flask\json\provider.py", line 122, in _default
  File "C:\Users\77413\.conda\envs\app_end\lib\site-packages\flask\app.py", line 2528, in wsgi_app
    response = self.handle_exception(e)

定位到 Your Python Virtual Env path\lib\site-packages\flask\json\provider.py 里面有个 _default(o: t.Any) 的函数

def _default(o: t.Any) -> t.Any:
    if isinstance(o, date):
        return http_date(o)

    if isinstance(o, (decimal.Decimal, uuid.UUID)):
        return str(o)

    if dataclasses and dataclasses.is_dataclass(o):
        return dataclasses.asdict(o)

    if hasattr(o, "__html__"):
        return str(o.__html__())

    raise TypeError(f"Object of type {type(o).__name__} is not JSON serializable")

从代码上就可以看到，它仅仅能够一些基本的类型 date, uuid, dataclasses, __html__ 其他类型则会报TypeError。

解决思路

用 Lab 模型举例

class Lab(Base):
    __tablename__ = 'lab'
    id = Column(Integer, primary_key=True)
    name = Column(String(100))
    major = Column(String(100))
    location = Column(String(100))
    area = Column(Float)
    manager = Column(String(100))
    number = Column(Integer)
    remark = Column(String(255))

如果调用API 返回数据会报TypeError。

@api.route('/list', methods=['GET'])
def lab_list():
    labs = Lab.query.filter(Lab.major == "CST").all()

    return jsonify(labs)

从上面 _default(o: t.Any) 可以了解到，该接口返回是一个list, 里面是它根本就不知道如何将 list 里面的序列化，那怎么解决这个问题？

要想将lab对象转化为字典，其实有个很方便的操作，我们可以利用 lab.__dict__来进行转换。

需要注意的是: 类变量并不会被存放到 __dict__ ，只有实例变量才可以。所以需要对Lab类进行改造一下

class Lab(Base):
    __tablename__ = 'lab'
    id = Column(Integer, primary_key=True)
    name = Column(String(100))
    major = Column(String(100))
    location = Column(String(100))
    area = Column(Float)
    manager = Column(String(100))
    number = Column(Integer)
    remark = Column(String(255))
    
    # 模型对象实例化需要的key
    def keys(self):
       return ['id','name','major','location','area','manager','number','remark']
    
    # 设置对象返回字典的值（value)
    def __getitem__(self, item):
        return getattr(self, item)

lab = Lab()
print(dict(lab))

单运行文件可以看到有如下结果：

{'id': Column(None, Integer(), table=None, primary_key=True, nullable=False), 'name': Column(None, String(length=100), table=None), 'major': Column(None, String(length=100), table=None), 'location': Column(None, String(length=100), table=None), 'area': Column(None, Float(), table=None), 'manager': Column(None, String(length=100), table=None), 'number': Column(None, Integer(), table=None), 'remark': Column(None, String(length=255), table=None)}

现在来解决Flask的json类型错误问题

在 Your Python Virtual Env path\lib\site-packages\flask\json\provider.py 里面的 _default(o: t.Any) 的函数添加两行代码，如果对象有 keys, 则返回 dict(o)。

def _default(o: t.Any) -> t.Any:
    if isinstance(o, date):
        return http_date(o)

    if isinstance(o, (decimal.Decimal, uuid.UUID)):
        return str(o)

    if dataclasses and dataclasses.is_dataclass(o):
        return dataclasses.asdict(o)

    if hasattr(o, "__html__"):
        return str(o.__html__())

    # 如果有定义设置字典键-值的两个方法
    if hasattr(o, 'keys') and hasattr(o, '__getitem__'):
        # 返回字典(实例化对象的属性转为字典)
        return dict(o)

    raise TypeError(f"Object of type {type(o).__name__} is not JSON serializable")

在Postman 测试：

返回字典

改进

从上面做法是我们对provider.py 源代码进行了修改，虽然看起来是解决了这个问题，但是这个做法是不可取的。为什么呢？

试想一下，代码改了是本地的环境的源代码，但是一旦你将你的项目代码发给别人或者发布到服务器，别人和服务器端都需要手动去到对应的地方进行一番修改，非常麻烦。所以我们需要想别的办法，不要直接修改源代码。

通过查看Flask源代码，我们可以找到这样的关系，
Flask 有一个属性 json_provider_class 它的类型是 DefaultJSONProvider

json_provider_class

而 DefaultJSONProvider 类下有个default 属性指向一个静态方法 _default,
它会默认调用这个 _default 函数。

_default

最后发现这个 _default 函数就是 Your Python Virtual Env path\lib\site-packages\flask\json\provider.py 里面的 _default(o: t.Any) 的函数。

现在了解整个执行的流程，我们需要重新改写一下 DefaultJSONProvider, 让它执行的 _default 函数是我们重新改写过的函数。

重新定义 _default(o: t.Any) 的函数

def _default(o: t.Any) -> t.Any:
    if isinstance(o, date):
        return http_date(o)

    if isinstance(o, (decimal.Decimal, uuid.UUID)):
        return str(o)

    if dataclasses and dataclasses.is_dataclass(o):
        return dataclasses.asdict(o)

    if hasattr(o, "__html__"):
        return str(o.__html__())

    # 如果有定义设置字典键-值的两个方法
    if hasattr(o, 'keys') and hasattr(o, '__getitem__'):
        # 返回字典(实例化对象的属性转为字典)
        return dict(o)

    raise TypeError(f"Object of type {type(o).__name__} is not JSON serializable")

重新定义 DefaultJSONProvider
让其继承原来的 _DefaultJSONProvider, 并让其属性default 来执行我们上面重新改写的 _default 函数。

from flask.json.provider import DefaultJSONProvider as _DefaultJSONProvider

class DefaultJSONProvider(_DefaultJSONProvider):
    default: t.Callable[[t.Any], t.Any] = staticmethod(
        _default
    )

重新定义 Flask
让其继承原来的 _Flask, 并且让其 json_provider_class 指向上面我们修改过的 DefaultJSONProvider

from flask import Flask as _Flask
class Flask(_Flask):
    json_provider_class = DefaultJSONProvider

当创建新的 flask app 实例, flask json 去解析对象时候，它就会调用我们自定义的行为去解析序列化对象。

完整代码：

from flask import Flask as _Flask
from flask.json.provider import DefaultJSONProvider as _DefaultJSONProvider
from datetime import date, datetime
from werkzeug.http import http_date

import typing as t
import decimal
import dataclasses
import uuid


def _default(o: t.Any) -> t.Any:
    if isinstance(o, date):
        return http_date(o)

    if isinstance(o, (decimal.Decimal, uuid.UUID)):
        return str(o)

    if dataclasses and dataclasses.is_dataclass(o):
        return dataclasses.asdict(o)

    if hasattr(o, "__html__"):
        return str(o.__html__())

    # 如果有定义设置字典键-值的两个方法
    if hasattr(o, 'keys') and hasattr(o, '__getitem__'):
        # 返回字典(实例化对象的属性转为字典)
        return dict(o)

    raise TypeError(f"Object of type {type(o).__name__} is not JSON serializable")

class DefaultJSONProvider(_DefaultJSONProvider):
    default: t.Callable[[t.Any], t.Any] = staticmethod(
        _default
    ) 


class Flask(_Flask):
    json_provider_class = DefaultJSONProvider

重新再测试一下是否成功：

API 接口

@api.route('/list', methods=['GET'])
def lab_list():
    labs = Lab.query.filter(Lab.major == "CST").all()
 
    return jsonify(labs)

Postman 测试：

成功返回

总结

刚刚遇到这种问题时候，无从下手，作者编写本文时候，flask为目前最新的 2.2.2版本，没有从网络上找到解决办法。只能从慢慢去追踪报错，搞清楚执行过程，从而找到解决办法。学会读源码很重要。

PS: 小菜一枚，还有很多不懂，文中存在不少错漏，欢迎指正批评。仅作次记录，方便以后回顾，也供有需要的共同学习研究。

Flask 2.2.x 将结果集数据序列化出现TypeError的解决方法

前言

环境

定位错误

解决思路

改进

总结

你可能感兴趣的:(Flask 2.2.x 将结果集数据序列化出现TypeError的解决方法)