HardSwish和HardSigmoid的关系

最近在用mobilenetv3，转onnx后发现所有的hardswish都用hardSigmoid替换了，本以为是版本不支持，后来发现他俩之间的关系为：
hardswish(x) = x * hardSigmoid(x)
实验了一下：

import torch
from torch import Function as F

x = torch.randn((2,2))
F.hardswish(x)
x * F.hardsigmoid(x)

结果：
tensor([[-0.1994, -0.3135], [-0.3267, 0.0336]]) tensor([[-0.1994, -0.3135], [-0.3267, 0.0336]])