例如：(激活函数)*F.relu

先来看看nn.ReLU的源码，可以看到其实在forward中nn.relu是调用了F.relu函数的：classReLU(Module):r"""Appliestherectifiedlinearunitfunctionelement-wise

__init__()self.conv1=nn.Conv2d(1,20,5)self.conv2=nn.Conv2d(20,20,5)defforward(self,x):x=F.relu(self.conv1

正则化之类我们点开container点开module我们给的输入经过forward函数输出（前向传播）defforward(self,x):x=F.relu(self.conv1(x))x先经过一次卷积

输入数据形状:[10,3,224,224]最后输出结果：linear_0[10,1][1024,1][1]子空间执行逻辑defforward_old(self,x):#支路1只包含一个1x1卷积p1=F.relu

torch.nn.Reluandtorch.nn.functional.relu结果一致，不同点如下1、nn.Relu不同的是nn.Relu作为一层结构，必须添加到nn.Module容器中才能使用使用方式如下，定义时不接输入，定义好后，使用Relu()(input)进行参数传递classBasicBlock(nn.Module):expansion=1def__init__(self):super

PytorchToCaffe的代码，支持转换的算子如下（参见:pytorch_to_caffe.py）:F.conv2d=Rp(F.conv2d,_conv2d)F.linear=Rp(F.linear,_linear)F.relu

卷积神经网络——第一部分：认识并搭建卷积神经网络一、序言二、网络实现1、模型构建2、类和函数的意义及性质（1）nn.Conv2d（2）F.max_pool2d（3）F.relu（4）F.log_softmax

对于一些常见模块或者算子，在pytorch的nn模块和nn.functional中都有实现，例如nn.ReLU()和F.relu()，nn.Conv2d和F.conv2d()等。

mnisttorchvision直接读取；train、test、val；实现loaddatatorchvisionloaddata（x，y）createmodeltorch.nn，使用nn.linear嵌套三个fc得到模型；加入F.relu

inplace=True在原对象基础上修改,可以节省内存：x=F.relu(x,inplace=True)继承nn.Module来定义自己的网络层级结构：网络中的参数不再暴露给用户，也不用去考虑参数初始化的问题

首先使用fitersize:5*5,stride:2的conv2d将输入降维(1/2H,1/2W).imgl0=F.relu(self.bn0(self.conv0(imgLeft)))imgr0=F.relu

interpolate函数defforward(self,input1,input2=[0,0,0,0]):out0=F.relu(self.bn0(self.conv0(input1[0]+input2

init__()self.hidden=nn.Linear(20,256)self.output=nn.Linear(256,10)defforward(self,x):returnself.output(F.relu

torch.tanh：范围在[-1,1]torch.relu/F.relu：不可导，但计算简单常用F.softmaxLoss及其梯度MSE：autograd.gradloss.backwardGradientAP

__init__()self.conv1_1=nn.Conv2d(1,64,kernel_size=3,stride=1,padding=1)defforward(self,x):conv1_1=F.relu

importtorch.nnasnnimporttorch.nn.functionalasFimporttorch.nnasnnclassAlexNet_1(nn.Module):def__init__(self,num_classes=n):super(AlexNet,self).__init__()self.features=nn.Sequential(nn.Conv2d(3,64,kerne

importtorchimporttorch.nn.functionalasffromtorch.autogradimportVariableimportmatplotlib.pyplotaspltx=torch.linspace(-5,5,200)var=Variable(x)x_np=var.data.numpy()y_relu=f.relu

__init__()self.conv1=nn.Conv2d(1,6,5)self.conv2=nn.Conv2d(6,16,5)defforward(self,x):x=F.max_pool2d(F.relu

我就废话不多说了，大家还是直接看代码吧~importtorch.nnasnnimporttorch.nn.functionalasFimporttorch.nnasnnclassAlexNet_1(nn.Module):def__init__(self,num_classes=n):super(AlexNet,self).__init__()self.features=nn.Sequential(

官网nn.ReLU介绍类似于下面#inplaceFalsey=x+1x=x#inplaceTruex=x+12.nn.ReLU,F.ReLU区别与联系其中nn.ReLU作为一个层结构，必须添加到nn.Module

importtorch#nn.Module,nn.Conv2d,nn.ReLU(),nn.Linear()importtorch.nnasnn#F.avg_pool2d(),F.max_pool2d(),F.relu