Mr Gao

python pytorch教程-带你从入门到实战（代码全部可运行）

其实这个教程以前博主写过一次，不过，这回再写一次，打算内容写的多一点，由浅入深，然后加入一些实践案例。

下面是我们的内容目录：

1.先从数据类型谈起

1.1 如何生成pytorch的各种数据类型？
1.2 pytorch的各种数据类型有哪些属性？
1.3 pytorch的各种数据类型有哪些函数操作？

2.数据类型和其操作谈完，选择某一个方向开始学习和实践（深度学习）。

2.1 求导
2.2 损失函数
2.3优化器
2.4线性回归代码实战
2.5 卷积神经网络实战
2.6 神经网络实战
2.7 RNN和LSTM实战

1.先从数据类型谈起

那如果从数据类型谈起，我们就要从下面几个角度去谈：

1.1 如何生成pytorch的各种数据类型？

1.2 pytorch的各种数据类型有哪些属性？

1.3 pytorch的各种数据类型有哪些函数操作？

首先，我们知道pytorch是一个计算库，也有人说是深度学习库，那么计算库呢，肯定都是有自己的数据类型的。
另外pytorch都是围绕Tensors (张量)来进行计算的，Tensors 类似于 NumPy 的 ndarrays ，同时 Tensors 可以使用 GPU 进行计算。ndarrays 是不可以的，且只能存储在cpu中，但是Tensor可以，Tensor其实就是用来进行各种计算的数据结构，存储数据，且有各种各样的操作，增删改查之类的。

所以我们先从pytorch数据类型开始讲解，没有自己的数据类型，就无从谈起。当然其实大家如果学过数据结构就会知道，现在基本上想开发大型系统还是小型系统，还是说想开发一些功能接口，像pytorch其实就是一个功能接口，我们都需要从最基本的类开始设计，pytorch的每一个数据类型其实就是一个类，这个类会定义他的一些基本的数据，定义他的一些函数操作，比如乘法、加法、减法、乘法、梯度更新。所以，我们看待pytorch的数据类型的时候，可以从类的角度去看待它。

下面我们看一张图：

上图呢其实就是表示出了python的五个个数据类型和pytorch的五个数据类型的对应关系，其实pytorhc应该还有更多的，但是一般情况下掌握上面四种就可以了，即使你是做深度学习的，也只需要掌握上面四个。

下面我们开始正文：

1.1 如何生成pytorch的各种数据类型？
生成pytorch的各种数据类型比较简单，当然也分为甚多情况下面我们一一介绍：

在开始1.1之前，我们需要提前讲一个函数，这部分本来应该是在1.3来说的。

这个函数就是type

代码示例如下：

运行结果会返回他的变量的数据类型，这个函数我们在后面会常用到。

（1）通过pytorch的函数生成数据类型

1.randn函数,返回一个包含了从标准正态分布中抽取的一组随机数的张量

import torch
#使用torch函数生成torch数据类型
print(torch.randn(2,3))
print(torch.randn(2,3).type())

输入结果如下：
这个函数返回FloatTensor的张量。

2.rand函数，这个函数看似和randn函数很像但是其实是由很大区别的。


print(torch.rand(2,3))

print(torch.rand(2,3).type())

输出结果如下：
这个返回的也是FloatTensro数据类型的张量。

3.torch.eye()，返回一个二维张量，返回的也是FloatTensor数据类型的张量。学过线性代数的同学可能知道这个函数的作用是很大的哈。明星可以用来生成单位矩阵。
这里有个疑惑哈，都知道单位矩阵的元素其实一般都用整数表示，这里为什么也是float数据类型呢？所以说，pytorch就是为了计算方便，都整齐划一，都用FloatTensor张量的数据类型，这样不会出现类型转换数据流失，而且也方便操作。


print(torch.eye(2,3))

print(torch.eye(2,3).type())

4.from_numpy, 将numpy.ndarray转换为Tensor。
这个函数有很多限制嘛，比如返回的张量tensor和ndarray共享同一内存空间，修改一个会导致另一个也被修改，返回的张量不能改变大小。
所以用的时候要注意这些问题。


a=np.random.randn(2,3)

#print(a)

tor=torch.from_numpy(a)
print(tor)
print(tor.type())

输出结果如下，注意这是DoubleTensor的数据类型。

5.linspace ，返回一个一维张量，这个用法是说我们设置一个起点，一个终点，再设置一个间隔，就会按照设置的间隔从起点到终点返回数据。返回数据类型是FloatTensor。

注意，step只能是整数，start 和end可以随便设置

print(torch.linspace(2,10,2))

print(torch.linspace(2,10,2).type())

输出结果如下：

6.logspace，返回一个一维张量，设置一个起点，一个终点，还需要设置一个返回元素数量，会按等间隔返回区间内所需数量的元素。
对了这个函数还可以对数据进行按对数处理。



print(torch.logspace(2,10,20))

print(torch.logspace(2,10,20).type())
#以5为底对数据进行对数处理，默认为10
print(torch.logspace(2,10,20,5))

print(torch.logspace(2,10,20,5).type())

7.ones，返回一个全为1的张量

print(torch.ones(10))

print(torch.logspace(10))

返回数据类型也是FloatTensor。

8.randperm，返回一个随机的整数排列，所以只能传入整数n，然后排列的元素小于n。


print(torch.randperm(10))

print(torch.randperm(10).type())

注意这个返回类型是LongTensor。

9.arange函数，这个也是返回一个一维张量，他的用法跟logspace类似，但是他没有底数，底数一直是10.

下面看代码就懂了：

print(torch.arange(10))

print(torch.arange(2,10))
print(torch.arange(2,10,2))
print(torch.arange(2,10,0.5))
print(torch.arange(10).type())
print(torch.arange(2,10,0.5).type())

输出结果如下：
注意，其实函数生成的数据类型不一定是固定的，看下面我们就知道了哈。
10.zeros，这个函数用法和ones很像，可以参考ones函数的用法。
下面看代码：


print(torch.zeros(10))

print(torch.zeros(10).type())

返回一个全是0的张量，然后类型是FloatTensor,元素数量，由我们去传递。

输出结果如下：

11.zeros_like 这个会很据给定的一个张量生成与其维度一样的一个全0的张量。它可以生成任意维度哈。

看代码：

print(torch.zeros_like(a))
print(torch.zeros_like(b))
print(torch.zeros_like(a).type())

输出结果如下：

12 empty_like，用法与zeros_like类似，但是它生成的张量是未初始化的。

准确来说，生成的数据其实是有的，但是就是随机的。


a=torch.eye(2,3)
b=torch.ones(12)
print(torch.empty_like(a))
print(torch.empty_like(b))
print(torch.empty_like(a).type())

13 full函数，传入一个维度s，再传入一个值v，会生成一个维度为s，值全为b的张量，
代码如下：


print(torch.full((4,6),10))

print(torch.full((4,6),10).type())

输出如下：

14 full_like ，和zeros_like很像啊，大家看代码。

a=torch.eye(2,3)
b=torch.ones(6)
print(torch.full_like(a))
print(torch.full_like(b))
print(torch.full_like(a).type())

输出结果如下：

15.as_tensor这个函数很重要，上面的十四个函数都很重要，但是这个比较重要，因为他是一个过渡函数，如果你以前对于列表、元组、ndarray学的比较好，那么这个函数对于你就比较实用，它可以直接进行类型的转化，将列表、元组、ndarray类型进行转化。

代码如下：

a=[1,2,3]
b=(1,2,3)
a2=[[1,2,3],[1,2,3]]
c=np.array([1,2,3])
print(torch.as_tensor(a))
print(torch.as_tensor(b))
print(torch.as_tensor(a2))
print(torch.as_tensor(c))

print(torch.as_tensor(a).type())

输出结果如下。

所以其实pytorch也是有规律的，一般都是转化为FloatTensor,只有一些整数会转化为LongTensor。

16 rand_like 和之前的full_lile,zeros_like,ones_like,类似，不过呢，这个返回的是0-1之间的随机数。
下面我们直接看代码：



a=torch.eye(2,3)
b=torch.ones(6)
print(torch.rand_like(a))
print(torch.rand_like(b))
print(torch.rand_like(a).type())

输出额结果如下：

17 randint，返回一个填充了随机整数的张量，我们需要设置随机整数的范围和张量维度。
示例代码如下：

print(torch.randint(0,10,size=(12,)))
print(torch.randint(0,10,size=(2,3)))
print(torch.randint(0,10,size=(2,3)).type())

注意要设置返回随机整数的范围，也就是传递上界和下界。
输出结果：

18 randint_like不用多说了把，看上面的都知道了
看看代码就懂了：

a=torch.eye(2,3)
b=torch.ones(6)
print(torch.randint_like(a,0,10))
print(torch.randint_like(b,0,10))
print(torch.randint_like(a,0,10).type())

输出结果如下：

19.randn_like，这个也是一样的哈，根据输入张量形状返回的是正太分布的数据。
看代码：


a=torch.eye(2,3)
b=torch.ones(6)
print(torch.randn_like(a))
print(torch.randn_like(b))
print(torch.randn_like(a).type())

输出结果如下：

（2）通过tensor函数生成数据类型，这个函数上面应该是讲过了，但是这次主要将他的数据类型定义的这一块。
这个我们单拿出来做的，因为这个函数比较特别，它可以直接指定我们生成的数据类型。也可以说是非常非常重要的。


a = torch.tensor([3, 2], dtype=torch.float32) 
print(a.type())
a = torch.tensor([3, 2], dtype=torch.int32) 
print(a.type())
a = torch.tensor([3, 2], dtype=torch.int64) 
print(a.type())
a = torch.tensor([3, 2], dtype=torch.float64) 
print(a.type())

输出结果如下：

好的，到此，我们1.1算是完结了，大家学习一个数据结构一定是先从它如何产生的先学起，之后我们才能到其他的内容。

1.1的所有示例代码如下：


#coding=gbk
import os
import torch
import numpy  as np
#使用torch函数生成torch数据类型
print(torch.randn(2,3))

print(torch.randn(2,3).type())

a=torch.randn(2,3)
print(a.type())

print(torch.rand(2,3))

print(torch.rand(2,3).type())


print(torch.eye(2,3))

print(torch.eye(2,3).type())

a=np.random.randn(2,3)

#print(a)

tor=torch.from_numpy(a)
print(tor)
print(tor.type())


print(torch.linspace(2,10,2))

print(torch.linspace(2,10,2).type())


print(torch.logspace(2,10,20))

print(torch.logspace(2,10,20).type())
#以5为底对数据进行对数处理，默认为10
print(torch.logspace(2,10,20,5))

print(torch.logspace(2,10,20,5).type())

print(torch.ones(10))

print(torch.ones(10).type())


print(torch.randperm(10))

print(torch.randperm(10).type())
print(torch.arange(10))

print(torch.arange(2,10))
print(torch.arange(2,10,2))
print(torch.arange(2,10,0.5))
print(torch.arange(10).type())
print(torch.arange(2,10,0.5).type())

print(torch.zeros(10))

print(torch.zeros(10).type())

a=torch.eye(2,3)
b=torch.ones(12)
print(torch.zeros_like(a))
print(torch.zeros_like(b))
print(torch.zeros_like(a).type())


a=torch.eye(2,3)
b=torch.ones(6)
print(torch.empty_like(a))
print(torch.empty_like(b))
print(torch.empty_like(a).type())

print(torch.full((4,6),10))

print(torch.full((4,6),10).type())




a=torch.eye(2,3)
b=torch.ones(6)
print(torch.full_like(a,12))
print(torch.full_like(b,12))
print(torch.full_like(a,12).type())

a=[1,2,3]
b=(1,2,3)
a2=[[1,2,3],[1,2,3]]
c=np.array([1,2,3])
print(torch.as_tensor(a))
print(torch.as_tensor(b))
print(torch.as_tensor(a2))
print(torch.as_tensor(c))

print(torch.as_tensor(a).type())


a=torch.eye(2,3)
b=torch.ones(6)
print(torch.rand_like(a))
print(torch.rand_like(b))
print(torch.rand_like(a).type())

print(torch.randint(0,10,size=(12,)))
print(torch.randint(0,10,size=(2,3)))
print(torch.randint(0,10,size=(2,3)).type())

a=torch.eye(2,3)
b=torch.ones(6)
print(torch.randint_like(a,0,10))
print(torch.randint_like(b,0,10))
print(torch.randint_like(a,0,10).type())

a=torch.eye(2,3)
b=torch.ones(6)
print(torch.randn_like(a))
print(torch.randn_like(b))
print(torch.randn_like(a).type())

os.system("pause")

对于1.1中提到的数据生成方法，基本都是可以选择存储设备的，device是选择gpu还是cpu，如果选择cpu，后面的运算也就由cpu执行，同理选择gpu就由gpu执行。所以大家可以根据自己的需求选择存储设备。

1.2 pytorch的各种数据类型有哪些属性？

这一部分的内容可能要轻松很多了哈，因为各个数据类型基本上属性都是共有的，所以，我们举一个就可以了。
下面我们该如何开始？

当然是先创建一个张量啦！这不就是我们1.1一直在讲的。
创建一个张量：

import os
import torch
import numpy  as np
#使用torch函数生成torch数据类型

a=torch.randn(2,3)

type 查看其数据类型

然后呢，查看他的数据类型是不是：

print(a.type())

那么第一个属性，就是数据类型这个属性，其实这也算是一个属性。
另外type其实应该是一个函数，应为它是可以调用的，具有小括号，它可以用来进行类型转换。


a=torch.randn(2,3)
print(a.type())
a = a.type(torch.int64)

print(a.type())

上面代码就可以进行类型转换，可以看出这个函数应该是又重新开辟了一段内存。

2.size 查看数据形状

用法也很简单:


a=torch.randn(2,3)
print(a.size())

a=torch.randn(2,)
print(a.size())
a=torch.randn(6)
print(a.size())

输出：

到这里，1.2其实就结束了，是的内从不多，因为属性是用来了解一个数据变量的，我们只需要通过type和size基本就可以知道这个变量的情况了。
1.2代码如下：


#coding=gbk

import os
import torch
import numpy  as np
#使用torch函数生成torch数据类型


a=torch.randn(2,3)
print(a.type())
a = a.type(torch.int64)

print(a.type())

a=torch.randn(2,3)
print(a.size())

a=torch.randn(2,)
print(a.size())
a=torch.randn(6)
print(a.size())

os.system("pause")

1.3 pytorch的各种数据类型有哪些函数操作？

这里其实各种数据类型的函数操作基本都是一样的，无所谓增删改查，一些数值处理等等，那我们现在开始介绍：

1.is_tensor 和 is_storage。这是这样的，我们在生成一个tensor的时候，我们会得到一个tensor和其对应的变量，但是这个变量所指的地址并没有存储数据，而是存储了一些tensor的属性，比如type，size啊，还有它真实数据存储的地方。
那么我们生成一个变量呢，就会得到以恶搞tensor区和storage， tensor区存储tensor信息，storage区存储数据。如下图

那么现在我们就看一下示例代码


a=torch.randn(2,3)
print(torch.is_tensor(a))

c=a.storage()

print(torch.is_storage(a))

print(torch.is_storage(c))

运行结果就会使下面这样：

numel 这个函数会返回张量总的的数据元素个数，也是很重要的，看下示例代码


a=torch.randn(2,3)
b=torch.randn(7)
print(torch.numel(a))
print(torch.numel(b))

输出结果就是6和7：

3. sparse_coo_tensor生成稀疏矩阵，稀疏矩阵之所以单拿出来用一个函数处理，因为pytorch肯定也是对其内存做了封装，对于存储稀疏矩阵有着处理。可以节省内存。
下面看一下这函数的用法，示例代码如下：



index=torch.tensor([[1,2],[2,1]])
value=torch.tensor([2,3],dtype=torch.float32)

t=torch.sparse_coo_tensor(index,value,(3,4))
print(t)

输出结果如下：

4.cat ，在给定维度上对输入的张量序列seq进行连接操作。这个函数会接受两个参数。

第一个参数tensors是你想要连接的若干个张量，按你所传入的顺序进行连接，注意每一个张量需要形状相同，或者更准确的说，进行行连接的张量要求列数相同，进行列连接的张量要求行数相同。
第二个参数dim表示维度，dim=0则表示按行连接，dim=1表示按列连接

来看一下示例代码：


a=torch.randn(2,3)

b=torch.randn(2,4)

c=torch.randn(4,3)

print(a)
print(b)
print(c)
print(torch.cat((a,b),1))
print(torch.cat((a,c),0))

输出结果如下：

注意，第二个参数表示我们选择在那个轴上进行拼接，那个轴一定要相等。

5.chunk这个函数会对tensor进行分块处理。需要传入=三个参数，一个是tensor，一个是分块数量，还一个是按照那个轴进行分块。
下面我们看一下示例代码：



a=torch.randn(12,3)
print(torch.chunk(a,6,0))
a=torch.randn(3,12)
print(torch.chunk(a,6,1))

输出结果如下：

gather,这个函数是做聚合的，其实就是从一个tensor中取出元素。
看一下示例用法


a=torch.randn(4,3)
index1=torch.LongTensor([[0,1,2,1]])
index2=torch.LongTensor([[0,1,2]])
print(a)
print(torch.gather(a,1,index1))

print(torch.gather(a,0,index2))

输出结果如下：

7.index_select，这个函数和上面那个差不多其实，但是gather选择的是元素，index_select选择的直接是一个小单元。
看一下示例代码


a=torch.randn(4,3)
index1=torch.LongTensor([0,1,2,1])
index2=torch.LongTensor([0,1,2])

print(a)
print(torch.index_select(a,1,index1))

print(torch.index_select(a,0,index2))

输出结果如下：

7.ge 函数，这函数传入一个tensor和一个数值v，会根据数值返回一个只含有不二数据的tensor，大于等于v返回true,小于返回false。
下面看示例代码

这个函数很重要哈，可以多学习学习。

a=torch.randint(0,10,(2,3))

print(a)
b=torch.ge(a,5)
print(b)

输出解结果如下：

8.mask_index 其实我们将上面一个函数就是为了这个函数的讲解，这个函数传入两个张量，第二个张量的数据类型是bool类型的，根据第一个张量是否为true返回第二个tensor的元素。
下面看示例代码：


a=torch.randint(0,10,(2,3))

print(a)
b=torch.ge(a,5)
print(b)
print(torch.masked_select(a,b))

输出结果：

9.nonzero，这个函数需要出入一个张量，它会返回这个张量非0元素的索引。
看一下示例代码：


a=torch.randint(0,10,(2,3))
print(a)
print(torch.nonzero(a))

输出结果如下：

10.reshape,这个函数会改变张量的size
我们看一下示例代码：


a=torch.randint(0,10,(2,3))
b=a.reshape(3,2)
print(b)
b=a.reshape(6,1)
print(b)
b=a.reshape(1,6)
print(b)
b=a.reshape(6,)
print(b)

输出结果如下：

这个函数很重要哈，要好好掌握，所以给了三个例子。

11.split函数，这个函数跟前面的chunk很像，但是它又更灵活一点，它还可以传递列表进行切分
示例代码如下：



a=torch.randn(6,3)

print(a)
print(torch.split(a,3,0))

print(torch.split(a,[1,5],0))
a=torch.randn(3,6)
print(a)
print(torch.split(a,2,1))

输出结果如下：

12.unsqueeze这个函数会对传入的张量进行维度扩充。




a=torch.randint(0,10,(2,3))

print(a)
b=torch.unsqueeze(a,0)
print(b)
b=torch.unsqueeze(a,1)
print(b)

这个函数可能会用的稍微少一点：

13 squeeze，这个函数用的就比较多了，它是一个降维的函数可以说。将输入张量形状中的1去除并返回。
看一下示例代码：


a=torch.randint(0,10,(2,3))

print(a)
b=torch.squeeze(a,0)
print(b)
a=torch.randint(0,10,(6,1))

b=torch.squeeze(a,0)
print(b)

输出结果如下：
注意只会把维度为1的那部分给压缩掉。

14.stack函数，这个会对数据进行一个拼接，跟cat函数有些类似。但是cat可以要求不同维度的张量进行拼接，stack必须同维度。

我们来看一下示例代码：



a=torch.randint(0,10,(2,3))

b=torch.randint(0,10,(2,3))
print(a)
print(b)

print(torch.stack((a,b),1))
print(torch.stack((a,b),0))

输出结果如下：

15.t函数，这个就是转置函数，这部分知识是矩阵里的。
示例代码如下：


a=torch.randint(0,10,(2,3))
print(a)
print(torch.t(a))

输出结果如下：

transpose函数，这个函数其实是t函数的进阶版，可以任意选择两个维度进行交换处理。


a=torch.randint(0,10,(2,3))
print(a)
print(torch.transpose(a,0,1))

输出结果如下：

如果维度大于3的话，用这个比较好。

unbind
移除指定维度后，返回一个元组，包含了沿着指定维切片后的各个切片。就是对传入的张量进行切分哈。



a=torch.randint(0,10,(2,3))
print(a)
print(torch.unbind(a,0))
print(torch.unbind(a,1))

会返回一个元组，根据传入的轴对tensor切分。
输出结果如下：

where，这个函数比较特别在pytorch中，需要传入一个表达式，再传入两个张量，满足条件返回第一个张量的元素，不满足返回第二个张量的元素，这个函数应该听常用的平时，可以注意一下。

a=torch.randint(0,10,(2,3))

b=torch.randint(0,10,(2,3))
print(a)
print(b)
print(torch.where(a>5,a,b))

输出结果如下：

18. manual_seed和initial_seed，manual_seed会设置我们的随机种子，initial_seed则会返回，当前设置的随机种子。
看一下示例代码。


torch.manual_seed(10)
print(torch.initial_seed())

返回结果就是10。
随机种子设置好了，我们随机生成的数据就会固定了，那不就不随机了？主要还是做实验的时候，重复实验。

bernoulli，做统计学的可能了解这个，这个呢，其实也是返回一个张量，输入参数为一个概率张量，元素值都要早0-1之间，这个函数会把输入的概率作为伯努利分布的概率参数，返回0，1值。看一下代码：



a=torch.tensor([[0.5,0.2],[0.4,0.6]])
print(a)
print(torch.bernoulli(a))

输出结果如下：

20 multinomial函数，多项式分布，什么意思呢，传入一个权重张量，然后会根据权重选择元素的下标，先看看代码，


a=torch.tensor([[0.5,0.2],[0.4,0.6]])
print(a)
print(torch.multinomial(a,4, replacement=True))

a=torch.rand(2,3)

print(torch.multinomial(a,4, replacement=True))
a=torch.rand(2,3)
print(a)
print(torch.multinomial(a,4, replacement=True))

输出结果就是下面这样，它返回的是整数值，其实是对应概率的下标，我们设置长度，就是这样。

normal这个函数很重要，它是正太分布的函数，我们设置均值，方差之后，再设置维度，会生成对应参数的正太分布张量，来看代码。



print(torch.normal(0,1,(2,3)))

print(torch.normal(0,3,(2,3)))

输出结果：

如果前两个参数传入0，1，就变成了randn了。

22.save，这个函数搞机器学习，神经网络肯定比较熟悉，没错，这就是我们深度学习，神经网络说的那个save，保存模型的那个函数。
下面我们看一下示例代码：


a=torch.rand(2,3)
torch.save(a,"tensor.pt")

torch.save(model,'net.pth')#保存网络结构和模型参数

torch.save(model.state_dict(),'net_params.pth')#只保存网络参数

对了，保存问见用pth，或者pt都可以没什么太大区别

讲完save,下一个讲什么？肯定是load了，这个是加载数据的。
看一下示例代码：



device=torch.device('cpu')
a=torch.load('tensor.pt',map_location=device)

print(a)

输出结果：

下面我们开始数学处理方面的一些函数

因为，博主看了一下基本大部分用法都一样，而且使用起来简单多了，我这里就在代码里批量介绍了：
24.数学函数，元素直接处理

a=torch.randn(2,3)
print(a)
#绝对值处理
print(torch.abs(a))
a=torch.rand(2,3)

#反余弦处理
print(torch.acos(a))

#反正弦处理
print(torch.asin(a))

#正弦处理
print(torch.sin(a))

#正切处理
print(torch.tan(a))

#双曲正切处理
print(torch.tanh(a))

#双曲正弦处理
print(torch.sinh(a))
#反正切处理
print(torch.atan(a))

#向上取整

print(torch.ceil(a))
#exp处理
print(torch.exp(a))
#log处理
print(torch.log(a))
#log(a+1)处理
print(torch.log1p(a))
#取负处理
print(torch.neg(a))

#倒数处理

print(torch.reciprocal(a))
#得到除法余数
print(torch.remainder(a,0.2))
#张量元素分别加入一个值。
print(torch.add(a,10))#每个元素加10
#都除以一个数
print(torch.fmod(a,10))#每个元素除10
#向下取整
print(torch.floor(a))
#四舍五入处理
print(torch.round(a))

#平方根倒数
print(torch.rsqrt(a))
#sigmoid函数处理
print(torch.sigmoid(a))

#得到元素正负bool值
print(torch.sign(a))
#求平方根
print(torch.sqrt(a))

25.addcdiv 函数，用tensor2对tensor1逐元素相除，然后乘以标量值value并加到tensor上。

看一下示例代码：

c=torch.tensor([[0,0,0],[0,0,0]])
a=torch.randn(2,3)
b=torch.rand(2,3)
print(c)
print(a)

print(b)
print(torch.addcdiv(c,0.5,a,b))

输出结果如下：

26.addcmul 这个用法和上面一个函数很相似。看一下公式：

示例代码：


c=torch.tensor([[0,0,0],[0,0,0]])
a=torch.randn(2,3)
b=torch.rand(2,3)
print(c)
print(a)
print(b)
print(torch.addcmul(c,0.5,a,b))

输出结果：

27 lerp 线性插值处理，传入两个维度一样的张量，和一个权重值
公式：

示例代码：

a=torch.randn(2,3)
b=torch.rand(2,3)
print(a)
print(b)

print(torch.lerp(a,b,10))

输出：

29 mul 传入两个维度一样的张量，按元素相乘。


a=torch.randn(2,3)
b=torch.rand(2,3)
print(a)
print(b)

print(torch.mul(a,b))

输出结果如下：

29 cumprod，这个函数会进行累乘，不过我们设置轴的位置。
看一下示例代码：


a=torch.randint(1,4,(3,3))
print(a)
print(torch.cumprod(a,0))
print(torch.cumprod(a,1))

测试结果如下：
通过轴的设置，可以按行或者按列进行累乘。

30 cumsum，这个函数和上面一个函数用法差不多，不过变成了累积。
示例代码：

a=torch.randint(1,4,(3,3))
print(a)
print(torch.cumsum(a,0))
print(torch.cumsum(a,1))

输出结果如下:

31.dist函数，可以济宁P函数计算，输入两个张量，会将两个张量相减后的张量求解范数结果。
看下范数求解公式：

示例代码如下：

a=torch.randint(1,5,(6,))

b=torch.randint(1,5,(6,))
a=a.type(dtype=torch.float32)
b=b.type(dtype=torch.float32)
print(a)
print(b)
print(torch.dist(a,b,2))


print(torch.dist(a,b,4))


a=torch.randint(1,5,(2,3))

b=torch.randint(1,5,(2,3))
a=a.type(dtype=torch.float32)
b=b.type(dtype=torch.float32)
print(a)
print(b)
print(torch.dist(a,b,2))


print(torch.dist(a,b,4))

这个函数很重要，大家好好掌握一下：
输出结果如下：

32 数学相关处理函数

下面就直接上代码，这个一块函数用法比较简单，大家运行一下下面代码就懂了。

a=torch.randint(1,4,(3,3))
print(a)

#求均值，第二个参数设置轴的方向，按行还是按列
print(torch.mean(a.type(dtype=torch.float32),0))
print(torch.mean(a.type(dtype=torch.float32),1))



#求中位数，第二个参数设置轴的方向，按行还是按列
print(torch.median(a,0))
print(torch.median(a,1))



#求众数
print(torch.mode(a,0))
print(torch.mode(a,1))
#求进行P范数求解，第二个为范数参数，第三个参数为轴的选择
print(torch.norm(a.type(dtype=torch.float32),2,0))
print(torch.norm(a.type(dtype=torch.float32),2,1))


#求累乘结果，第二个此参数设置轴
print(torch.prod(a.type(dtype=torch.float32),0))
print(torch.prod(a.type(dtype=torch.float32),1))
#求标准差
print(torch.std(a.type(dtype=torch.float32),0))
print(torch.std(a.type(dtype=torch.float32),1))
#求和
print(torch.sum(a,0))
print(torch.sum(a,1))
#求方差
print(torch.var(a.type(dtype=torch.float32),0))
print(torch.var(a.type(dtype=torch.float32),1))
#求最大值
print(torch.max(a,0))
print(torch.max(a,1))
#求最小值
print(torch.min(a,0))
print(torch.min(a,1))
#进行排序
print(torch.sort(a,0))
print(torch.sort(a,1))

下面是一些比较操作函数 eq，传入两个参数第一个为张量，第二个为一个数或者一个张量，然后比较是否相等
看一下示例代码：



a=torch.randint(1,4,(3,3))

b=torch.randint(1,4,(3,3))
print(torch.eq(a,1))
print(torch.eq(a,b))

结果如下：

equal这个函数就比较厉害了，就是比较两个张量是不是完全相等，我们看一下

a=torch.randint(1,4,(3,3))

b=torch.randint(1,4,(3,3))
print(torch.equal(a,b))
a=torch.tensor([[1,2,3]])

b=torch.tensor([[1,2,3]])
print(torch.equal(a,b))

b=b.type(dtype=torch.float32)
print(a.type())
print(b.type())
print(torch.equal(a,b))

输出结果：

可以看出来，是不比较类型的，只是比较值是不是相等。维度是不是一样。
35. ge 这个函数就是比较两个张量大小的，ge(a,b),a>=b返回true，反之返回false。第二个参数可以是值或者张量。
看一下示例代码：


a=torch.randint(1,4,(3,3))

b=torch.randint(1,4,(3,3))
print(a)
print(b)
print(torch.ge(a,b))

输出结果如下:

gt 这个函数也是比较两个张量大小的，但是等号去掉了，ge(a,b),a>b返回true，反之返回false。
这个不用示例代码了，更上面几乎差不多了。
le 这个函数也是比较两个张量大小的，le(a,b),a<=b返回true，反之返回false，注意是逐个元素比较，第二个参数可以是值或者张量。
lt 这个函数也是比较两个张量大小的，但是等号去掉了，lt(a,b),a 39 kthvalue，输入一个张量，输入一个k和dim，dim为选择的轴方向，k为取得第几个最小的值，第二个参数可以是值或者张量。
看一下示例代码：


a=torch.randint(1,4,(4,4))

print(a)

print(torch.kthvalue(a,2,0))

print(torch.kthvalue(a,2,1))

输出结果如下：

40 topk，输入一个张量，输入一个k和dim，dim为选择的轴方向，k为取得第几个最大的值。跟上面kthvalue很像。


a=torch.randint(1,4,(4,4))

print(a)

print(torch.topk(a,2,0))

print(torch.topk(a,2,1))

看一下示例代码

41.cross 叉积也称向量积这是线性代数里的知识。

向量积的计算公式如下图：

看一下示例代码：


a=torch.randint(1,4,(2,3))
b=torch.randint(1,4,(2,3))
print(a)
print(b)
print(torch.cross(a,b))

42.diag 如果输入是一个向量，则返回一个以input为对角线元素的2D方阵。如果输入是一个矩阵，则返回一个包含input为对角元素的1D张量。
看一下示例代码：



a=torch.randint(1,4,(2,3))
print(a)

print(torch.diag(a))
print(torch.diag(torch.tensor([1,2,3])))

输出结果如下：

43 histc函数，进行区间统计，传入一个张量和区间数量，还有上下界，如果不传入上下界，默认使用张量中的最大值和最小值作为上下界。
示例代码如下：


a=torch.randint(1,10,(2,3))
print(a)

print(torch.histc(a.type(dtype=torch.float32),5))
a=torch.randint(1,10,(10,))
print(a)

print(torch.histc(a.type(dtype=torch.float32),5))
print(torch.histc(a.type(dtype=torch.float32),5,5,10))

输出结果如下:

44.renorm,返回一个张量，包含规范化后的各个子张量，使得沿着dim维划分的各子张量的p范数小于maxnorm。如果p范数的值小于maxnorm，则当前子张量不需要修改。
看一下示例代码：


a=torch.randint(1,10,(2,3))
print(a)

print(torch.renorm(a.type(dtype=torch.float32),2,0,10))

print(torch.renorm(a.type(dtype=torch.float32),2,1,10))

输出结果如下：
45. trace，输出二维矩阵对角线元素和



a=torch.randint(1,10,(2,3))
print(a)

print(torch.trace(a.type(dtype=torch.float32)))

注意，非方阵也可以求。

tril 输入一个矩阵，返回一个将上三角元素全部置0的矩阵。



a=torch.randint(1,10,(3,3))
print(a)

print(torch.tril(a.type(dtype=torch.float32)))

triu输入一个矩阵，返回一个将下三角元素全部置0的矩阵。



a=torch.randint(1,10,(3,3))
print(a)

print(torch.triu(a.type(dtype=torch.float32)))

47. dot返回两个张量的点乘。
看一下示例代码：


a=torch.randint(1,10,(3,))
b=torch.randint(1,10,(3,))
print(a)
print(b)
print(torch.dot(a,b))

输出结果如下：

48. inalg.eig，求矩阵的特征值和特征向量，这个很重要哈。
看一下示例代码：



a=torch.randint(1,10,(3,3))
print(a)

print(torch.inalg.eig(a.type(dtype=torch.float32)))

输出结果如下：

49. inverse，对矩阵求逆。





a=torch.randint(1,10,(3,3))
print(a)

print(torch.inverse(a.type(dtype=torch.float32)))

输出结果如下：

50 mm，进行矩阵相乘。



a=torch.randint(1,5,(2,3))

b=torch.randint(1,5,(3,2))
print(a)
print(b)
print(torch.mm(a.type(dtype=torch.float32),b.type(dtype=torch.float32)))

输出结果如下：

51. mv，矩阵和向量进行相乘。




a=torch.randint(1,5,(2,3))

b=torch.randint(1,5,(3,))
print(a)
print(b)
print(torch.mv(a.type(dtype=torch.float32),b.type(dtype=torch.float32)))

any ,当tensor存在一个元素为true 返回true，否则返回false。
all, 当tensor元全素为true 返回true，否则返回false。

到此我们1.3也算结束了，下面我们附上1.3全部的代码：

#coding=gbk


import os
import torch
import numpy  as np
#使用torch函数生成torch数据类型


a=torch.randn(2,3)
print(torch.is_tensor(a))

c=a.storage()

print(torch.is_storage(a))

print(torch.is_storage(c))


a=torch.randn(2,3)
b=torch.randn(7)
print(torch.numel(a))
print(torch.numel(b))


index=torch.tensor([[1,2],[2,1]])
value=torch.tensor([2,3],dtype=torch.float32)

t=torch.sparse_coo_tensor(index,value,(3,4))
print(t)


a=torch.randn(2,3)

b=torch.randn(2,4)

c=torch.randn(4,3)

print(a)
print(b)
print(c)
print(torch.cat((a,b),1))
print(torch.cat((a,c),0))


a=torch.randn(12,3)

print(torch.chunk(a,6,0))


a=torch.randn(3,12)

print(torch.chunk(a,6,1))

a=torch.randn(4,3)
index1=torch.LongTensor([[0,1,2,1]])
index2=torch.LongTensor([[0,1,2]])

print(a)
print(torch.gather(a,1,index1))

print(torch.gather(a,0,index2))



a=torch.randn(4,3)
index1=torch.LongTensor([0,1,2,1])
index2=torch.LongTensor([0,1,2])

print(a)
print(torch.index_select(a,1,index1))

print(torch.index_select(a,0,index2))

a=torch.randint(0,10,(2,3))

print(a)
b=torch.ge(a,5)
print(b)

a=torch.randint(0,10,(2,3))

print(a)
b=torch.ge(a,5)
print(b)
print(torch.masked_select(a,b))


a=torch.randint(0,10,(2,3))
print(a)
print(torch.nonzero(a))



a=torch.randint(0,10,(2,3))
b=a.reshape(3,2)
print(b)
b=a.reshape(6,1)
print(b)
b=a.reshape(1,6)
print(b)
b=a.reshape(6,)
print(b)



a=torch.randn(6,3)

print(a)
print(torch.split(a,3,0))

print(torch.split(a,[1,5],0))
a=torch.randn(3,6)
print(a)
print(torch.split(a,2,1))



a=torch.randint(0,10,(2,3))

print(a)
b=torch.unsqueeze(a,0)
print(b)
b=torch.unsqueeze(a,1)
print(b)



a=torch.randint(0,10,(2,3))

print(a)
b=torch.squeeze(a,0)
print(b)
a=torch.randint(0,10,(6,1))

b=torch.squeeze(a,0)
print(b)


a=torch.randint(0,10,(2,3))

b=torch.randint(0,10,(2,3))
print(a)
print(b)

print(torch.stack((a,b),1))
print(torch.stack((a,b),0))


a=torch.randint(0,10,(2,3))
print(a)
print(torch.t(a))



a=torch.randint(0,10,(2,3))
print(a)
print(torch.transpose(a,0,1))




a=torch.randint(0,10,(2,3))
print(a)
print(torch.unbind(a,0))
print(torch.unbind(a,1))





a=torch.randint(0,10,(2,3))

b=torch.randint(0,10,(2,3))
print(a)
print(b)
print(torch.where(a>5,a,b))

torch.manual_seed(10)
print(torch.initial_seed())


a=torch.tensor([[0.5,0.2],[0.4,0.6]])
print(a)
print(torch.bernoulli(a))


a=torch.tensor([[0.5,0.2],[0.4,0.6]])
print(a)
print(torch.multinomial(a,4, replacement=True))

a=torch.rand(2,3)

print(torch.multinomial(a,4, replacement=True))
a=torch.rand(2,3)
print(a)
print(torch.multinomial(a,4, replacement=True))


print(torch.normal(0,1,(2,3)))

print(torch.normal(0,3,(2,3)))

a=torch.rand(2,3)
torch.save(a,"tensor.pt")


device=torch.device('cpu')
a=torch.load('tensor.pt',map_location=device)

print(a)



a=torch.randn(2,3)
print(a)
#绝对值处理
print(torch.abs(a))
a=torch.rand(2,3)

#反余弦处理
print(torch.acos(a))

#反正弦处理
print(torch.asin(a))

#正弦处理
print(torch.sin(a))

#正切处理
print(torch.tan(a))

#双曲正切处理
print(torch.tanh(a))

#双曲正弦处理
print(torch.sinh(a))
#反正切处理
print(torch.atan(a))

#向上取整

print(torch.ceil(a))
#exp处理
print(torch.exp(a))
#log处理
print(torch.log(a))

#取负处理
print(torch.neg(a))

#倒数处理

print(torch.reciprocal(a))
#得到除法余数
print(torch.remainder(a,0.2))
#张量元素分别加入一个值。
print(torch.add(a,10))#每个元素加10

#四舍五入处理
print(torch.round(a))

#平方根倒数
print(torch.rsqrt(a))
#sigmoid函数处理
print(torch.sigmoid(a))

#得到元素正负bool值
print(torch.sign(a))
#求平方根
print(torch.sqrt(a))

c=torch.tensor([[0,0,0],[0,0,0]])
a=torch.randn(2,3)
b=torch.rand(2,3)
print(c)
print(a)

print(b)
print(torch.addcdiv(c,0.5,a,b))


c=torch.tensor([[0,0,0],[0,0,0]])
a=torch.randn(2,3)
b=torch.rand(2,3)
print(c)
print(a)
print(b)
print(torch.addcmul(c,0.5,a,b))

a=torch.randn(2,3)
b=torch.rand(2,3)
print(a)
print(b)

print(torch.mul(a,b))

a=torch.randint(1,4,(3,3))
print(a)
print(torch.cumprod(a,0))
print(torch.cumprod(a,1))



a=torch.randint(1,4,(3,3))
print(a)
print(torch.cumsum(a,0))
print(torch.cumsum(a,1))


a=torch.randint(1,5,(6,))

b=torch.randint(1,5,(6,))
a=a.type(dtype=torch.float32)
b=b.type(dtype=torch.float32)
print(a)
print(b)
print(torch.dist(a,b,2))


print(torch.dist(a,b,4))


a=torch.randint(1,5,(2,3))

b=torch.randint(1,5,(2,3))
a=a.type(dtype=torch.float32)
b=b.type(dtype=torch.float32)
print(a)
print(b)
print(torch.dist(a,b,2))


print(torch.dist(a,b,4))



a=torch.randint(1,4,(3,3))
print(a)

#求均值，第二个参数设置轴的方向，按行还是按列
print(torch.mean(a.type(dtype=torch.float32),0))
print(torch.mean(a.type(dtype=torch.float32),1))



#求中位数，第二个参数设置轴的方向，按行还是按列
print(torch.median(a,0))
print(torch.median(a,1))



#求众数
print(torch.mode(a,0))
print(torch.mode(a,1))
#求进行P范数求解，第二个为范数参数，第三个参数为轴的选择
print(torch.norm(a.type(dtype=torch.float32),2,0))
print(torch.norm(a.type(dtype=torch.float32),2,1))


#求累乘结果，第二个此参数设置轴
print(torch.prod(a.type(dtype=torch.float32),0))
print(torch.prod(a.type(dtype=torch.float32),1))
#求标准差
print(torch.std(a.type(dtype=torch.float32),0))
print(torch.std(a.type(dtype=torch.float32),1))
#求和
print(torch.sum(a,0))
print(torch.sum(a,1))
#求方差
print(torch.var(a.type(dtype=torch.float32),0))
print(torch.var(a.type(dtype=torch.float32),1))
#求最大值
print(torch.max(a,0))
print(torch.max(a,1))
#求最小值
print(torch.min(a,0))
print(torch.min(a,1))
#进行排序
print(torch.sort(a,0))
print(torch.sort(a,1))



a=torch.randint(1,4,(3,3))

b=torch.randint(1,4,(3,3))
print(torch.eq(a,1))
print(torch.eq(a,b))



a=torch.randint(1,4,(3,3))

b=torch.randint(1,4,(3,3))
print(torch.equal(a,b))
a=torch.tensor([[1,2,3]])

b=torch.tensor([[1,2,3]])
print(torch.equal(a,b))

b=b.type(dtype=torch.float32)
print(a.type())
print(b.type())
print(torch.equal(a,b))



a=torch.randint(1,4,(3,3))

b=torch.randint(1,4,(3,3))
print(a)
print(b)
print(torch.ge(a,b))



a=torch.randint(1,4,(4,4))

print(a)

print(torch.kthvalue(a,2,0))

print(torch.kthvalue(a,2,1))


a=torch.randint(1,4,(4,4))

print(a)

print(torch.topk(a,2,0))

print(torch.topk(a,2,1))


a=torch.randint(1,4,(2,3))
b=torch.randint(1,4,(2,3))
print(a)
print(b)



print(torch.cross(a,b))



a=torch.randint(1,4,(2,3))
print(a)

print(torch.diag(a))
print(torch.diag(torch.tensor([1,2,3])))


a=torch.randint(1,10,(2,3))
print(a)

print(torch.histc(a.type(dtype=torch.float32),5))
a=torch.randint(1,10,(10,))
print(a)

print(torch.histc(a.type(dtype=torch.float32),5))
print(torch.histc(a.type(dtype=torch.float32),5,5,10))


a=torch.randint(1,10,(2,3))
print(a)

print(torch.renorm(a.type(dtype=torch.float32),2,0,10))

print(torch.renorm(a.type(dtype=torch.float32),2,1,10))


a=torch.randint(1,10,(2,3))
print(a)

print(torch.trace(a.type(dtype=torch.float32)))



a=torch.randint(1,10,(3,3))
print(a)

print(torch.tril(a.type(dtype=torch.float32)))


a=torch.randint(1,10,(3,3))
print(a)

print(torch.triu(a.type(dtype=torch.float32)))

a=torch.randint(1,10,(3,))
b=torch.randint(1,10,(3,))
print(a)
print(b)
print(torch.dot(a,b))



a=torch.randint(1,10,(3,3))
print(a)

print(torch.linalg.eig(a.type(dtype=torch.float32)))



a=torch.randint(1,10,(3,3))
print(a)

print(torch.inverse(a.type(dtype=torch.float32)))


a=torch.randint(1,5,(2,3))

b=torch.randint(1,5,(3,2))
print(a)
print(b)
print(torch.mm(a.type(dtype=torch.float32),b.type(dtype=torch.float32)))



a=torch.randint(1,5,(2,3))

b=torch.randint(1,5,(3,))
print(a)
print(b)
print(torch.mv(a.type(dtype=torch.float32),b.type(dtype=torch.float32)))
os.system("pause")

2.数据类型和其操作谈完，选择某一个方向开始学习和实践。

我们学完了知识下面肯定是要进行这个实践，但是pytorch可以选择的实践方向很多，不过最常用的方向是深度学习方向，博主也从这个方向开始讲解。

对于深度学习实践部分，我们需要开始从一下几个步骤开始：
2.1 求导
2.2 损失函数
2.3优化器
2.4线性回归代码实战
2.5 卷积神经网络实战
2.6 神经网络实战
2.7 RNN和LSTM实战

下面我们开始正文
2.1 求导
为什么要求导，其实是为了迭代我们的模型参数，一般使用梯度下降算法，那就需要求导来求解梯度，然后更新模型参数。

首先，我们知道，梯度是为了更新，那么说明设置的参数是可变的，那就是变量。pytorch就是提供了这个方便，我们可以使用
autograd中的Variable生成变量，这个变量可以保存其对应的梯度。
下面看一段Variable对象的生成代码



from torch.autograd import Variable
x = Variable(torch.randint(0,4,(2, 3)).type(dtype=torch.float32), requires_grad=True)

输出结果如下：

requires_grad=True是指保存梯度信息。

下面来看一段求解提取的代码：

print(x)
#进行x运算
y=x*x
out=y.mean()
print(y)

print(out)

out.backward()
print(x.grad)

输出结果如下：

上面的函数就是out=sum(x*x)/len(x)，对x逐个元素求平方之后求平均。

下面我们来看一个梯度更新的代码：

learning_rating=0.001
y_list=[]

def grad_update(x):
    print("||")
    print(x)
    for i in range(1000):
        y=x*x
        out=torch.abs(y.sum())
        print(out)
        out.backward()
        x.data=x.data-(learning_rating*x.grad.data)
       # print(x.data)
        y_list.append(out.data)


grad_update(x)
plt.plot(list(range(len(y_list))),y_list)
plt.show()

x再更新过程中，out的输出如下：

这个其实，出现了局部最优解的问题，是因为学习率设置的太大了。

再快到达最低点的时候，有的参数变小了，有的参数变大了。然后直接跳过了最优点。
行，我们求导部分就到这啊。

2.1完整代码如下：

#coding=gbk
import os
import torch
import numpy  as np
import matplotlib.pyplot as plt
#使用torch函数生成torch数据类型

from torch.autograd import Variable
x = Variable(torch.randint(0,4,(2, 3)).type(dtype=torch.float32), requires_grad=True)

print(x)
#进行x运算
y=x*x
out=y.mean()
print(y)

print(out)

out.backward()
print(x.grad.data)


learning_rating=0.000001
y_list=[]

def grad_update(x):
    print("||")
    print(x)
  
   
    for i in range(1000):
        y=x*x
        out=torch.abs(y.sum())
        print(out)
        out.backward()
        x.data=x.data-(learning_rating*x.grad.data)
       # print(x.data)
        y_list.append(out.data)
        print(x.data)
        print(x.grad.data)


grad_update(x)
plt.plot(list(range(len(y_list))),y_list)
plt.show()

2.2 损失函数
下面我们到第二部分损失函数的内容。
定义损失函数之前，我们当然要先定义两个张量，才能使损失函数生效，一个就是目标张量，一个是预测张量。

import os
import torch
import torch.nn as nn
import numpy  as np
import matplotlib.pyplot as plt
#使用torch函数生成torch数据类型

from torch.autograd import Variable
predict = Variable(torch.randint(0,4,(2, 3)).type(dtype=torch.float32), requires_grad=True)


a=torch.Tensor([[1,2,2],[1,1,2]])

target = Variable (a)

（1）那现在我们看第一个损失函数nn.L1Loss，取预测值和真实值的绝对误差的平均数。

print(predict)

print(target)
criterion = nn.L1Loss()
loss = criterion(predict, target)

看一下输出结果：

（2）nn.SmoothL1Loss损失函数，误差在 (-1,1) 上是平方损失，其他情况按L1Loss损失处理。


print(predict)
print(target)
criterion = nn.SmoothL1Loss()
loss = criterion(predict, target)

输出结果：

（3）nn.MSELoss损失函数，平方损失函数。其计算公式是预测值和真实值之间的平方和的平均数。

print(predict)
print(target)
criterion = nn.MSELoss()
loss = criterion(predict, target)
print(loss)

输出结果如下：

(4)nn.CrossEntropyLoss,交叉熵损失函数

交叉熵损失函数计算公式如下：

代码都是一样的了

print(predict)
print(target)
criterion = nn.CrossEntropyLoss()
loss = criterion(predict, target)
print(loss)

（5）nn.NLLLoss，负对数似然损失函数。
计算公式如下：

这个函数一般再图像里常用。



m = nn.LogSoftmax(dim=1) #横向计算
loss = nn.NLLLoss()
torch.manual_seed(2)
# 3行5列的输入，即3个样本各包含5个特征，每个样本通过softmax产生5个输出
input = torch.randn(3, 5, requires_grad=True)
target = torch.tensor([1, 0, 4])
# NLL将取输出矩阵中第0行的第1列、第1行的第0列、第2行的第4列加负号求和
output = loss(m(input), target)

这里就介绍这几个常用的，在实践中，我们会慢慢的用到，bong熟练掌握的。
2.2完整示例代码如下：

#coding=gbk


import os
import torch
import numpy  as np
import matplotlib.pyplot as plt
#使用torch函数生成torch数据类型
import torch.nn as nn

from torch.autograd import Variable
predict = Variable(torch.randint(0,4,(2, 3)).type(dtype=torch.float32), requires_grad=True)


a=torch.Tensor([[1,2,2],[1,1,2]])

target = Variable (a)
print(predict)

print(target)
criterion = nn.L1Loss()
loss = criterion(predict, target)
print(loss)

print(predict)
print(target)
criterion = nn.SmoothL1Loss()
loss = criterion(predict, target)
print(loss)

print(predict)
print(target)
criterion = nn.MSELoss()
loss = criterion(predict, target)
print(loss)



print(predict)
print(target)
criterion = nn.CrossEntropyLoss()
loss = criterion(predict, target)
print(loss)



m = nn.LogSoftmax(dim=1) #横向计算
loss = nn.NLLLoss()
torch.manual_seed(2)
# 3行5列的输入，即3个样本各包含5个特征，每个样本通过softmax产生5个输出
input = torch.randn(3, 5, requires_grad=True)
target = torch.tensor([1, 0, 4])
# NLL将取输出矩阵中第0行的第1列、第1行的第0列、第2行的第4列加负号求和
output = loss(m(input), target)
print(output)

2.3优化器
优化器用通俗的话来说就是一种算法，是一种计算导数的算法。各种优化器的目的和发明它们的初衷其实就是能让用户选择一种适合自己场景的优化器。优化器的最主要的衡量指标就是优化曲线的平稳度，最好的优化器就是每一轮样本数据的优化都让权重参数匀速的接近目标值，而不是忽上忽下跳跃的变化。因此损失值的平稳下降对于一个深度学习模型来说是一个非常重要的衡量指标
（1）SGD优化器，批量随机梯度下降函数，随机选取部分数据集参与计算，是梯度下降的 batch 版本。

就是选择batch个样本，求解共同的损失去更新模型。

SGD的公式：

动量（Momentum）公式：

$\gamma$ 是动量传递参数。

使用代码如下：


from troch import optim
optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum=0.9)

这个函数batch的处理，是我们自己事先处理好的，这个函数并不会处理。
（2）RMSprop优化器，这个优化器其实也是自适应调节学习率

来看一下他的更新公式：

$g_t 表示在 t 时刻的梯度， s_t s 表示 t 时刻的梯度平方的移动平均数， \beta 是移动平均系数，一般取值为 0.9， \alpha 是学习率， \epsilon 是一个极小值，以避免分母为 0。$

使用代码如下：

torch.optim.RMSprop(params,
                    lr=0.01,
                    alpha=0.99,
                    eps=1e-08,
                    weight_decay=0,
                    momentum=0,
                    centered=False)

（3）AdaGrad 优化器

AdaGrad 可以自动变更学习速率，只是需要设定一个全局的学习速率ϵ，但是这并非是实际学习速率，实际的速率是与以往参数的模之和的开方成反比的。也许说起来有点绕口，不过用公式来表示就直白的多：其中 δ 是一个很小的常亮，大概在 10-7，防止出现除以 0 的情况.。
具体实现：

需要：全局学习速率 ϵ，初始参数 θ，数值稳定量 δ 。
中间变量：梯度累计量 r（初始化为 0）。
每步迭代过程：

从训练集中的随机抽取一批容量为 m 的样本 {x1,…,xm} 以及相关
的输出 yi 。
计算梯度和误差，更新r，再根据 r 和梯度计算参数更新量。

使用代码：

torch.optim.Adadelta(params, lr=1.0, rho=0.9, eps=1e-06, weight_decay=0)

（4）Adadelta优化器，看一下怎么实现

先看第一个公式：

这里更新参数使用梯度的期望，计算公式如上式。

然后再开方得到梯度期望的开方，ϵ是防止分母为0的常数：

之后，对于t状态下，参数更新量为：

最终的更新公式则为：

Adadelta优化器主要是采用期望的方法去更新梯度，考虑一个滑动窗口w，对这个窗口状态内每次得参数更新，梯度都进行考虑，这样使得更新情况更加稳定。

使用代码如下：

keras.optimizers.Adadelta(lr=1.0, rho=0.95, epsilon=1e-06)

（5）Adam优化器
更新公式如下：

所以我们需要传入学习率，还有其他两个参数，r和s
调用方法如下：

torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False)

（6）Adamax优化器

更新公式如下：

我们一般只需要设置以下三个参数，默认为：

使用代码：

torch.optim.Adamax(params, lr=0.002, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)

优化器这里，其实优化器对于我们模型性能一般情况下不会有太大的帮助，优化器做的更多的是，加速我们求解最优解，和防止出现局部最优解。

2.4线性回归代码实战

因为线性回归比较简单，所以我们可以自己去模拟数据，为了实验可以重复，我们首先要设置一个随机种子。
并导入相关依赖包

torch.import os
import torch

from torch.utils import data
import numpy  as np
import matplotlib.pyplot as plt


from numpy import random
#使用torch函数生成torch数据类型
import torch.nn as nn

from torch.autograd import Variable
torch.manual_seed(1)

下面我们生成随机数据，其实就是生成一组数据，然后对x进行线性处理，之后加入噪声。

X = np.linspace(-1, 1, 200)
Y = 0.5 * X + 0.2* np.random.normal(0, 0.5, (200, ))
plt.scatter(X,Y)
plt.show()
#将X，Y转成200 batch大小，1维度的数据
X=Variable(torch.Tensor(X.reshape(200,1)))
Y=Variable(to

会画出一个图：

上面是生成的数据比较简单。

然后看模型求解代码：


model = torch.nn.Sequential(torch.nn.Linear(1, 1),)#输出结果为1，输出结果也为1

optimizer = torch.optim.SGD(model.parameters(), lr=0.5)
loss_function = torch.nn.MSELoss()
for i in range(300):
     prediction = model(X)
     loss = loss_function(prediction, Y)
     optimizer.zero_grad()
     loss.backward()
     optimizer.step()

plt.figure(1, figsize=(5, 5))

plt.title('model')
plt.scatter(X.data.numpy(), Y.data.numpy())
plt.plot(X.data.numpy(), prediction.data.numpy(), 'r-', lw=5)
plt.show()

得到线性模型如下：

上面这个示例比较简单，下面我们来个多元线性回归。但是多元回归没法用图像显示，我们就求解他的loss去看看结果。
直接上代码:



X =torch.randn(100,4)
w=torch.tensor([1,2,3,4])

Y =torch.matmul(X, w.type(dtype=torch.float))  + torch.normal(0, 0.1, (100, ))+6.5
Y=Y.reshape((-1, 1))
print(Y.type())
print(w.type())
print(X.type())
#将X，Y转成200 batch大小，1维度的数据
X=Variable(X)
Y=Variable(Y)
def load_array(data_arrays, batch_size, is_train=True):
    dataset = data.TensorDataset(*data_arrays)
    return data.DataLoader(dataset, batch_size, shuffle=is_train)

data_iter = load_array((X, Y), 32)


model = torch.nn.Sequential(torch.nn.Linear(4, 1))

optimizer = torch.optim.SGD(model.parameters(), lr=0.03)
loss_function = torch.nn.MSELoss()
num_epochs = 20
for epoch in range(num_epochs):
    for x, y in data_iter:
        l = loss_function(model(x), y)
        optimizer.zero_grad()
        l.backward()
        optimizer.step()
    l = loss_function(model(X), Y)
    print(f'epoch {epoch + 1}, loss {l:f}')

for para in model.parameters():
        print(para)

这个是一个线性回归，四元线性回归。

看一下输出结果吧：

模型的参数，和我们设定的几乎一样，我想说的是，上面的代码其实严格意义上才算是一个完整的机器学习代码，一开始的其实没有用到SGD算法。
而且不用SGD算法的和用SGD算法的，两者的区别天差地别。
这个线性回归的代码我们就到这了啊。
下面附上完整代码：

#coding=gbk


import os
import torch
import numpy  as np
import matplotlib.pyplot as plt

from torch.utils import data
from numpy import random
#使用torch函数生成torch数据类型
import torch.nn as nn

from torch.autograd import Variable
torch.manual_seed(1)

X = np.linspace(-1, 1, 200)
Y = 0.5 * X + 0.2* np.random.normal(0, 0.5, (200, ))
#plt.scatter(X,Y)
#plt.show()
#将X，Y转成200 batch大小，1维度的数据
X=Variable(torch.Tensor(X.reshape(200,1)))
Y=Variable(torch.Tensor(Y.reshape(200,1)))

model = torch.nn.Sequential(torch.nn.Linear(1, 1),)

optimizer = torch.optim.SGD(model.parameters(), lr=0.5)
loss_function = torch.nn.MSELoss()
for i in range(300):
     prediction = model(X)
     loss = loss_function(prediction, Y)
     optimizer.zero_grad()
     loss.backward()
     optimizer.step()

#plt.figure(1, figsize=(5, 5))

#plt.title('model')
#plt.scatter(X.data.numpy(), Y.data.numpy())
#plt.plot(X.data.numpy(), prediction.data.numpy(), 'r-', lw=5)
#plt.show()


X =torch.randn(100,4)
w=torch.tensor([1,2,3,4])

Y =torch.matmul(X, w.type(dtype=torch.float))  + torch.normal(0, 0.1, (100, ))+6.5
Y=Y.reshape((-1, 1))
print(Y.type())
print(w.type())
print(X.type())
#将X，Y转成200 batch大小，1维度的数据
X=Variable(X)
Y=Variable(Y)
def load_array(data_arrays, batch_size, is_train=True):
    dataset = data.TensorDataset(*data_arrays)
    return data.DataLoader(dataset, batch_size, shuffle=is_train)

data_iter = load_array((X, Y), 32)


model = torch.nn.Sequential(torch.nn.Linear(4, 1))

optimizer = torch.optim.SGD(model.parameters(), lr=0.03)
loss_function = torch.nn.MSELoss()
num_epochs = 20
for epoch in range(num_epochs):
    for x, y in data_iter:
        l = loss_function(model(x), y)
        optimizer.zero_grad()
        l.backward()
        optimizer.step()
    l = loss_function(model(X), Y)
    print(f'epoch {epoch + 1}, loss {l:f}')

for para in model.parameters():
        print(para)

2.5 卷积神经网络实战

卷积神经网络，其实无外乎都是一个模式：
下面就是一个经典模型，先卷积，再进行ReLU函数处理，然后，再池化得到我们最后想要的特征图。

然后卷积之后的矩阵大小计算公式如下：

首先，我们先导入相关依赖包，然后加载数据集：

import torch 
import torch.nn as nn
import torchvision
import torchvision.transforms as transforms
 
 
# 设备配置
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
 
# 超参数

# MNIST 数据集
train_dataset = torchvision.datasets.MNIST(root='../../data/',
                                           train=True, 
                                           transform=transforms.ToTensor(),
                                           download=True)
 
test_dataset = torchvision.datasets.MNIST(root='../../data/',
                                          train=False, 
                                          transform=transforms.ToTensor())
 
# 数据加载器
train_loader = torch.utils.data.DataLoader(dataset=train_dataset,
                                           batch_size=batch_size, 
                                           shuffle=True)
 
test_loader = torch.utils.data.DataLoader(dataset=test_dataset,
                                          batch_size=batch_size, 
                                          shuffle=False)

下面我们定义网络：


class ConvNet(nn.Module):
    def __init__(self, num_classes=10):
        super(ConvNet, self).__init__()
        self.layer1 = nn.Sequential(
            nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2),
            nn.BatchNorm2d(16),
            nn.ReLU(),
            nn.MaxPool2d(kernel_size=2, stride=2))
        self.layer2 = nn.Sequential(
            nn.Conv2d(16, 32, kernel_size=5, stride=1, padding=2),
            nn.BatchNorm2d(32),
            nn.ReLU(),
            nn.MaxPool2d(kernel_size=2, stride=2))
        self.fc = nn.Linear(7*7*32, num_classes)
        
    def forward(self, x):
        out = self.layer1(x)#1x28x28->16x14x14
        out = self.layer2(out)#16x14x14->32x7x7
        out = out.reshape(out.size(0), -1)
        out = self.fc(out)
        return out

定义损失函数和优化器：


# 损失和优化器
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)

训练模型和测试模型：

# 训练模型
total_step = len(train_loader)
for epoch in range(num_epochs):
    for i, (images, labels) in enumerate(train_loader):
        images = images.to(device)
        labels = labels.to(device)
        
        # 前向传播
        outputs = model(images)
        loss = criterion(outputs, labels)
        
        # 向后优化
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        
        if (i+1) % 100 == 0:
            print ('Epoch [{}/{}], Step [{}/{}], Loss: {:.4f}' 
                   .format(epoch+1, num_epochs, i+1, total_step, loss.item()))
 
# 测试模型
model.eval()  # eval mode (batchnorm uses moving mean/variance instead of mini-batch mean/variance)
with torch.no_grad():
    correct = 0
    total = 0
    for images, labels in test_loader:
        images = images.to(device)
        labels = labels.to(device)
        outputs = model(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()
 
    print('Test Accuracy of the model on the 10000 test images: {} %'.format(100 * correct / total))

保存模型：

 
# 保存模型
torch.save(model.state_dict(), 'model.ckpt')

这个示例是很典型的例子。
下面附上完整代码：

#coding=gbk

import torch 
import torch.nn as nn
import torchvision
import torchvision.transforms as transforms
 
 
#定义超参数
num_epochs = 5
num_classes = 10
batch_size = 32
learning_rate = 0.001
# 设备配置
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
 


# MNIST 数据集
train_dataset = torchvision.datasets.MNIST(root='../../data/',
                                           train=True, 
                                           transform=transforms.ToTensor(),
                                           download=True)
 
test_dataset = torchvision.datasets.MNIST(root='../../data/',
                                          train=False, 
                                          transform=transforms.ToTensor())
 
# 数据加载器
train_loader = torch.utils.data.DataLoader(dataset=train_dataset,
                                           batch_size=batch_size, 
                                           shuffle=True)
 
test_loader = torch.utils.data.DataLoader(dataset=test_dataset,
                                          batch_size=batch_size, 
                                          shuffle=False)

 
class ConvNet(nn.Module):
    def __init__(self, num_classes=10):
        super(ConvNet, self).__init__()
        self.layer1 = nn.Sequential(
            nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2),
            nn.BatchNorm2d(16),
            nn.ReLU(),
            nn.MaxPool2d(kernel_size=2, stride=2))

        self.layer2 = nn.Sequential(
            nn.Conv2d(16, 32, kernel_size=5, stride=1, padding=2),
            nn.BatchNorm2d(32),
            nn.ReLU(),
            nn.MaxPool2d(kernel_size=2, stride=2))
      
      
        self.fc = nn.Linear(7*7*32, num_classes)
        
    def forward(self, x):
        out = self.layer1(x)#1x28x28->
        out = self.layer2(out)
        out = out.reshape(out.size(0), -1)
        out = self.fc(out)
        return out
 
model = ConvNet(num_classes).to(device)
 
# 损失和优化器
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)
 
# 训练模型
total_step = len(train_loader)
for epoch in range(num_epochs):
    for i, (images, labels) in enumerate(train_loader):
        images = images.to(device)
        labels = labels.to(device)
        
        # 前向传播
        outputs = model(images)
        loss = criterion(outputs, labels)
        
        # 向后优化
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        
        if (i+1) % 100 == 0:
            print ('Epoch [{}/{}], Step [{}/{}], Loss: {:.4f}' 
                   .format(epoch+1, num_epochs, i+1, total_step, loss.item()))
 
# 测试模型
model.eval()  # eval mode (batchnorm uses moving mean/variance instead of mini-batch mean/variance)
with torch.no_grad():
    correct = 0
    total = 0
    for images, labels in test_loader:
        images = images.to(device)
        labels = labels.to(device)
        outputs = model(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()
 
    print('Test Accuracy of the model on the 10000 test images: {} %'.format(100 * correct / total))
 
# 保存模型
torch.save(model.state_dict(), 'model.ckpt')

这个结果很棒：

2.6神经网络实战

下面我们就开始使用pytorch进行神经网络的实战。

其实神经网络比卷积神经网络简单多了啊。

这里我们也用minist数据集进行测试，思路是这样的，对图片进行展平，形成一个784的长向量，然后，我们再搭建一个200神经元的隐藏层和10神经元的全连接层输出分类。用sigmoid作为激活函数。
下面看代码
第一步导入相关库，加载数据集，设置超参数：


import torch 
import torch.nn as nn
import torchvision
import torchvision.transforms as transforms
 
 
#定义超参数
num_epochs = 5
num_classes = 10
batch_size = 32
learning_rate = 0.001
# 设备配置
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
 


# MNIST 数据集
train_dataset = torchvision.datasets.MNIST(root='../../data/',
                                           train=True, 
                                           transform=transforms.ToTensor(),
                                           download=True)
 
test_dataset = torchvision.datasets.MNIST(root='../../data/',
                                          train=False, 
                                          transform=transforms.ToTensor())
 
# 数据加载器
train_loader = torch.utils.data.DataLoader(dataset=train_dataset,
                                           batch_size=batch_size, 
                                           shuffle=True)
 
test_loader = torch.utils.data.DataLoader(dataset=test_dataset,
                                          batch_size=batch_size, 
                                          shuffle=False)

定义模型结构，优化器，损失函数：


class Classifier(nn.Module):

  def __init__(self):
    # 初始化PyTorch父类
    super().__init__()

    # 定义神经网络层
    self.model = nn.Sequential(
        nn.Linear(784, 200),
        nn.Sigmoid(),
        nn.Linear(200, 10),
        nn.Sigmoid()
    )

    # 创建损失函数
  

  def forward(self, inputs):
    # 直接运行模型
    
    inputs=inputs.reshape(-1,784)
    return self.model(inputs)

model = Classifier().to(device)
 
criterion=nn.MSELoss()

optimizer= torch.optim.SGD(model.parameters(), lr=0.01)

训练模型和测试模型：



# 训练模型
total_step = len(train_loader)
for epoch in range(num_epochs):
    for i, (images, labels) in enumerate(train_loader):
        images = images.to(device)
        labels = labels.to(device)
        
        # 前向传播
        outputs = model(images)
       # print(outputs)
        loss=0
        p=0
        for j in labels:
            label=torch.tensor([0,0,0,0,0,0,0,0,0,0])
            label[j]=1
            label=label.type(dtype=torch.float)
            label = label.to(device)
          #  print(label)
             
            loss = criterion(outputs[p], label)+loss
            
            p=p+1
        
        # 向后优化
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
       # print(i)
        if (i+1) % 100 == 0:
            print ('Epoch [{}/{}], Step [{}/{}], Loss: {:.4f}' 
                   .format(epoch+1, num_epochs, i+1, total_step, loss.item()))
 
# 测试模型
model.eval()  # eval mode (batchnorm uses moving mean/variance instead of mini-batch mean/variance)


with torch.no_grad():
    correct = 0
    total = 0
    for images, labels in test_loader:
        images = images.to(device)
        labels = labels.to(device)
        
        outputs = model(images)

        loss=0
        p=0
        for j in labels:
            label=torch.tensor([0,0,0,0,0,0,0,0,0,0])
            label[j]=1
            label=label.type(dtype=torch.float)
            label = label.to(device)

            if outputs[p].argmax()==label[j]:
                correct=correct+1
          #  print(label)
             
            loss = criterion(outputs[p], label)+loss

            p=p+1
            total=total+1
        
      
       
 
    print('Test Accuracy of the model on the 10000 test images: {} %'.format(100 * correct / total))

保存模型：

 
# 保存模型
torch.save(model.state_dict(), 'model.ckpt')

然后来看一下我们的测试结果：

下面是2.6的全部代码：

#coding=gbk

import torch 
import torch.nn as nn
import torchvision
import torchvision.transforms as transforms
 
 
#定义超参数
num_epochs = 5
num_classes = 10
batch_size = 32
learning_rate = 0.001
# 设备配置
device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
 


# MNIST 数据集
train_dataset = torchvision.datasets.MNIST(root='../../data/',
                                           train=True, 
                                           transform=transforms.ToTensor(),
                                           download=True)
 
test_dataset = torchvision.datasets.MNIST(root='../../data/',
                                          train=False, 
                                          transform=transforms.ToTensor())
 
# 数据加载器
train_loader = torch.utils.data.DataLoader(dataset=train_dataset,
                                           batch_size=batch_size, 
                                           shuffle=True)
 
test_loader = torch.utils.data.DataLoader(dataset=test_dataset,
                                          batch_size=batch_size, 
                                          shuffle=False)

 
class Classifier(nn.Module):

  def __init__(self):
    # 初始化PyTorch父类
    super().__init__()

    # 定义神经网络层
    self.model = nn.Sequential(
        nn.Linear(784, 200),
        nn.Sigmoid(),
        nn.Linear(200, 10),
        nn.Sigmoid()
    )

    # 创建损失函数
  

  def forward(self, inputs):
    # 直接运行模型
    
    inputs=inputs.reshape(-1,784)
    return self.model(inputs)

model = Classifier().to(device)
 
criterion=nn.MSELoss()

optimizer= torch.optim.SGD(model.parameters(), lr=0.01)


total_step = len(train_loader)
for epoch in range(num_epochs):
    for i, (images, labels) in enumerate(train_loader):
        images = images.to(device)
        labels = labels.to(device)
        
        # 前向传播
        outputs = model(images)
       # print(outputs)
        loss=0
        p=0
        for j in labels:
            label=torch.tensor([0,0,0,0,0,0,0,0,0,0])
            label[j]=1
            label=label.type(dtype=torch.float)
            label = label.to(device)
          #  print(label)
             
            loss = criterion(outputs[p], label)+loss
            
            p=p+1
        
        # 向后优化
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
       # print(i)
        if (i+1) % 100 == 0:
            print ('Epoch [{}/{}], Step [{}/{}], Loss: {:.4f}' 
                   .format(epoch+1, num_epochs, i+1, total_step, loss.item()))
 
# 测试模型
model.eval()  # eval mode (batchnorm uses moving mean/variance instead of mini-batch mean/variance)


with torch.no_grad():
    correct = 0
    total = 0
    for images, labels in test_loader:
        images = images.to(device)
        labels = labels.to(device)
        
        outputs = model(images)

        loss=0
        p=0
        for j in labels:
            label=torch.tensor([0,0,0,0,0,0,0,0,0,0])
            label[j]=1
            label=label.type(dtype=torch.float)
            label = label.to(device)

            if outputs[p].argmax()==label[j]:
                correct=correct+1
          #  print(label)
             
            loss = criterion(outputs[p], label)+loss

            p=p+1
            total=total+1
        
      
       
 
    print('Test Accuracy of the model on the 10000 test images: {} %'.format(100 * correct / total))
 
# 保存模型
torch.save(model.state_dict(), 'model.ckpt')

2.7 RNN和LSTM实战

RNN模型之前介绍了，我们直接实战啊。

思路就是用minist数据集，尺寸28x28拆分成28个序列输出模型。
还是一样的，导入相关库，设置超参数，加载数据集：

import torch
import torch.nn as nn
import torchvision
import torchvision.transforms as transforms

# Hyper Parameters
EPOCH = 1               # train the training data n times, to save time, we just train 1 epoch
BATCH_SIZE = 64
TIME_STEP = 28          # rnn time step / image height
INPUT_SIZE = 28         # rnn input size / image width
LR = 0.01               # learning rate
DOWNLOAD_MNIST = True   # set to True if haven't download the data

# Mnist digital dataset
train_data = torchvision.datasets.MNIST(
    root='../../data/',
    train=True,                         # this is training data
    transform=transforms.ToTensor(),    # Converts a PIL.Image or numpy.ndarray to
                                        # torch.FloatTensor of shape (C x H x W) and normalize in the range [0.0, 1.0]
    download=DOWNLOAD_MNIST,            # download it if you don't have it
)
print(train_data.train_data.size())     # (60000, 28, 28)
print(train_data.train_labels.size())   # (60000)

# 加载训练数据集
train_loader = torch.utils.data.DataLoader(dataset=train_data, batch_size=BATCH_SIZE, shuffle=True)

# 加载测试数据集,选取2000个样本以加快测试速度
test_data = torchvision.datasets.MNIST(root='../../data/', train=False, transform=transforms.ToTensor())
test_x = test_data.test_data.type(torch.FloatTensor)[:2000]/255.   # shape (2000, 28, 28) value in range(0,1)
test_y = test_data.test_labels.numpy()[:2000]    # covert to numpy array

定义RNN模型：


class RNN(nn.Module):
    def __init__(self):
        super(RNN, self).__init__()

        self.rnn = nn.LSTM(         # if use nn.RNN(), it hardly learns
            input_size=INPUT_SIZE,
            hidden_size=64,         # rnn hidden unit
            num_layers=1,           # number of rnn layer
            batch_first=True,       # input & output will has batch size as 1s dimension. e.g. (batch, time_step, input_size)
        )
        self.out = nn.Linear(64, 10)

    def forward(self, x):
        # x shape (batch, time_step, input_size)
        # r_out shape (batch, time_step, output_size)
        # h_n shape (n_layers, batch, hidden_size)
        # h_c shape (n_layers, batch, hidden_size)
        r_out, (h_n, h_c) = self.rnn(x, None)   # None represents zero initial hidden state

        # choose r_out at the last time step
        out = self.out(r_out[:, -1, :])
        return out

优化器和模型测试：


optimizer = torch.optim.Adam(rnn.parameters(), lr=LR)
loss_func = nn.CrossEntropyLoss()

# 训练
for epoch in range(EPOCH):
    for step, (b_x, b_y) in enumerate(train_loader):        # gives batch data
        b_x = b_x.view(-1, 28, 28)              # reshape x to (batch, time_step, input_size)

        output = rnn(b_x)                               # rnn output
        loss = loss_func(output, b_y)                   # cross entropy loss
        optimizer.zero_grad()                           # clear gradients for this training step
        loss.backward()                                 # backpropagation, compute gradients
        optimizer.step()                                # apply gradients

        if step % 50 == 0:
            test_output = rnn(test_x)                   # (samples, time_step, input_size)
            pred_y = torch.max(test_output, 1)[1].data.numpy()
            accuracy = float((pred_y == test_y).astype(int).sum()) / float(test_y.size)
            print('Epoch: ', epoch, '| train loss: %.4f' % loss.data.numpy(), '| test accuracy: %.2f' % accuracy)

# print 10 predictions from test data
test_output = rnn(test_x[:10].view(-1, 28, 28))
pred_y = torch.max(test_output, 1)[1].data.numpy()
print(pred_y, 'prediction number')
print(test_y[:10], 'real number')

效果：

模型效果还是挺厉害的：

模型代码实现如下：


class LSTM(nn.Module):
     def __init__(self):
        super(LSTM, self).__init__()

        self.rnn = nn.LSTM(         # if use nn.RNN(), it hardly learns
            input_size=INPUT_SIZE,
            hidden_size=64,         # rnn hidden unit
            num_layers=1,           # number of rnn layer
            batch_first=True,       # input & output will has batch size as 1s dimension. e.g. (batch, time_step, input_size)
        )
        self.out = nn.Linear(64, 10)

     def forward(self, x):
        # x shape (batch, time_step, input_size)
        # r_out shape (batch, time_step, output_size)
        # h_n shape (n_layers, batch, hidden_size)
        # h_c shape (n_layers, batch, hidden_size)
        r_out, (h_n, h_c) = self.rnn(x, None)   # None represents zero initial hidden state

        # choose r_out at the last time step
        out = self.out(r_out[:, -1, :])
        return out

然后是LSTM实战，因为RNN和LSTM很像，所以，我们其他的不用动了，改模型那块代码就可以了。

lstm模型就厉害多了：

这一部分的完整代码如下：

#coding=gbk

import torch
import torch.nn as nn
import torchvision
import torchvision.transforms as transforms

# Hyper Parameters
EPOCH = 1               # train the training data n times, to save time, we just train 1 epoch
BATCH_SIZE = 64
TIME_STEP = 28          # rnn time step / image height
INPUT_SIZE = 28         # rnn input size / image width
LR = 0.01               # learning rate
DOWNLOAD_MNIST = True   # set to True if haven't download the data

# Mnist digital dataset
train_data = torchvision.datasets.MNIST(
    root='../../data/',
    train=True,                         # this is training data
    transform=transforms.ToTensor(),    # Converts a PIL.Image or numpy.ndarray to
                                        # torch.FloatTensor of shape (C x H x W) and normalize in the range [0.0, 1.0]
    download=DOWNLOAD_MNIST,            # download it if you don't have it
)
print(train_data.train_data.size())     # (60000, 28, 28)
print(train_data.train_labels.size())   # (60000)

# 加载训练数据集
train_loader = torch.utils.data.DataLoader(dataset=train_data, batch_size=BATCH_SIZE, shuffle=True)

# 加载测试数据集,选取2000个样本以加快测试速度
test_data = torchvision.datasets.MNIST(root='../../data/', train=False, transform=transforms.ToTensor())
test_x = test_data.test_data.type(torch.FloatTensor)[:2000]/255.   # shape (2000, 28, 28) value in range(0,1)
test_y = test_data.test_labels.numpy()[:2000]    # covert to numpy array


class RNN(nn.Module):
    def __init__(self):
        super(RNN, self).__init__()

        self.rnn = nn.RNN(         # if use nn.RNN(), it hardly learns
            input_size=INPUT_SIZE,
            hidden_size=28,         # rnn hidden unit
            num_layers=1,           # number of rnn layer
            batch_first=True,       # input & output will has batch size as 1s dimension. e.g. (batch, time_step, input_size)
        )
        self.out = nn.Linear(28, 10)

    def forward(self, x):
        # x shape (batch, time_step, input_size)
        # r_out shape (batch, time_step, output_size)
        # h_n shape (n_layers, batch, hidden_size)
        # h_c shape (n_layers, batch, hidden_size)
     #   print(self.rnn(x, None))
        r_out,h = self.rnn(x, None)   # None represents zero initial hidden state

        # choose r_out at the last time step
        out = self.out(r_out[:, -1, :])
        return out


#print(rnn)


class LSTM(nn.Module):
     def __init__(self):
        super(LSTM, self).__init__()

        self.rnn = nn.LSTM(         # if use nn.RNN(), it hardly learns
            input_size=INPUT_SIZE,
            hidden_size=64,         # rnn hidden unit
            num_layers=1,           # number of rnn layer
            batch_first=True,       # input & output will has batch size as 1s dimension. e.g. (batch, time_step, input_size)
        )
        self.out = nn.Linear(64, 10)

     def forward(self, x):
        # x shape (batch, time_step, input_size)
        # r_out shape (batch, time_step, output_size)
        # h_n shape (n_layers, batch, hidden_size)
        # h_c shape (n_layers, batch, hidden_size)
        r_out, (h_n, h_c) = self.rnn(x, None)   # None represents zero initial hidden state

        # choose r_out at the last time step
        out = self.out(r_out[:, -1, :])
        return out


rnn = LSTM()
#rnn = RNN()

optimizer = torch.optim.Adam(rnn.parameters(), lr=LR)
loss_func = nn.CrossEntropyLoss()

# 训练
for epoch in range(EPOCH):
    for step, (b_x, b_y) in enumerate(train_loader):        # gives batch data
        b_x = b_x.view(-1, 28, 28)              # reshape x to (batch, time_step, input_size)

        output = rnn(b_x)                               # rnn output
    #    print(output)
        loss = loss_func(output, b_y)                   # cross entropy loss
        optimizer.zero_grad()                           # clear gradients for this training step
        loss.backward()                                 # backpropagation, compute gradients
        optimizer.step()                                # apply gradients

        if step % 50 == 0:
            test_output = rnn(test_x)                   # (samples, time_step, input_size)
            pred_y = torch.max(test_output, 1)[1].data.numpy()
            accuracy = float((pred_y == test_y).astype(int).sum()) / float(test_y.size)
            print('Epoch: ', epoch, '| train loss: %.4f' % loss.data.numpy(), '| test accuracy: %.2f' % accuracy)

# print 10 predictions from test data
test_output = rnn(test_x[:10].view(-1, 28, 28))
pred_y = torch.max(test_output, 1)[1].data.numpy()
print(pred_y, 'prediction number')
print(test_y[:10], 'real number')

好的，到这里，这次教程就算是结束了，以后博主还是会继续更新这方面的内容的。有问题可以再博客下面留言。

你可能感兴趣的:(python,自然语言处理,人工智能,python,pytorch,numpy)

理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ 江湖偌大 python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchain easyui 前端 python
#探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
使用Apify加载Twitter消息以进行微调的完整指南 nseejrukjhad twitter easyui 前端 python
#使用Apify加载Twitter消息以进行微调的完整指南##引言在自然语言处理领域，微调模型以适应特定任务是提升模型性能的常见方法。本文将介绍如何使用Apify从Twitter导出聊天信息，以便进一步进行微调。##主要内容###使用Apify导出推文首先，我们需要从Twitter导出推文。Apify可以帮助我们做到这一点。通过Apify的强大功能，我们可以批量抓取和导出数据，适用于各类应用场景。
深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库 python
深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1) Shawn________ python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
Python中深拷贝与浅拷贝的区别 yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
Python编译器鹿鹿~ Python编译器 Python python 开发语言后端
嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
一文掌握python面向对象魔术方法（二）程序员neil python python 开发语言
接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
Java序列化进阶篇 g21121 java序列化
1.transient 类一旦实现了Serializable 接口即被声明为可序列化，然而某些情况下并不是所有的属性都需要序列化，想要人为的去阻止这些属性被序列化，就需要用到transient 关键字。
escape()、encodeURI()、encodeURIComponent()区别详解 aigo JavaScript Web
原文：http://blog.sina.com.cn/s/blog_4586764e0101khi0.html JavaScript中有三个可以对字符串编码的函数，分别是： escape,encodeURI,encodeURIComponent，相应3个解码函数：,decodeURI,decodeURIComponent 。下面简单介绍一下它们的区别 1 escape()函
ArcgisEngine实现对地图的放大、缩小和平移 Cb123456 添加矢量数据对地图的放大、缩小和平移 Engine
ArcgisEngine实现对地图的放大、缩小和平移: 个人觉得是平移，不过网上的都是漫游，通俗的说就是把一个地图对象从一边拉到另一边而已。就看人说话吧. 具体实现: 一、引入命名空间 using ESRI.ArcGIS.Geometry; using ESRI.ArcGIS.Controls; 二、代码实现.
Java集合框架概述天子之骄 Java集合框架概述
集合框架集合框架可以理解为一个容器，该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。从本质上来说，Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。简单介绍： Collection接口是最基本的接口，它定义了List和Set，List又定义了LinkLi
旗正4.0页面跳转传值问题何必如此 java jsp
跳转和成功提示 a) 成功字段非空forward 成功字段非空forward，不会弹出成功字段，为jsp转发，页面能超链接传值,传输变量时需要拼接。接拼接方式list.jsp?test="+strweightUnit+"或list.jsp?test="+weightUnit+&qu
全网唯一:移动互联网服务器端开发课程 cocos2d-x小菜 web开发移动开发移动端开发移动互联程序员
移动互联网时代来了！ App市场爆发式增长为Web开发程序员带来新一轮机遇，近两年新增创业者，几乎全部选择了移动互联网项目！传统互联网企业中超过98%的门户网站已经或者正在从单一的网站入口转向PC、手机、Pad、智能电视等多端全平台兼容体系。据统计，AppStore中超过85%的App项目都选择了PHP作为后端程
Log4J通用配置|注意问题笔记 7454103 DAO apache tomcat log4j Web
关于日志的等级那些去百度就知道了！这几天要搭个新框架配置了日志记下来！做个备忘！ #这里定义能显示到的最低级别,若定义到INFO级别,则看不到DEBUG级别的信息了~! log4j.rootLogger=INFO,allLog # DAO层 log记录到dao.log 控制台和总日志文件 log4j.logger.DAO=INFO,dao,C
SQLServer TCP/IP 连接失败问题 ---SQL Server Configuration Manager darkranger sql c windows SQL Server XP
当你安装完之后,连接数据库的时候可能会发现你的TCP/IP 没有启动.. 发现需要启动客户端协议 : TCP/IP 需要打开 SQL Server Configuration Manager... 却发现无法打开 SQL Server Configuration Manager..?? 解决方法: C:\WINDOWS\system32目录搜索framedyn.
[置顶] 做有中国特色的程序员 aijuans 程序员
从出版业说起网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。许多大牛都是写了博客，后来出了书。这些书也都不次，可能有人让为不好，是因为技术书不像小说，小说在读故事，技术书是在学知识或温习知识，有些技术书读得可
document.domain 跨域问题 avords document
document.domain用来得到当前网页的域名。比如在地址栏里输入：javascript:alert(document.domain); //www.315ta.com我们也可以给document.domain属性赋值，不过是有限制的，你只能赋成当前的域名或者基础域名。比如：javascript:alert(document.domain = "315ta.com");
关于管理软件的一些思考 houxinyou 管理
工作好多看年了,一直在做管理软件,不知道是我最开始做的时候产生了一些惯性的思维,还是现在接触的管理软件水平有所下降.换过好多年公司,越来越感觉现在的管理软件做的越来越乱. 在我看来,管理软件不论是以前的结构化编程,还是现在的面向对象编程,不管是CS模式,还是BS模式.模块的划分是很重要的.当然,模块的划分有很多种方式.我只是以我自己的划分方式来说一下. 做为管理软件,就像现在讲究MVC这
NoSQL数据库之Redis数据库管理(String类型和hash类型) bijian1013 redis 数据库 NoSQL
一.Redis的数据类型 1.String类型及操作 String是最简单的类型，一个key对应一个value，string类型是二进制安全的。Redis的string可以包含任何数据，比如jpg图片或者序列化的对象。 Set方法：设置key对应的值为string类型的value
Tomcat 一些技巧征客丶 java tomcat dos
以下操作都是在windows 环境下一、Tomcat 启动时配置 JAVA_HOME 在 tomcat 安装目录，bin 文件夹下的 catalina.bat 或 setclasspath.bat 中添加 set JAVA_HOME=JAVA 安装目录 set JRE_HOME=JAVA 安装目录/jre 即可；二、查看Tomcat 版本在 tomcat 安装目
【Spark七十二】Spark的日志配置 bit1129 spark
在测试Spark Streaming时，大量的日志显示到控制台，影响了Spark Streaming程序代码的输出结果的查看(代码中通过println将输出打印到控制台上)，可以通过修改Spark的日志配置的方式，不让Spark Streaming把它的日志显示在console 在Spark的conf目录下，把log4j.properties.template修改为log4j.p
Haskell版冒泡排序 bookjovi 冒泡排序 haskell
面试的时候问的比较多的算法题要么是binary search，要么是冒泡排序，真的不想用写C写冒泡排序了，贴上个Haskell版的，思维简单，代码简单，下次谁要是再要我用C写冒泡排序，直接上个haskell版的，让他自己去理解吧。 sort [] = [] sort [x] = [x] sort (x:x1:xs) | x>x1 = x1:so
java 路径配置文件读取 bro_feng java
这几天做一个项目，关于路径做如下笔记，有需要供参考。取工程内的文件，一般都要用相对路径，这个自然不用多说。在src统计目录建配置文件目录res,在res中放入配置文件。读取文件使用方式： 1. MyTest.class.getResourceAsStream("/res/xx.properties") 2. properties.load(MyTest.
读《研磨设计模式》-代码笔记-简单工厂模式 bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 个人理解：简单工厂模式就是IOC; * 客户端要用到某一对象，本来是由客户创建的，现在改成由工厂创建，客户直接取就好了 */ interface IProduct {
SVN与JIRA的关联 chenyu19891124 SVN
SVN与JIRA的关联一直都没能装成功，今天凝聚心思花了一天时间整合好了。下面是自己整理的步骤：一、搭建好SVN环境，尤其是要把SVN的服务注册成系统服务二、装好JIRA，自己用是jira-4.3.4破解版三、下载SVN与JIRA的插件并解压，然后拷贝插件包下lib包里的三个jar，放到Atlassian\JIRA 4.3.4\atlassian-jira\WEB-INF\lib下，再
JWFDv0.96 最新设计思路 comsci 数据结构算法工作企业应用公告
随着工作流技术的发展，工作流产品的应用范围也不断的在扩展，开始进入了像金融行业(我已经看到国有四大商业银行的工作流产品招标公告了)，实时生产控制和其它比较重要的工程领域，而
vi 保存复制内容格式粘贴 daizj vi 粘贴复制保存原格式不变形
vi是linux中非常好用的文本编辑工具，功能强大无比，但对于复制带有缩进格式的内容时，粘贴的时候内容错位很严重，不会按照复制时的格式排版，vi能不能在粘贴时，按复制进的格式进行粘贴呢？答案是肯定的，vi有一个很强大的命令可以实现此功能。在命令模式输入:set paste，则进入paste模式，这样再进行粘贴时
shell脚本运行时报错误：/bin/bash^M: bad interpreter 的解决办法 dongwei_6688 shell脚本
出现原因：windows上写的脚本，直接拷贝到linux系统上运行由于格式不兼容导致解决办法： 1. 比如文件名为myshell.sh，vim myshell.sh 2. 执行vim中的命令 : set ff?查看文件格式，如果显示fileformat=dos，证明文件格式有问题 3. 执行vim中的命令 :set fileformat=unix 将文件格式改过来就可以了，然后:w
高一上学期难记忆单词 dcj3sjt126com word english
honest 诚实的；正直的 argue 争论 classical 古典的 hammer 锤子 share 分享；共有 sorrow 悲哀；悲痛 adventure 冒险 error 错误；差错 closet 壁橱；储藏室 pronounce 发音；宣告 repeat 重做；重复 majority 大多数；大半 native 本国的，本地的，本国
hibernate查询返回DTO对象，DTO封装了多个pojo对象的属性 frankco POJO hibernate查询 DTO
DTO-数据传输对象；pojo-最纯粹的java对象与数据库中的表一一对应。简单讲：DTO起到业务数据的传递作用，pojo则与持久层数据库打交道。有时候我们需要查询返回DTO对象，因为DTO
Partition List hcx2013 partition
Given a linked list and a value x, partition it such that all nodes less than x come before nodes greater than or equal to x. You should preserve the original relative order of th
Spring MVC测试框架详解——客户端测试 jinnianshilongnian
上一篇《Spring MVC测试框架详解——服务端测试》已经介绍了服务端测试，接下来再看看如果测试Rest客户端，对于客户端测试以前经常使用的方法是启动一个内嵌的jetty/tomcat容器，然后发送真实的请求到相应的控制器；这种方式的缺点就是速度慢；自Spring 3.2开始提供了对RestTemplate的模拟服务器测试方式，也就是说使用RestTemplate测试时无须启动服务器，而是模拟一
关于推荐个人观点 liyonghui160com 推荐系统关于推荐个人观点
回想起来，我也做推荐了3年多了，最近公司做了调整招聘了很多算法工程师，以为需要多么高大上的算法才能搭建起来的，从实践中走过来，我只想说【不是这样的】第一次接触推荐系统是在四年前入职的时候，那时候，机器学习和大数据都是没有的概念，什么大数据处理开源软件根本不存在，我们用多台计算机web程序记录用户行为，用.net的w
不间断旋转的动画 pangyulei 动画
CABasicAnimation* rotationAnimation; rotationAnimation = [CABasicAnimation animationWithKeyPath:@"transform.rotation.z"]; rotationAnimation.toValue = [NSNumber numberWithFloat: M
自定义annotation sha1064616837 java enum annotation reflect
对象有的属性在页面上可编辑，有的属性在页面只可读，以前都是我们在页面上写死的，时间一久有时候会混乱，此处通过自定义annotation在类属性中定义。越来越发现Java的Annotation真心很强大，可以帮我们省去很多代码，让代码看上去简洁。下面这个例子主要用到了 1.自定义annotation：@interface，以及几个配合着自定义注解使用的几个注解 2.简单的反射 3.枚举
Spring 源码 up2pu spring
1.Spring源代码 https://github.com/SpringSource/spring-framework/branches/3.2.x 注：兼容svn检出 2.运行脚本 import-into-eclipse.bat 注：需要设置JAVA_HOME为jdk 1.7 build.gradle compileJava { sourceCompatibilit
利用word分词来计算文本相似度 yangshangchuan word word分词文本相似度余弦相似度简单共有词
word分词提供了多种文本相似度计算方式：方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度实现类：org.apdplat.word.analysis.CosineTextSimilarity 用法如下： String text1 = "我爱购物"; String text2 = "我爱读书"; String text3 =