记录使用random-shuffle函数遇到的一个坑

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

最近在做tensorflow相关项目时,遇到一个问题是这样的:

训练程序运行后损失函数loss开始在不断减小,没过多久却越来越大,最后固定值不变。

还以为产生了震荡,但最后loss一直保持不变让人疑惑,或者是模型哪块出了问题还是优化函数出了问题,调试了很久还是很不正常,于是摆出了不找到原因不罢休的气势来,调试了两天终于发现,原来是random.shuffle函数捣的鬼。想到tensorflow中tensor处理数据是numpy.array类型,在批量训练时候,将array类型数据传给feed_dict参数。在传给feed_dict之前,对数据顺序有个随机打乱操作,用到了random.shuffle函数。问题就处在这:random.shuffle对numpy.array类型多维矩阵数据进行操作时会出现不能理解的结果。

random.shuffle函数:用于list类型没问题,用于array类型会出现问题,举例说明:

import random
import numpy as np
a = []
for i in range(10):
    a.append([i]*5)

b = a[:]
b = np.array(b)
print('a',a)
print('b',b)

random.shuffle(a)
random.shuffle(b)
print('shuffle a:',a)
print('shuffle b:',b)

输出结果:
a: [[0, 0, 0, 0, 0], [1, 1, 1, 1, 1], [2, 2, 2, 2, 2], [3, 3, 3, 3, 3], [4, 4, 4, 4, 4], [5, 5, 5, 5, 5], [6, 6, 6, 6, 6], [7, 7, 7, 7, 7], [8, 8, 8, 8, 8], [9, 9, 9, 9, 9]]
b: [[0 0 0 0 0]
 [1 1 1 1 1]
 [2 2 2 2 2]
 [3 3 3 3 3]
 [4 4 4 4 4]
 [5 5 5 5 5]
 [6 6 6 6 6]
 [7 7 7 7 7]
 [8 8 8 8 8]
 [9 9 9 9 9]]
shuffle a: [[1, 1, 1, 1, 1], [0, 0, 0, 0, 0], [2, 2, 2, 2, 2], [3, 3, 3, 3, 3], [9, 9, 9, 9, 9], [8, 8, 8, 8, 8], [4, 4, 4, 4, 4], [5, 5, 5, 5, 5], [7, 7, 7, 7, 7], [6, 6, 6, 6, 6]]
shuffle b: [[0 0 0 0 0]
 [0 0 0 0 0]
 [0 0 0 0 0]
 [3 3 3 3 3]
 [1 1 1 1 1]
 [3 3 3 3 3]
 [6 6 6 6 6]
 [0 0 0 0 0]
 [6 6 6 6 6]
 [6 6 6 6 6]]

可以看出,对array进行shuffle操作并没有按行顺序打乱,而是出现多个重复的行(感觉很奇怪,具体逻辑没研究,但对一维array数据是可行的。) 其实,array数据有专门打乱顺序的函数:numpy.random.shuffle(arr)

import random
import numpy as np
a = []
for i in range(10):
    a.append([i]*5)
print('a:',a)
b = a[:]
b = np.array(b)
print('b:',b)

random.shuffle(a)
np.random.shuffle(b)
print('shuffle a:',a)
print('shuffle b:',b)

输出结果:
a: [[0, 0, 0, 0, 0], [1, 1, 1, 1, 1], [2, 2, 2, 2, 2], [3, 3, 3, 3, 3], [4, 4, 4, 4, 4], [5, 5, 5, 5, 5], [6, 6, 6, 6, 6], [7, 7, 7, 7, 7], [8, 8, 8, 8, 8], [9, 9, 9, 9, 9]]
b: [[0 0 0 0 0]
 [1 1 1 1 1]
 [2 2 2 2 2]
 [3 3 3 3 3]
 [4 4 4 4 4]
 [5 5 5 5 5]
 [6 6 6 6 6]
 [7 7 7 7 7]
 [8 8 8 8 8]
 [9 9 9 9 9]]
shuffle a: [[6, 6, 6, 6, 6], [8, 8, 8, 8, 8], [0, 0, 0, 0, 0], [2, 2, 2, 2, 2], [4, 4, 4, 4, 4], [7, 7, 7, 7, 7], [1, 1, 1, 1, 1], [9, 9, 9, 9, 9], [3, 3, 3, 3, 3], [5, 5, 5, 5, 5]]
shuffle b: [[2 2 2 2 2]
 [4 4 4 4 4]
 [6 6 6 6 6]
 [1 1 1 1 1]
 [0 0 0 0 0]
 [7 7 7 7 7]
 [9 9 9 9 9]
 [5 5 5 5 5]
 [3 3 3 3 3]
 [8 8 8 8 8]]

记录一下。同时,特别提醒大家不要和我一样犯同样错误。

转载于:https://my.oschina.net/u/3851199/blog/1944828

你可能感兴趣的:(python,人工智能,json)