【Text Transcriptor】训练CRNN时，关于ctc_loss的几点注意事项

这个ctc_loss很魔性，训练CRNN虐了我几个来回。

我的数据集图片大小不一，我是先等比例缩小到固定高度为32，宽度不定。

常见三个问题：

1.CTC Loss Error: invalidArgumentError: Not Enough time for target transition sequence. （label_length大于图片长度除以4了）

2.CTC Loss Error: InvalidArgumentError: sequence_length(b) <= time （图片长度除以4小于等于input_length了）

3.ctc_loss error “No valid path found.” (导致这个错误有两种情况，一是label_length大于input_length，对模型收敛没有很大影响，只是出错的那一个batch参数没有更新优化。如果这个错误很少，可以忽略。如果这个错误很多的话就建议用下面方法优化一下训练集。二是使用SGD优化时，初始学习率过大。)

导致这三个问题的原因，就是label_length 和input_length的取值问题。

1. CRNN一个主要优点就是可以识别任意长度的图片。在训练的时候，先统一将图片padding到一个固定的很长的宽度。然后input_length设置为你等比例缩小后，padding之前的图片的宽除以四。部分代码如下：

Img = Image.open(imagepath).convert('L') #原始图片
ResizedImg = cv2.resize(Img, (int(Img.shape[1] * (32 / Img.shape[0])), 32)) # 等比缩小
input_length[i] = ResizedImg.shape[1] // 4 # 取等比缩小后图片长度除以4的值

2. label_length很简单理解，就是ground truth的长度。

3. 如果你以为这样就完事大吉可以训练你就错了。因为你的图片可能有不合格的存在。导致问题3出现，loss变为inf。

4. 所以在训练前，应该过滤一遍所有训练集和验证集的图片。ctc_loss在计算预测结果和真值的loss的时候，会在你真值label中重复的字符之间插入空符，所以必须将label_length加上空符个数大于input_length的图片删除掉。而代码中的2，是我考虑有可能在label的开头和末尾存在空符。（我并没有验证这个想法，只是为了保险起见。）举个例子，你等比缩小后图片高度为32，宽度为160，那么input_length=40。ground truth label='abbbccddddcccaa'，label_length=15，经过计算repreat_number为2(bbb)+1(cc)+3(dddd)+2(ccc)+1(aa) = 9，然后再加上开头结果的空符数2，最终等于11。也就是说必须满足label_length(15)+repreat_number(9)+2<=input_length(40)的图片才是合格的图片。部分代码如下：

Img = np.array(Image.open(ImgRootPath + '/' + imgName).convert('L'))
ResizedImg = cv2.resize(Img, (int(Img.shape[1] * (32 / Img.shape[0])), 32))
l = [len(list(g)) for k, g in itertools.groupby(Label)]
repeat_number = 0
for n in l:
    if n > 1:
        repeat_number += (n - 1)
input_length = ResizedImg.shape[1] // 4 
if len(Label)+repeat_number+2 > input_length:
    continue