yolo3--utils.py
###在模型训练时进行数据处理的工具文件，共3个函数
"""Miscellaneous utility functions.""" ###其他实用功能
from functools import reduce ##为了实用reduce函数
from PIL import Image ###PIL(Python Image Library)是python的第三方图像处理库，Image是PIL中的核心类
import numpy as np
from matplotlib.colors import rgb_to_hsv, hsv_to_rgb
###函数1:参数为多个函数名，按照reduce的功能执行，把前一个函数的结果作为下一个函数的输入，直到最后执行完毕
def compose(*funcs):
"""Compose arbitrarily many functions, evaluated left to right.
###组合任意多个函数，从左向右依次求取值
Reference: https://mathieularose.com/function-composition-in-python/
"""
###reduce函数用途，对迭代对象中的元素从左至右两两送入参数1传入的function中进行运算 （参数2是迭代对象，该函数一共就两个函数）
### 下面的reduce函数在这里实现的是每一层网络计算过后参数传递给下一层 ，funcs迭代对象中的元素是函数名称，然后依次从左至右取函数名称送入reduce函数第一个参数所表示的函数中，，
####lambda *a,**kw:g(f(*a,**kw)) ,lambda表达式返回一个函数对象，例如这里*a,**kw是参数，:后面的是参数的计算方式（*a是卷积上一层输出的激活值，**kw是这一层卷积运算的权重矩阵，因为是矩阵所以二维数组，f函数是正常的卷基层运算，g函数是对卷积运算后的激活运算）
#### 这里lambda f,g:lambda *a,**kw:g(f(*a,**kw)) 是将f，g作为参数送入后面(lambda *a,**kw:g(f(*a,*kw)))这个运算中，而后面这个运算是将*a,**kw作为参数送入到g(f(*a,**kw))这个运算中，，，其实就是函数嵌套的另一种表示
# return lambda x: reduce(lambda v, f: f(v), funcs, x)
if funcs:
return reduce(lambda f, g: lambda *a, **kw: g(f(*a, **kw)), funcs)
else:
raise ValueError('Composition of empty sequence not supported.')
####函数2:使用padding方法将所有图片变为一个尺寸的，并且要保证纵横比不变
def letterbox_image(image, size):
'''resize image with unchanged aspect ratio using padding'''
iw, ih = image.size ###原始尺寸
w, h = size ###转换为416*416
scale = min(w/iw, h/ih) ###转换比例 ，nw，nh是转换之后的图像尺寸，416*416下的，其他的空白部分像素填灰色
nw = int(iw*scale)
nh = int(ih*scale)
image = image.resize((nw,nh), Image.BICUBIC) ####BICUBIC是resize的插值方法
new_image = Image.new('RGB', size, (128,128,128)) ###Image.new(mode,size,color=0)
new_image.paste(image, ((w-nw)//2, (h-nh)//2)) ###img.paste(im,box=None,mask=None) 就是将im粘贴到img上box位置处（box=粘贴位置的左上角坐标） //运算符是将除法结果向下取整
return new_image
####函数3:产生随机数
def rand(a=0, b=1):
return np.random.rand()*(b-a) + a
####函数4:获取真实的数据，根据输入的尺寸对原始数据进行缩放处理得到input_shape大小的数据图片，随机进行图片的翻转，标记数据也需要根据比例进行改变
####annotation_line:单条图片信息的列表
def get_random_data(annotation_line, input_shape, random=True, max_boxes=20, jitter=.3, hue=.1, sat=1.5, val=1.5, proc_img=True):
'''random preprocessing for real-time data augmentation'''###实时数据增强的随机预处理
line = annotation_line.split()
image = Image.open(line[0]) ##读取图片
iw, ih = image.size ##原始图片尺寸
h, w = input_shape ##获取
box = np.array([np.array(list(map(int,box.split(',')))) for box in line[1:]]) ###图像中目标框信息每个框包含4个位置大小信息和一个类别信息
######如果不随机变换原始数据，进行下述部分
if not random:
# resize image ###将原始图像转换为416*416的，要做的内容和letterbox_image函数一样
scale = min(w/iw, h/ih)
nw = int(iw*scale)
nh = int(ih*scale)
dx = (w-nw)//2
dy = (h-nh)//2
image_data=0
if proc_img:
image = image.resize((nw,nh), Image.BICUBIC)
new_image = Image.new('RGB', (w,h), (128,128,128))
new_image.paste(image, (dx, dy))
image_data = np.array(new_image)/255.
# correct boxes
box_data = np.zeros((max_boxes,5))
if len(box)>0:
np.random.shuffle(box) ###shuffle函数是将box中的元素进行随机排列
if len(box)>max_boxes: box = box[:max_boxes] ###这里最多只取20个，也就是这里规定只取图像中众多目标框的20个
box[:, [0,2]] = box[:, [0,2]]*scale + dx ###对目标框信息按比例进行缩放和移位，这里处理后的坐标是相对于416*416尺寸的，即input_shape
box[:, [1,3]] = box[:, [1,3]]*scale + dy
box_data[:len(box)] = box
return image_data, box_data ###image_data是resize之后的图像（原始图像的纵横比不能改变），box_data是resize之后的目标边界框信息（注意这里边界框是相对于416*416坐标的）
#####如果是处于数据增强阶段 ，则要随机改变图像尺寸和颜色空间取值范围，执行下述部分，
#####这使用到的数据增强手段有：
# resize image
##1.缩放图片
###随机生成宽高比
new_ar = w/h * rand(1-jitter,1+jitter)/rand(1-jitter,1+jitter)
###随机生成缩放比例
scale = rand(.25, 2)
###计算新图片的尺寸
if new_ar < 1:
nh = int(scale*h)
nw = int(nh*new_ar)
else:
nw = int(scale*w)
nh = int(nw/new_ar)
image = image.resize((nw,nh), Image.BICUBIC)
# place image
###2.平移变换
###随机的把变换后的图像放置在灰色图像上，随机水平位移
dx = int(rand(0, w-nw))
dy = int(rand(0, h-nh))
new_image = Image.new('RGB', (w,h), (128,128,128))
new_image.paste(image, (dx, dy))
image = new_image
# flip image or not
###3.翻转
####是否翻转图像
flip = rand()<.5
if flip: image = image.transpose(Image.FLIP_LEFT_RIGHT)
# distort image
###颜色抖动
####在hsv坐标域中，改变图片的颜色范围，hue值相加，sat和vat相乘
####先由RGB转HSV，再由HSV转RGB，添加若干错误判断，避免范围过大
hue = rand(-hue, hue)
sat = rand(1, sat) if rand()<.5 else 1/rand(1, sat)
val = rand(1, val) if rand()<.5 else 1/rand(1, val)
x = rgb_to_hsv(np.array(image)/255.)
x[..., 0] += hue
x[..., 0][x[..., 0]>1] -= 1
x[..., 0][x[..., 0]<0] += 1
x[..., 1] *= sat
x[..., 2] *= val
x[x>1] = 1
x[x<0] = 0
image_data = hsv_to_rgb(x) # numpy array, 0 to 1
# correct boxes
####在经过缩放和水平变换之后，box的左上角信息也需要有相应的变化#####
####将所有的图片变换，增加至质检框中，并包含若干异常处理，避免变换之后的值过大或过小，去除异常box
####变换图像中目标框的大小位置信息（根据随机变换的信息变换比例）
box_data = np.zeros((max_boxes,5))
if len(box)>0:
np.random.shuffle(box)
##变换所有目标尺寸
box[:, [0,2]] = box[:, [0,2]]*nw/iw + dx
box[:, [1,3]] = box[:, [1,3]]*nh/ih + dy
if flip: box[:, [0,2]] = w - box[:, [2,0]]
box[:, 0:2][box[:, 0:2]<0] = 0
box[:, 2][box[:, 2]>w] = w
box[:, 3][box[:, 3]>h] = h
box_w = box[:, 2] - box[:, 0]
box_h = box[:, 3] - box[:, 1]
box = box[np.logical_and(box_w>1, box_h>1)] # discard invalid box
if len(box)>max_boxes: box = box[:max_boxes]
box_data[:len(box)] = box
return image_data, box_data
######from import 是从模块中导入一个指定的部分到当前命名空间中
