[备忘笔记]第一个python+ml实验的踩坑记录
记下bug笔记，随时更新。
----------------------------------------------------------------------------------------------
1.jpg的图片读入三通道，.bmp读入单通道。不知道是不是所有的，反正我看到的这个dataset是的。
三通道转一通道方法可能很多吧，到了我这各种不好用/嫌麻烦。目前的处理方法，维度是对的imread读进来直接(0,255)的整数。但是保存图像的时候需要转换成-1~1的格式 （至于怎么弄成<0的我也不知道）。
*更新：读取/保存图像的时候都是既可能出现(0,1)的，又可能出现(0,255)的，python碰到这两种都会自动读写，但是自己使用需要注意带适应性的转换。
*图像格式转化应该是我改了时间最长的bug。
*注意：0是黑。1、255是白。= =。
*做dl的时候要用0-1的。不然训练可能不好。
* //是整除， /如果想做float运算，除数尽量不要放整数。
# 刚刚修改，之前用的as_gray=True，跑了下不错
# 然后因为warning用回旧版本，发现旧版本的imread不支持
# 希望这回不出问题
img = imread(self._path + name + '.jpg', as_grey=True)
img = img.astype(np.uint8)* 更新：as_grey和as_gray都可能报错/报警告，取决于当前环境版本（- -），反正我换服务器的时候遇到了麻烦。
2.linux环境下用os.listdir()读文件夹下的所有文件的顺序不固定。排序即可。windows有顺序。
if not os.path.exists(new_path):
os.makedirs(new_path)
files = os.listdir(new_path)
files.sort()
pictures = os.listdir(old_path)
pictures.sort()3.Dataloader+lambda在windows+cpu下好像不是很好用，建议使用linux。查了一下windows好像需要手写一大段东西。
运行时出现Ran out of input以及Can't pickle local object 'train..' 4.遍历、用Dataset等，文件夹地址不要少写后面的/。
更新：基本上训练的时候发现loss和acc怎么弄都不变，训练得还很快，八成是这个问题。
test_data = KidneyData('/data2/wzy/train_subset/0_100/', transforms=Null, mode='train')
loader = DataLoader(test_data, batch_size=1, num_workers=1)5.cv2.imshow在我用ssh连linux服务器跑程序的时候不能用。很吃惊了。X server是linux显示图像的应用程序。
更新：但是plt.show是可以用的。另外，root选对，pycharm可以查看远程服务器的代码。
cannot connect to X server 6.pytorch，unsample废弃的改写方法：
更新：需要小心谨慎，换回原版本的服务器，用新写法反而可以报错。
nn.functional.interpolate(..., mode='bilinear', align_corners=True)7.pytorch.Dataset一定不要同时保存img和label的name用来遍历。因为在shuffle=True的情况下，遍历可能会出现img和label不对应的情况。
self._img_names = load_img_names(path)
# self._lbl_names = load_label_names(path)8.传参可以少一点，适当定义全局变量，大量传参和定义新数据会让网络训练变慢。函数内部调用全局变量用global。
import UNet
net = UNet(in_shape, 1)
net.load_state_dict(torch.load(model_file))
initial_loss, initial_acc = val(net, main_device, validate_loader)
pre_loss, pre_acc = initial_loss, initial_acc
# wzy, 2019/3/6
def get_reward(data, target):
(batch_data, batch_labels) = extend_one_image_to_batch(data, target, args.batch_size)
global pre_loss
global pre_acc
global net
...
return
9.resize从正方形到小矩形可能出错？待验证。
10.cv2.resize比skimage快很多，尽量用这个。
*更新：不同的函数速度也可以差很多。有点担心可以用time打一下。
start_time = time.time()
self._take_action(action)
end_time = time.time()
print('s_take_action%%%%%%%%%%%%%%%%%%Time:{}'.format(end_time - start_time))11.常数级优化很重要，尤其是和图像和神经网络相关的操作就本身很慢，例如能少用一次val就少用一次
12.linux文件可以空格开头，导致读写文件找不到。（debug半天发现的，第一感觉是活久见- -）
![[备忘笔记]第一个python+ml实验的踩坑记录_第1张图片](http://img.e-com-net.com/image/info8/88bc6b85d5e04881bdaafd5c352c7308.png)
13.如果import文件A.py，所有A.py全局的东西都会在import的时候自动创建对象。
比如网络加载和全局计算，调用类也一样。import的时候要谨慎，尽量装在类里调用类。反正注意结构。
14.某些强调的东西（如image类型、size）打上注释，简洁明了不易遗忘，方便debug。
15.有时候没必要保证代码迁移性，除非是自己之后工作还用得到。
16.函数拆成小块，尽量不要大段的写在主函数里，命名尽量不要main()，便于在其他函数中调用多跑几次。
17.服务器vnc的代码，一个文件可以同时多次运行。但是来一个stop就不一定是哪个停了。
18.注意模型中所有的seed，该固定还是随机。怕重复和复现就不断修改，避免出现：随机分dataset每次结果不同 / 跑几次实验结果一模一样 的尴尬局面。
19.可能会修改的东西留个记录。比如 centroid_distance 应该用欧式距离还是曼哈顿距离，可以把x,y结果分别存起来。
20.注意内存消耗：以后绝对用不到的东西（如中间模型）就删了吧，或者用完自动删。不小心占满服务器是个很可怕的东西。
21.注意修改范围：如setting有3个GPU。到了文件，不要直接从setting调用，可以先在文件全局放一个now。方便修改。
22.（用于分割）提取mask边缘，用于多方法对比。
from skimage.color import gray2rgb
from skimage.feature import canny
from skimage.morphology import dilation, square # 滤波器,dilation扩张白色部分压缩黑色部分。square正方形
# img(0-255),想提取边缘特征的图
rgb_img = gray2rgb(img)
gt_edges = canny(gt_img, sigma=3) # 提取边缘特征。sigma是画笔粗细
gt_edges = dilation(gt_edges, square(2)) # 或许是填充吧。。
# 反正输出是边缘白其他地方黑的图gt_edges。
# 以下给边缘染色，得到rgb_img.
if mode == 'r':
rgb_img[gt_edges == 1, 0] = 255
rgb_img[gt_edges == 1, 1] = 0
rgb_img[gt_edges == 1, 2] = 0
# 考虑 /= 255.0
return rgb_img23.数组（图像）裁剪（注意范围），注意如果只有一个：的时候位置不要错。
img_cropped = img[max(0, coordinate[0] - 75):min(256,coordinate[0] + 75), max(0, coordinate[1] - 75):min(256,coordinate[1] + 75)]24.尽量少对result文件用reset。如果删了有用的结果，比有一些闲杂的数据问题大一些。
25.保存结果，对比实验的命名尽量不同，文件夹尽量相同。
* 尽量用tsv（脑补）。
* 如果要处理结果，比如排序和筛选，变色，一定要另存为excel。
26. format()和，os.path.join()，虽然写起来麻烦，写错的概率比+和%低一些？
27.不需要规规矩矩一个一个验证、而且可能要跑多次取均值的model，可以通过预先判断筛选掉一些。（反正服务器早晚是你的，没必要不浪费，不如节省时间多跑跑好的模型）