paln
学习目标:C/C++、操作系统、Linux驱动
待安排
- 《tensorflow实战》VGGNet
- 《tensorflow实战》AlexNet
- CS231n：方向传播
- 学习tf-slim 怎么进行迁移训练
2019.11.20
- 解决自己生成tfrecord的时候，想要生成train，但会生成val，与些同时还会删掉原图片。
2019.11.19
- gen_defect_free_data.py mask 一张图多采几张负样本，再缩小一点图片占比,64 - 100?
- 分析mask glass检测分数低的样本特征，从随机生成的负样本中筛选符合检测的负样本的分布
2019.11.15
- 整理写过的脚本，尽可能使其具有通用性
- draw and save from json 整理成一个函数
- 继续研究leetcode 及 滑动窗口法
- 验证、测试新训练的GLASS/MASK模型
2019.11.14
- MASk/GLASS无缺陷进一步数据清洗
2019.11.11
- 总结遇到的问题：推理太慢
2019.11.8
-
小图不外扩15%
-
输出 错误信息
-
predict_with_pb_from_source_img.py 合并labels.txt与json
-
继续完成top3接口并调试
-
大图尝试用tfrecord再跑
2019.11.7
- 模型测试：MASK大图测试、MASK小图(原始标注框+统一方形标注框)测试、GLASS大图测试、GLASS小图(原始标注框+统一方形标注框)测试
- 联合测试接口代码
2019.11.6
- 优化模型融合评估代码
- 由目标检测得出的结果来测试已经训练模型（暂无GPU测试）
2019.11.5
- 数据预处理
- 数据分析，检查
- 评估模型融合可行性、整理详细数据
2019.11.4
- 评估MASK模型融合可行性
- 新数据预处理
2019.11.1
- 标注框从长方形变为正方形（为了resize的时候不发生形变）
- 在第一步的基础上，正方形扩大15%
- 边界处理：如果缺陷在边缘的话，以图片的边界为极限处理。
- 整理重新标注的数据
- 遇到的问题：tf.train.batch 两次读取tfrecord的顺序 不一样
- https://blog.csdn.net/u013555719/article/details/80459284 试试解决顺序问题
- decode png jpg 要换一下
2019.10.29
- 学习怎么fine-tunning。学后可以吹。
- 学习到怎么看tensorboard 的graph
- 根据XML标注文本，在图片上框选出来，并存储
2019.10.28
- 优化整理读取图片进行预测的代码
- 了解怎么运用tensorflow-slim进行fine-tuning
- 完成inception V1-V3的总结
2019.10.28
- 尝试将源图片concat成一个batch
2019.10.25
- tf.global_variables_initializer()与 tf.local_variables_initializer()的区别，并记录笔记
- tf.train.shuffle_batch与tf.train.batch的区别
- 通过label = tf.stack(tf.one_hot(label - 1, NCLASS))学习tf.onehot
- with slim.queues.QueueRunners(sess):
2019.10.24
- 完成pb的加载进行预测
2019.10.23
- 整理我写过的小脚本。tfrecord/sava as /load pb/ load checkpoint/moire_crop/
2019.10.22
- 完成pretty table
- 知道List长度的话，append和直接Index赋值，哪个效率高？
2019.10.21
- 初步完成调用pb与checkpoint进行孔分类预测的脚本
2019.10.18
-
首要解决问题：为什么ckpt和pb都是只归成两类？？？？？？
灵感：models/research/slim/preprocessing/inception_preprocessing.py/preprocess_image
-
整理build_image_data.py 的使用方法（to tfrecord）
-
整理遇到的问题,训练时候用的GPU训练，验证的时候也要用GPU。
-
发现文件名原来可以用中文的冒号，但 是英文的冒号不可以用
-
整理sess.run(output,{input:img})，怎么查看output和Input 这两个tensor的名称。而且，加载ckpt与加载pd文件input\output tensor的很名称是不同的
-
搞明白InceptionResnetV2/Conv2d_1a_3x3/weights/Initializer/random_uniform/shape:0什么意思？0是用来做什么的。没有0会怎样
-
搞明白get_tensor_by_name 与get_operation_by_name
-
整理tensorflow命令行参数
-
怀疑是网络的固化，要求塞进64*299*299*3的数据
-
遇到的难点：不知道往哪里个节点塞数据
-
感慨还是pb简单，输入是input/input:0 不用找节点
-
转换训练更久的ckpt为pb，并验证看效果。（20000步的时候，抽取15个no_hole，识别成small_hole）
-
### 2019.10.17
-
复习，重新做编程题目二题
-
SE_ResNeXt源码\论文研读，刚看完网络架构
2019.10.16
- 制作完的tfrecord怎么用？
- 了解使用TF-Slim fune tune模型的流程
- 完成https://github.com/tensorflow/models/tree/master/research/slim中Exporting the Inference Graph中的export_inference_graph.py
- 复习，重新做编程题目一题
2019.10.15
- SE_inception-Net源码研读，刚看完网络架构
- 设想制作自己的分类训练数据集，github上找到源码，知道怎么从image生成tfrecord，从tfrecord反生成image.
2019.10.14
- SE-Net源码研读
- 复习，重新做编程题目三题
2019.10.12
- 了解孔缺陷及二分类，哪两类？
- SE-Net学习
- 编程题目
- 列表推导加入笔记
- yield重新学习
- 递归思想
2019.10.11
- 了解ADC业务
- 报告PPT
- inception中不同卷积核过后，是怎么拼接在一起的？
- range和xrange加入笔记
2019.10.10
- 通过运行代码仔细研究ADC项目分类网络xception_train.py
- 研究PyTorch 的 backward 为什么有一个 grad_variables 参数
- 测试keras.application中的ResNet50模型
- 重新写一遍反转链表的代码
2019.10.09
- 大致阅读ADC项目分类网络xception_train.py
- MobileNet了解
- 了解Keras.application的应用
2019.10.08
- F:\TCL\other_material\Dataset\ADC\adc4350v1\trainA检查到第6691张
- 编程题目三题
2019.9.30
- 改进cut.py成遍历多个文件夹，自动创建文件夹
- InfoGAN看论文、代码运行
- styleGAN论文
2019.9.27
- 摩尔数据集处理
- crop新ADC数据集
- 编程题目
2019.9.26
- 编程题目
- 摩尔纹数据crop
2019.9.25
- CGAN结合代码看论文
- pytorch简单入门
- 阅读pytorch-CycleGAN-and-pix2pix代码
- 编程题目
2019.9.24
- DCGAN结合代码看论文
- 阅读pytorch-CycleGAN-and-pix2pix代码
- 编程题目
2019.9.23
- WGAN结合代码看论文
2019.9.20
- 结合代码理解Semi-supervised GAN,并在jupyter notebook上进行训练
- 结合keras代码重新温习original GAN,并在jupyter notebook上进行训练
- 在jupyter notebook上训练WGAN
- 剑指offer编程题目一题
2019.9.18
- 数据清洗
- 剑指offer编程题目
2019.9.17
- CycleGAN-Tensorflow/data/ADC/adc_crop/下清洗trainA_all、trainB中的5倍图，并重新上传
- ADC补充数据清洗不正常的数据，并crop
2019.9.12
- CycleGAN代码结合论文总结下
2019.9.11
- 去掉ADC模糊的照片，自己训练。
2019.9.9
- PPT
- 工作临时交接，关注CycleGAN-Tensorflow/checkpoints/20190903-0926_1171adc_crop/中events的大小，太大的时候kill -9 [PID]杀掉进程，重新运行CycleGAN-Tensorflow/run2Train.sh
2019.9.6
- 浏览ADC各个不同分类的数据
- Generative Adversarial Networks_A Survey and Taxonomy论文读完
- GANS-PPT制作
2019.9.4
- 完成彩色区域的选取，但是还没有实现保存，以及Python的argpasser，效率的评估，参数的评估与优化(黑白阈值的设定对更多的数据集能通用吗?还不知道！)，代码的整理
2019.9.4
- 初步实现图片黑白的跳变寻找
- Generative Adversarial Networks_A Survey and Taxonomy论文研读，PPT制作
2019.9.3
- Generative Adversarial Networks_A Survey and Taxonomy论文研读
2019.9.2
- D\G tensorboard中损失图的解读
- 编程题目：字符串中替换空格为另一字符串
- 跑DCGAN代码，并修改超参数learning rate 试验效果
2019.8.29
问题：
- 总结与工作汇报PPT制作
2019.8.28
- GAN-Overview-Chinese论文看完
- 总结SVM-LOSS及梯度
- numpy-广播
- 完成CS231n-softmax的代码作业
2019.8.27
- 代码实现：用Pillow批量去除在图片上影响训练效果的无关文本
- 数学建模题目及相关资料的阅读
- GAN-Overview-Chinese论文阅读
2019.8.26
- 目标：各种GAN的结构及Loss function整理成PPT（大致完成）
2019.8.23
- GAN paper的理论部分，并总结制作PPT
- 完成Generative Adversarial Networks: An Overview论文阅读
2019.8.22
- 完成CS231n-SVM的代码作业
- Generative Adversarial Networks: An Overview论文阅读（未阅读完全）
- 李宏毅深度学习课程-GAN,似乎懂了一些GAN paper的理论
2019.8.21
- 完成CS231n-KNN的代码作业：代码层面理解KNN的原理；在作业的过程中，熟悉了numpy的应用，体会到了二层循环运算、一层循环运算、无循环的vectorized运算的神奇之处。
- 《tensorflow实战》第五章：复杂的卷积神经网络
- 计算机视觉识别：优化
- numpy-从数值范围创建数组
2019.8.20
TODO
- 计算机视觉识别-损失函数：原理层面理解KNN及SVM、Softmax损失函数
- 启动numpy学习
- 多层感知机（带有隐藏层的网络）
- 《tensorflow》实战第五章：卷积神经网络
- 学习jupyter notebook的简单使用
DO
- 收获W的发音原来是double U
2019.8.19
DO
- 斯坦福李飞飞计算机视觉识别：K近邻算法、线性分类
- 训练集、验证集、测试集的区别
- tensorflow实现手写数字
- 支持向量机的直观理解
- 自编码器了解
2019.8.15
TODO
- create_discriminator函数中第一层网络的rectified可视化出来 。可视化不出来的，因为通道有64
- 搞清楚为什么要rectified，为什么要normalized?
- 梯度消失是什么？
- 反向传播算法
2019.8.14
问题
- 项目目标是什么？
TODO
-
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks论文阅读
-
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks代码阅读，不大懂
-
了解残差块
-
卷积层的输入输出层数的关系计算，总参数的计算
2019.8.13
问题：
- input = tf.concat([discrim_inputs, discrim_targets], axis=3) 通道拼接怎么理解，为什么discriminator的构建，将输入和输出拼接，卷积，激活，卷积，激活后就能输出判别的概率 ？
- 1个epoch表示过了1遍训练集中的所有样本，那么为什么训练的时候要重复几千个epoch呢？
TODO:
- 阅读CycleGAN, a Master of Steganography论文
- 看CycleGAN-tensorflow代码
2019.8.12
TODO
- 学习应用tools里面的脚本文件
问题：
-
为什么discriminator_loss会先下降后上升，而generator_loss会先上升后下降？
-
摩尔纹的两个test文件，407的区别，407是什么意思呢？
-
训练时候，xshell断开连接，训练会继续吗？中断训练用ctrl+c 就可以了吧？
-
如果其中一个人在使用gpu进行训练 ，另一个人也使用相同的GPU,会发生什么呢？会干扰到第一个人的训练吗？
2019.8.9
问题：
- discriminator的最后一层网络,卷积后sigmoid，直观上生成的图像每个点的代表的是什么呢？是分辩真假后的概率吗？看代码不像是，从代码上看，为什么create_discriminator这个函数能作为辨别器呢?
- 为什么create_discriminator\create_generator代码这么写就能成为生成器和分辨器？
- 代码中的损失和论文中的对不上。代码中gen_loss_GAN和discrim_loss对应论文中哪里呢？
TODO:
- 结合Pix2pix工程，tensorboard学习
- 进一步学习代码中的网络部分
- 论文
- 测试pix2pix中的其他数据集
- which only penalizes structure at the scale of image patches？看论文Structured losses for image modeling部分（SSIM metric …）
2019.8.8
- 回头看pix2pix的论文，并结合代码理解论文
- 卷积理论结合函数tf.layers.conv2d
- 传统机器学习与深度学习的区别是什么？
- 服务器上的训练文件的名称的参数都是什么意思 ，ssim是衡量两张图片的相似度，psnr什么意思
- 感受野概念的理解
2019.8.7
TODO
- 搭建好xshell 与winscp服务器配置
- 搭建Xshell隧道（待跑训练，输出tensorboad测试）
- 测试杨工的训练模型
- 看pix2pix网络代码
问题：
- server中的各文件是用来做什么的？用作Docker的
- lab_colorization 是用来做什么的？
- batch size可以理解成batch张图片吗？batch的大小对训练速度的影响大吗？
我学了什么？
- 熟悉了pix2pix工程，大概知道数据集该怎么处理，工程该怎么运行
- 了解 GAN、CycleGAN、pix2pix、pix2pixHD、U-Net
- 测试工程的各个输入参数
2019.8.2
- 运行pix2pix-tensorflow工程中的测试部分
- 了解pix2pix-tensorflow工程中各脚本文件
- 训练的方向AtoB\BtoA是什么意思 ？
- 数据集中的test、train、val各是什么意思？我理解的val是输入，但是为什么输入也是一对匹配的图像？因为test的输出是三张图片:input/output/target/，输入的匹配图像是Input和target,程序运行的结果 是output
- process.py 中blank操作，将原图像添加一个白色正方形是为了做什么？
- export这种mode是用来做什么的？
2019.8.1
- GAN的初步了解
- pix2pix论文的初步阅读
- 神经网络的基础学习
2019.7.2
- 位运算实现两个整数的加法运算
2019.6.18
- 位运算实现两个整数的加法运算
2019.6.15
- 《Intermediate Python》容器，枚举部分
- 数值分析向量范数与第6章
2019.6.13
- 看论文Learning to Reconstruct People in Clothing from a Single RGB Camera，和以前有什么不同？
- 《Intermediate Python》容器，枚举部分
2019.6.12
- C++题目6.1,6.2
- 《Intermediate Python》P47 - 53
- 《SLAM十四讲》复习第六讲，及 1 - 5 章漏掉的
- 数值分析复习第5章节至少开头
- 思考工程如何创新，如何进展
2019.6.11
-
数值分析复习
-
C++ 题目 5.6 - 5.8
-
《SLAM十四讲》复习 1 - 5 章
-
看Skeleton Tracker 代码，搞清楚SMPL是不是一定要与相对应的骨架绑定在一起
-
《Intermediate Python》装饰器