混子科研狗 组会日记（2022.3.16）

目前研一，专业控制科学与工程，大方向人工智能应用，医学图像方向（待定），实验室里有合作医院尘肺病人的X光片，CT，文本病例（但很少），我也没有用过，只是在pycharm里读出来过，很糊，应该是要用专门的软件吧，写一下自己的学习历程，供自己若干年后回忆。

简单介绍一下自己的情况，上半学期自学完深度学习基础（pytorch，主要是看李沐和刘二的视频，自然语言处理的代码部分没怎么跑，图像处理的部分都跑了，代码部分能理解就理解，不能理解也就算了），python基础（小甲鱼），本科有C++基础，但已经忘的差不多了。

导师放养了大半年，突然就开始问我想做啥，我倒是一脸懵，师兄也把我安排到组会主讲了，研三的做自然语言处理，研二的在做图像的处理，在课程上做过关于GAN网络的汇报，于是我搜了GAN网络在医学图像的应用，找了两个方向，一个基于GAN网络的X光片超分辨率，还一个是2DX光片转换3DCT片，论文链接如下：

Generative Adversarial Networks for Medical Image Super-resolution | IEEE Conference Publication | IEEE Xplore

X2CT-GAN: Reconstructing CT From Biplanar X-Rays With Generative Adversarial Networks | IEEE Conference Publication | IEEE Xplore

两篇论文，我感觉写的还可以，都是利用了GAN网络无限的潜力来生成精确的分布。

下面是第一篇

 生成器利用了残差网络，其余的基本就是些CNN啥的，衡量的标准是峰值信噪比和主观意见分，他里面的峰值信噪比是没有单用CNN做X光超分辨率的高，但是他里面的主管意见分高很多，虽说评价人员都是些医学领域的专家，但是这个水分也太大了，附一张结果图，虽然我倒是没看出来改变了多少。

 第二篇的模型复杂程度比第一篇高，基本的思路如下图所示：

 

除了加了些损失函数，我认为比较重要的就是他里面2D到3D的转变的那部分，下图是生成器的部分。

 

 Connection-A通过全连通层实现2D-3D转换，其中最后一个编码层的输出被展平和拉长为进一步重塑为3D的1D矢量。然而，大多数2D空间信息在这种转换过程中会丢失，因此我们只使用Connection-A来链接最后一个编码层和第一个解码层。

Connection-B并执行以下步骤： 1.通过basic 2D convolution block使编码器的信道数与相应解码器侧的信道数相等; 2.沿着第三个轴复制2D信息，将2D特征图扩展为伪3d特征图; 3.使用基本的三维卷积块对伪三维特征图进行编码。丰富的低级信息在网络的两个部分之间穿梭，使得输入和输出之间的形状和外观具有很强的相关性。

 我感觉他里面的思想和残差网络的有一点类似，讲低维的特征直接传入到解码器的部分，将编码器的最后一层平铺，形成另外一维加入到原来的二维中，形成一个三维。

他的判别器用的也是衡量3D之间相似程度，是以前提出的，论文里也说，在计算机视觉里，2D到3D重建大部分是用于重建表面，没有对内部的重建，而重建CT是需要对内部进行重建的，但他的判别器用的是以往文献里的，是不是有些不合适，我也没看他的判别器出处的文献。

由于水平和条件有限，我并没有重现代码，毕竟时间也比较仓促。

组会讲完后，指导老师（一个导师，一个指导老师）也就说了些套话，总结了以下，说研二的正在做3D到2D的工作，这个工作复杂性高，而且我们没有侧面的CT片，这个做了没可信度，但是GAN网络还是很有用的balabala，这个方向人已经够用了，要不你做其他的吧，我问那我做啥，指导老师问我导师我做啥，然后就是尴尬的沉默，导师把话题岔开了，估计是没啥项目不知道咋安排吧，组会就草草结束了。

总之，第一次尝试找方向算是以失败告终，一个月后又轮到我汇报了，这段时间俺的3060就快到了，咱实验室的gpu十分紧缺，研二的一直占着要出成果呢，所以我干脆自己买了，不太想用云服务器，正好自己也可以玩绝地求生和NBA2k22（嘿嘿），老电脑除了下棋（云顶），啥也不能玩，这段时间就跑跑论文里的代码吧，cpu计算实在是太慢了，有时候跑一宿，训练完，发现模型和图片保存路径错误，无语了，毕竟是小白，关于下一个想找的方向，先打算看看公用的医学图像数据集，看看有啥能继续做下去的吧，自然语言我实在是不想做，理解起来太难了，而且也不好做，毕竟想早点出论文，然后滚去找工作。前段时间，指导老师还问我读不读博，说我可以硕博连读，还少一年呢（我学硕），我想吐槽一下，读这个博的话，我感觉我能够读到最长年限，因为我悟性差，而且我觉得我导师团队做的方向实用性太差，我估计等我老了他们这项目（不仅仅是医疗方向）都落地不了，万一拿不到毕业证，我tm30多岁毕业还是个本科学历，两年半后我赶快滚蛋吧，现只求硕士能毕业。

放养有放养的好，压榨有压榨的好，放养的我继续躺平摆烂吧，嘿嘿（第一次在这上面写博客，话说为啥没有表情，不能很好的表达出我的情感）