读书笔记--《Show and Tell: A Neural Image Caption Generator》

    这篇文章设计了一个端到端的网络来解决image caption问题,这个模型将最先进的视觉和语言模型结合在了一起,从而在效果上取得了巨大的进展。

    这篇文章提出了一个神经和概率框架来对图像生成描述,模型利用循环神经网络将可变长度的输入编码变成固定长度的编码并且用这种方式将其解码成期望输出的句子。

     通过最小化这个函数来获得图片的正确描述      

     这个网络选用了LSTM模型,LSTM能够记录这一步之前输入的东西,对于过去的输入具有记忆功能,具有三个门用于控制是否忘记当前的单元格值,是否读取其输入和是否输出新的单元格值。

                                                           读书笔记--《Show and Tell: A Neural Image Caption Generator》_第1张图片                      读书笔记--《Show and Tell: A Neural Image Caption Generator》_第2张图片

                                                                 读书笔记--《Show and Tell: A Neural Image Caption Generator》_第3张图片

                                                                                      图一是LSTM的基本结构  图二是LSTM的基本公式  图三是本文的模型图解

     

你可能感兴趣的:(image,caption,image,caption,多模态,深度学习)