经典代码自动生成论文《pix2code: Generating Code from a Graphical User Interface Screenshot》理解

Beltramelli T. pix2code: Generating code from a graphical user interface screenshot[C]//Proceedings of the ACM SIGCHI Symposium on Engineering Interactive Computing Systems. ACM, 2018: 3.

一、论文主要方法

本文主要提出了一个端到端的模型将GUI(Graphic User Interface)截图转换成计算机代码。

模型的思想:使用CNN无监督地提取图像特征和表示图像;使用RNN生成图像的文本表示。即经典的CNN+RNN结构,架构图如下所示:
经典代码自动生成论文《pix2code: Generating Code from a Graphical User Interface Screenshot》理解_第1张图片
在训练阶段(Training),用CNN表示图像,LSTM表示上下文,然后将两个表示连接输入到另一个作为decoder的LSTM中,最后通过一个softmax输入关键字。每次生成一个关键字,softmax层的大小和语料库的大小相同。在生成阶段(Sampling),与训练阶段不同的是输入只有图像。语料库中有两个特殊的关键字START和END,生成阶段从START开始,到END停止。

二、论文实现

你可能感兴趣的:(经典代码自动生成论文《pix2code: Generating Code from a Graphical User Interface Screenshot》理解)