教你用PyTorch实现“看图说话”(附代码、学习资源)

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

深度学习目前是一个非常活跃的领域---每天都会有许多应用出现。进一步学习Deep Learning最好的方法就是亲自动手。尽可能多的接触项目并且尝试自己去做。这将会帮助你更深刻地掌握各个主题,成为一名更好的Deep Learning实践者。

这篇文章将和大家一起看一个有趣的多模态主题,我们将结合图像和文本处理技术来构建一个有用的深度学习应用,即看图说话(Image Captioning)。看图说话是指从一个图像中基于其中的对象和动作生成文本描述的过程。例如:

教你用PyTorch实现“看图说话”(附代码、学习资源)_第1张图片

这种过程在现实生活中有很多潜在的应用场景。一个明显的应用比如保存图片的描述字幕,以便该图片随后可以根据这个描述轻松地被检索出来。

我们开始吧!

注意: 本文假定你了解深度学习的基础知识,以前曾使用CNN处理过图像问题。如果想复习这些概念,可以先阅读下面的文章:

d47e62d2b349aca45e42305ed6714efbe5ed61d9Fundamentals of Deep Learning – Starting with Artificial Neural Network
d47e62d2b349aca45e42305ed6714efbe5ed61d9Architecture of Convolutional Neural Networks (CNNs) demystified
d47e62d2b349aca45e42305ed6714efbe5ed61d9Tutorial: Optimizing Neural Networks using Keras (with Image recognition case study)
d47e62d2b349aca45e42305ed6714efbe5ed61d9Essentials of Deep Learning – Sequence to Sequence modelling with Attention (using python)

转载于:https://my.oschina.net/u/3611008/blog/1926834

你可能感兴趣的:(教你用PyTorch实现“看图说话”(附代码、学习资源))