VQA(Visual Question Answering)技术

这是一种涉及计算机视觉和自然语言处理的学习任务。

初识—定义:

A VQA system takes as input an image and a free-form, open-ended, natural-language question about the image and produces a natural-language answer as the output.
翻译下就是:一个VQA系统以一张图片和一个关于这张图片形式自由、开放式的自然语言问题作为输入,以生成一条自然语言答案作为输出。简单来说,VQA就是给定的图片进行问答。
VQA涉及到多方面的AI技术:
细粒度识别(这位女士是白种人吗?)
物体识别(图中有几个香蕉?)
行为识别(这位女士在哭吗?)
对问题所包含文本的理解(NLP)

现实应用

最直接的就是帮助盲人和视觉受损用户的应用。VQA系统可以在网络或者任何社交媒体上提供关于图像的信息。另一个明显的应用是将VQA集成到图像检索系统中。

延伸

目前有一个大数据的作业,不良信息检测,因此我想对其进行延伸,应用到不良视频检测,希望能够通过问答,或者看图说话进行鉴别

你可能感兴趣的:(VQA(Visual Question Answering)技术)