【万有AI】连漫画都被AI盯上了！用分割工具从气泡中提取文本，还释放了人力...

作者｜宇伊  
出品｜新芒X        公众号｜GOwithAI 

有这么两个案例还挺有意思，在面对的应用场景上，形成了强烈的反差，但在本质上都是AI在发挥效力。

谷歌母公司Alphabet的DeepMind的研究人员最近在一篇学术论文中透露，他们开发了一种能够以“近乎人类的表现”对CT扫描进行分割的系统。

另一边，德国波茨坦大学的科学家开发了另一种系统：AI分割工具，用于处理稍微卡通的媒体：漫画。

前一种谷歌的研究成果我们也习以为常了，AI在医疗领域的应用，而后者则颇为新颖。我们也将重点放在这个有意思的案例上，和大家分享，以下Enjoy：

这位科学家在Arxiv.org上发表的一篇论文： 基于CNN的深度气泡文字检测和漫画分割 ，他们描述了一种可以用于检测和分离的神经网络（即模拟生物神经元的数学函数层）。

漫画书中的泡泡，在涉及包含带有“摇摆尾巴”和“弯曲角落”的气泡的数据集的测试期间，它获得了0.94的F1分数（测试精度的度量），研究人员声称这是最先进的。

也很好理解，对于漫画中的气泡文字通常由载体，也就是用于体现文本的符号和将载体连接到其根文字符的尾部组成，文本从中出现。

尾巴和载体都有各种形状，轮廓和晃动程度各不相同，这个系统将气泡文字分类为不同的类别，因为它们具有不同的功能：与通常用于叙述目的的字幕相比，气泡通常包含漫画中的直接言语或人物思想。

▲图注：研究人员的AI模型设法提取的语音泡沫

该团队开发了一个完全卷积的神经网络， 一种常用于分析视觉图像的AI ， 最初用于医学图像分割，并经过训练用于“自然图像”的分类。他们略微修改了它，并从90本漫画书中提取了750个带注释的页面在图形叙事语料库中，一个用英语写成的图画小说，回忆录和非小说类的数字图书馆。

随着时间的推移，它学会了对漫画中的每个像素是否属于气泡文字进行分类。

为了验证他们的方法，研究人员在他们从图形叙事语料库中提取的750张图像的子集（15％）中测试了训练有素的人工智能系统。令人印象深刻的是，它成功地接近了虚幻的轮廓，不是由物理线条勾勒出的气泡文字的边界，而是定义面板之间空间线条的延续。

研究人员认为，他们的AI气泡文字检测系统可用于创建带注释的漫画书的语料库，或者作为历史手稿，科学文章，图表和报纸文章的一般分割任务的第一步。

他们说，有一天它可能有助于为视力不佳的人开发辅助技术。

这并不是说它是完美的，日本漫画中的气泡文字表现不佳，研究人员称这可能是拉丁字母编码的“文化特定”特征和训练数据集中文本行语音气球的水平方向的结果。

但是已经开始有更多漫画样本的更新模型，以及扩展到细分字幕，角色和其他元素的模型。

值得注意的是，这个识别过程需要人工辅助验证，但考虑到现在的水平，模型的性能至少接近人类表现，在能够解决几个繁琐的注释任务的同事，更能释放人力资源。

Reference：

VentureBeat：

AI extracts speech bubbles from comic strips

https://venturebeat.com/2019/02/22/ai-extracts-speech-bubbles-from-comic-strips/

----End----

---

独家精选栏目文章合集（点击图片即可进入▼）

---

专注AI和新科技，兼具内容品质和传播影响力

「AI名利场」  「万有AI」  「AI新声」 

商务合作 & 广告：请联系微信 ▶ Lxz216216216

转载&投稿：请联系微信 ▶ 623974966

---