运动文字-Motion Text技术

最近谷歌发布3-D目标检测和姿态估计的新开源软件，借此大家了解一下其中采用的一些骨干技术。

这里介绍一个技术：Motion Text，其链接见：https://ai.googleblog.com/2016/12/get-moving-with-new-motion-stills.html。

它是一种运动跟踪的文字叠加、超分辨率视频和自动电影摄影机的技术，以创建更精美的视频和有趣的GIF。

添加运动文字，可以直接在手机上创建类似于电影和电视节目中看到的动态文字效果。 借助Motion Text技术，可以轻松地将文本放置在视频上的任何位置，以获得所需的准确结果。 键入时只需一秒钟即可初始化，并且在整个Live Photo以1000 FPS的速度进行跟踪，因此感觉就如瞬间完成。

为了实现这一目标，采用在YouTube服务器上运行的运动跟踪技术来实现“Privacy Blur”（https://youtube-creators.googleblog.com/2016/02/blur-moving-objects-in-your-video-with.html），并在移动设备上运行得更快。 首先通过利用机器学习对前景/背景特征进行分类并为时间连贯的相机运动建模，为视频创建运动元数据。 然后，获取元数据并将其用作算法的输入，该算法可以跟踪单个目标，同时将其与其他目标区分开。 该算法对每个目标的状态进行建模，包括其空间的运动，一个隐式外观模型（描述为一组运动部分）及其质心和范围，如下图所示。

此外，一个超分辨率技术“RAISR: Rapid and Accurate Image Super Resolution“（https://ai.googleblog.com/2016/11/enhance-raisr-sharp-images-with-machine.html）也被使用。而且，还将超越稳定技术，带来全自动的电影摄影扫描效果。 将背景定格为静止照片后，分析结果以优化完美的循环过渡。 通过考虑起始帧和结束帧的范围，建立帧对之间的转换得分（transition scores）矩阵。 该矩阵的极小值反映了完美的过渡，带来运动静止（motion stillness）的无限循环播放。