谷歌试水AI换视频背景功能 少数YouTube用户抢鲜体验

Google 最近将人工智能技术运用到了视频主体和背景的分辨上,在速度达到 100 帧/秒的同时,还能够保证相当自然的特效体验。虽然抠图换背景是一项有着几十年历史的老技术,但在通常情况下,这种工作是相当费时费力的 —— 尤其在需要配合绿幕演出的超级英雄主题的好莱坞科幻大片上。计算机在后期制作时,可以将绿幕整个替换成爆炸的建筑物等背景。但如果配合 iPhone X 等能够记录 3D 感知数据的摄像头,事情就变得更加简单了。

Google's AI software can detect the subject of a video and change the background.gif

Google AI 软件可以检测视频中的物体和变更背景

不过,Google 采用的是另一种方法,即通过标签图像来精心训练一个神经网络,帮助它学习如何正确地在各种背景元素中分辨出面部特征,比如眼睛、头发、嘴巴等。

最终结果是,该公司开发出了一套能够跟上视频帧速、快速切换背景的系统。常规视频的帧速为 30 fps,但 Google 在 Pixel 2 上达成了 40 fps(iPhone X 更是超过了 100 fps)。

Google uses machine learning in its video segmentation technology.jpg

Google 在视频分离技术中运用了机器学习的方法

遗憾的是,这项技术尚未全面对外开放,初期只有少数一群 YouTube 用户能够体验到(其提供了一种分享 Snapchat 风格的短视频的能力)。

如果你对背后的技术细节更感兴趣,优联创信建议你可以翻阅 Google 在本周四发布的一篇博客文章(Mobile Real Time Video Segmentation)。