淘先锋技术网

首页 1 2 3 4 5 6 7

美颜是当下直播对外展示的一个必备条件。手机端的美颜功能就像私人化妆师,帮助我们实现各种心仪的妆容效果。不过,当美颜技术应用于大型直播现场,尤其是那种大型娱乐节目中,面对众多晃动的人头,该如何准确的做到实时处理呢?
大型节目一般都是提前进行录制,然后进行后期制作,在视频质量和美颜方面,也会进行诸多处理。但对于实时直播的节目和晚会,没有后期制作的存在。和单纯的手机直播相比,大型娱乐现场的场景非常复杂,灯光、背景、机位、在场人数等多种变动因素对基于人脸检测和跟踪的美颜sdk提出了巨大挑战。
一个比较典型的美颜流程是这样的:模型检测跟踪人脸 — 获取人脸的信息 —根据信息对人脸进行精准美颜。而在大型娱乐现场,多人随意运动、机位拉近拉远,很容易导致上述流程失灵,并造成一些非常明显的负面效果。那么,有没有专门处理这种情况的方案呢?
在这里插入图片描述

一、改进传统美颜算法
美颜算法核心都是以人为本。在手机端常见的美颜sdk,需要检测人脸、跟踪人脸、获取人脸关键点以及进行各种变形处理。人脸的检测和跟踪,基本以深度学习为主,变形处理还是以传统算法为主。换妆和换脸也是运行在人脸检测和跟踪的基础上,以深度学习实现换妆和换脸。
因此,可以将大型现场看成是一个典型的只有一个“主播”的系统,所有的观众观看的都是同一个视频源。不过由于现场人比较多,跟踪人脸较为困难,因此在处理前期,可以对画面进行一些最基础的美化,例如祛痘、磨皮、去汗、美白等。
接着就是择优,因为美化的度非常难以把握。拿美白举例,对于近景,人脸比较大,轻微的美白不足以给观众一个阶越的观感改变,调大度之后对于整体的色调都会有一定的影响,负面效果逐渐展现。所以一般的做法是,多轮调优,选择一个负面效果可接受的美颜算法。
整体来说,调整后的传统算法,有一定程度的美化作用,但是因为度很轻,有一定比例看不出美颜效果。
在这里插入图片描述

二、基于深度学习的美颜算法
传统算法基础上,加入深度学习模型来学习上述美颜效果。经过反复的迭代和实验验证,深度学习算法是可以大幅超过美颜算法表现的。具体体现在,通过训练后,深度学习模型能够明显区分美化区域和背景区域,美化区域效果对比显著,背景区域基本无改变。
以上,就是针对于大型现场实时美颜的两种处理方向,我们相信各种美颜形式都会跟随通信、介质、媒体形式等的发展而延伸出更多的道路。