本文档全面概述了 Deep-Live-Cam 的核心功能和能力,这是一个实时人脸交换和视频深度伪造系统。有关安装说明,请参阅 安装指南,有关详细使用说明,请参阅 用户指南。
Deep-Live-Cam 旨在以最少的设置要求提供高质量的实时人脸交换。该系统允许用户仅使用一张源图像即可执行人脸交换,使其易于访问和使用。
来源: README.md47-56 README.md57-63 README.md64-71 README.md72-79
Deep-Live-Cam 的核心功能建立在其先进的人脸交换技术之上,该技术允许无缝地替换图像、视频和实时摄像头源中的人脸。
该系统支持三种主要处理模式:
来源: modules/processors/frame/face_swapper.py100-119 modules/processors/frame/face_swapper.py213-238 README.md278-294
Deep-Live-Cam 的一项突出功能是嘴部遮罩功能,它允许用户在交换脸部其他部分时保留原始嘴部运动。这可以产生更逼真的效果,尤其适用于说话或面部表情很重要的视频。
来源: modules/processors/frame/face_swapper.py70-98 modules/processors/frame/face_swapper.py267-463
Deep-Live-Cam 支持高级人脸映射功能,允许用户将特定源人脸映射到特定目标人脸。这对于包含多个对象的视频特别有用,可以同时交换不同的人脸。
映射过程包括:
来源: modules/face_analyser.py41-62 modules/cluster_analysis.py7-32 modules/processors/frame/face_swapper.py123-210
Deep-Live-Cam 使用 InsightFace 进行人脸检测和分析,该技术提供:
来源: modules/face_analyser.py18-39 modules/processors/frame/face_swapper.py58-67
启用此模式后,它会处理目标媒体中检测到的每个人脸,将同一源人脸应用于所有检测到的人脸。对于想要替换所有面孔的情况很有用。
这种先进的模式允许根据身份将不同源人脸映射到不同目标人脸。它使用聚类分析来识别视频中的唯一个体,并允许为每个人进行特定的人脸交换。
| 模式 | 描述 | 用例 |
|---|---|---|
| 单人 | 仅交换第一个检测到的人脸 | 简单的点对点交换 |
| 多人脸 | 将所有检测到的人脸与同一源进行交换 | 合影、人群场景 |
| 人脸映射 | 将特定源人脸映射到特定目标人脸 | 包含多个角色的视频 |
来源: modules/processors/frame/face_swapper.py100-119 modules/processors/frame/face_swapper.py123-210
Deep-Live-Cam 包含颜色校正功能,以确保交换后的人脸与目标图像自然融合。
为了实现人脸增强,该系统利用 GFPGAN 来提高交换后人脸的质量,这对于低分辨率的源特别有用。
来源: modules/processors/frame/face_swapper.py603-622 README.md127
Deep-Live-Cam 支持娱乐和内容创作领域的多种应用:
来源: README.md66-98
Deep-Live-Cam 可与以下工具配合使用:
来源: README.md278-294 README.md95-97
Deep-Live-Cam 提供了各种配置选项来定制人脸交换过程:
| 功能 | 描述 | 默认 |
|---|---|---|
| 嘴部遮罩 | 保留原始嘴部运动 | 可选 |
| 面部增强 | 提升人脸质量 | 可选 |
| 保持帧率 | 保持原始视频帧率 | 可选 |
| 保留音频 | 保留原始音频 | 可选 |
| 多人脸 | 处理帧中的所有人脸 | 可选 |
| 映射人脸 | 将特定源人脸映射到目标 | 可选 |
| 视频编码器 | 选择输出视频编码器 | libx264 |
| 视频质量 | 调整输出质量(0-51) | 可调 |
来源: README.md310-331
Deep-Live-Cam 支持多种执行提供程序,以在不同硬件上实现优化性能:
执行提供程序会显著影响性能,GPU 加速可提供最佳的实时体验。
来源: README.md178-274