菜单

功能和能力

相关源文件

本文档全面概述了 Deep-Live-Cam 的核心功能和能力,这是一个实时人脸交换和视频深度伪造系统。有关安装说明,请参阅 安装指南,有关详细使用说明,请参阅 用户指南

核心功能概览

Deep-Live-Cam 旨在以最少的设置要求提供高质量的实时人脸交换。该系统允许用户仅使用一张源图像即可执行人脸交换,使其易于访问和使用。

来源: README.md47-56 README.md57-63 README.md64-71 README.md72-79

人脸交换能力

Deep-Live-Cam 的核心功能建立在其先进的人脸交换技术之上,该技术允许无缝地替换图像、视频和实时摄像头源中的人脸。

实时处理

该系统支持三种主要处理模式:

  1. 图像模式:一键交换静态图像中的人脸
  2. 视频模式:处理整个视频以创建深度伪造,并可选择保留原始音频
  3. 网络摄像头模式:实时将人脸交换应用于直播摄像头源

来源: modules/processors/frame/face_swapper.py100-119 modules/processors/frame/face_swapper.py213-238 README.md278-294

嘴部遮罩技术

Deep-Live-Cam 的一项突出功能是嘴部遮罩功能,它允许用户在交换脸部其他部分时保留原始嘴部运动。这可以产生更逼真的效果,尤其适用于说话或面部表情很重要的视频。

来源: modules/processors/frame/face_swapper.py70-98 modules/processors/frame/face_swapper.py267-463

人脸映射

Deep-Live-Cam 支持高级人脸映射功能,允许用户将特定源人脸映射到特定目标人脸。这对于包含多个对象的视频特别有用,可以同时交换不同的人脸。

映射过程包括:

  1. 源媒体和目标媒体中的人脸检测
  2. 人脸嵌入提取与分析
  3. 基于用户选择将源人脸映射到目标人脸
  4. 基于已建立的映射进行交换处理

来源: modules/face_analyser.py41-62 modules/cluster_analysis.py7-32 modules/processors/frame/face_swapper.py123-210

技术能力

人脸检测与分析

Deep-Live-Cam 使用 InsightFace 进行人脸检测和分析,该技术提供:

  • 高精度人脸检测
  • 人脸特征点提取,用于精确的定位
  • 人脸嵌入生成,用于身份识别
  • 支持单帧中的多个人脸

来源: modules/face_analyser.py18-39 modules/processors/frame/face_swapper.py58-67

处理模式

多人模式

启用此模式后,它会处理目标媒体中检测到的每个人脸,将同一源人脸应用于所有检测到的人脸。对于想要替换所有面孔的情况很有用。

面部映射模式

这种先进的模式允许根据身份将不同源人脸映射到不同目标人脸。它使用聚类分析来识别视频中的唯一个体,并允许为每个人进行特定的人脸交换。

模式描述用例
单人仅交换第一个检测到的人脸简单的点对点交换
多人脸将所有检测到的人脸与同一源进行交换合影、人群场景
人脸映射将特定源人脸映射到特定目标人脸包含多个角色的视频

来源: modules/processors/frame/face_swapper.py100-119 modules/processors/frame/face_swapper.py123-210

颜色校正与增强

Deep-Live-Cam 包含颜色校正功能,以确保交换后的人脸与目标图像自然融合。

  • 从目标人脸到源人脸的自动颜色迁移
  • LAB 颜色空间处理,以获得最佳效果
  • 在人脸边界处平滑过渡

为了实现人脸增强,该系统利用 GFPGAN 来提高交换后人脸的质量,这对于低分辨率的源特别有用。

来源: modules/processors/frame/face_swapper.py603-622 README.md127

用例

Deep-Live-Cam 支持娱乐和内容创作领域的多种应用:

娱乐

  • 你的电影,你的脸:实时观看电影,替换任何一张脸
  • 现场表演:进行带有实时人脸交换的现场表演
  • 互动体验:通过实时人脸交换创建互动体验

内容创作

  • 表情包制作:通过在流行模板中替换人脸来制作病毒式表情包
  • 社交媒体内容:为 TikTok、Instagram 等平台制作引人入胜的内容
  • 虚拟形象:在视频通话或流媒体平台上进行虚拟形象展示

实时互动

  • 视频通话:在视频通话中更改你的外貌
  • 直播:在直播过程中应用人脸交换
  • Omegle 互动:在 Omegle 等平台上通过人脸交换给人惊喜

来源: README.md66-98

集成能力

Deep-Live-Cam 可与以下工具配合使用:

  • 屏幕捕获工具:与 OBS 集成用于流媒体和录制
  • 视频会议应用:可与大多数视频会议应用程序配合使用
  • 视频播放器:可实时处理视频播放

来源: README.md278-294 README.md95-97

配置选项

Deep-Live-Cam 提供了各种配置选项来定制人脸交换过程:

功能描述默认
嘴部遮罩保留原始嘴部运动可选
面部增强提升人脸质量可选
保持帧率保持原始视频帧率可选
保留音频保留原始音频可选
多人脸处理帧中的所有人脸可选
映射人脸将特定源人脸映射到目标可选
视频编码器选择输出视频编码器libx264
视频质量调整输出质量(0-51)可调

来源: README.md310-331

硬件加速

Deep-Live-Cam 支持多种执行提供程序,以在不同硬件上实现优化性能:

  • CUDA(NVIDIA GPU)
  • DirectML(Windows/AMD GPU)
  • CoreML(Apple 芯片)
  • OpenVINO(Intel CPU)
  • CPU(所有系统的备用方案)

执行提供程序会显著影响性能,GPU 加速可提供最佳的实时体验。

来源: README.md178-274