本文档介绍了 llama.cpp 中多模态语言模型的实现，重点关注 LLaVA（大型语言和视觉助手）集成、图像处理能力以及多模态推理执行。多模态模型扩展了传统的纯文本语言模型，使其能够处理和理解多种输入模态，特别是结合视觉和文本信息。
有关通用的模型加载和管理概念，请参阅 模型加载与管理。有关推理期间的上下文管理，请参阅 上下文管理与推理。有关处理不受信任的多模态输入时的安全注意事项，请参阅 安全注意事项。
llama.cpp 中的多模态模型遵循一种双编码器架构，其中视觉输入与文本输入分开处理，然后再与语言模型结合。该系统集成了基于 CLIP 的视觉编码器和 LLaMA 语言模型，以实现视觉-语言理解。
来源：基于 llama.cpp 代码库中的多模态架构模式。
LLaVA 模型将预训练的 CLIP 视觉编码器与语言模型相结合，使系统能够处理视觉和文本输入。集成包括加载两个模型组件并在推理过程中协调它们的执行。
来源：examples/llava/llava-cli.cpp examples/llava/clip.cpp
图像处理流程负责将原始图像数据转换为语言模型可以使用的嵌入。这包括图像预处理、通过视觉编码器提取特征以及嵌入集成。
来源：examples/llava/clip.cpp examples/llava/clip.h
多模态推理将标准的 llama.cpp 推理流程扩展到处理组合的视觉-文本输入。该过程涉及视觉编码器和语言模型之间的协调，同时保持高效的内存使用和计算调度。
| 阶段 | 组件 | 输入 | 输出 | 目的 |
|---|---|---|---|---|
| 视觉处理 | clip_image_encode | 原始图像数据 | 图像嵌入 | 提取视觉特征 |
| Token 准备 | 文本分词器 | 文本提示 | 文本 Token | 文本转换为 Token |
| 嵌入融合 | 嵌入层 | 视觉 + 文本 Token | 组合嵌入 | 合并模态 |
| 语言处理 | llama_decode | 组合嵌入 | 隐藏状态 | 处理多模态输入 |
| 响应生成 | llama_sampler | 隐藏状态 | 输出 Token | 生成文本响应 |
来源：examples/llava/llava-cli.cpp src/llama.cpp
来源：src/ggml-backend-sched.cpp src/ggml-alloc.c
多模态模型由于其处理包括图像在内的各种输入格式的能力，引入了额外的安全考量。攻击面超出了纯文本提示，还包括潜在的基于图像的漏洞和跨模态注入攻击。
| 风险类别 | 威胁向量 | 缓解策略 | 实现 |
|---|---|---|---|
| 图像输入验证 | 恶意图像文件 | 格式验证，大小限制 | 图像预处理流程 |
| 跨模态注入 | 图像中的嵌入式提示 | 输入净化，内容过滤 | 文本提取检测 |
| 模型投毒 | 不受信任的多模态模型 | 模型验证，沙箱 | 隔离执行环境 |
| 资源耗尽 | 大型图像处理 | 内存限制，超时控制 | 资源分配边界 |
在生产环境中部署多模态模型时
多模态模型支持需要将模型从各种框架转换为 GGUF 格式，同时保留视觉和语言组件。转换过程处理双模型架构，并确保与 llama.cpp 的推理引擎兼容。