本文档提供了 LLM 课程仓库中可用工具的详细信息。这些工具旨在简化 LLM 工作流中的常见任务，包括评估、模型合并、微调、量化、可视化和部署。它们主要以 Google Colab notebook 的形式实现，易于使用，无需本地 GPU 资源。
有关更广泛的 notebook 和代码示例集合的信息，请参阅 Notebook 和代码示例。有关其他学习资源的详细信息，请参阅 其他学习资源。
LLM 课程提供了六种主要实用工具，旨在满足 LLM 开发工作流中的特定需求
| 工具 | 目的 | 格式 |
|---|---|---|
| 🧐 LLM AutoEval | 使用 RunPod 自动评估 LLM | Colab Notebook |
| 🥱 LazyMergekit | 一键轻松使用 MergeKit 合并模型 | Colab Notebook |
| 🦎 LazyAxolotl | 一键使用 Axolotl 在云端微调模型 | Colab Notebook |
| ⚡ AutoQuant | 一键将 LLM 量化为 GGUF、GPTQ、EXL2、AWQ 和 HQQ 格式 | Colab Notebook |
| 🌳 Model Family Tree | 可视化合并模型的家族树 | Colab Notebook |
| 🚀 ZeroSpace | 使用免费的 ZeroGPU 自动创建 Gradio 聊天界面 | Colab Notebook |
来源: README.md28-36
来源: README.md28-36
LLM AutoEval 使用 RunPod 的 GPU 基础设施自动化大型语言模型的评估。它标准化了跨多个评估指标的基准测试流程，从而可以对模型进行一致的比较。
来源: README.md31
LazyMergekit 提供了一个一键式界面，使用 MergeKit 库合并语言模型。该工具简化了组合多个模型以创建具有潜在增强功能的新模型的过程。
来源: README.md32 README.md62-63
LazyAxolotl 使用 Axolotl 框架简化了语言模型的微调。它抽象了在云环境中设置训练基础设施的复杂性。
来源: README.md33 README.md42-47
AutoQuant 简化了 LLM 到各种高效格式的量化过程。它支持多种量化技术，以优化模型在资源受限硬件上的部署。
来源: README.md34 README.md52-56
Model Family Tree 提供可视化功能，用于跟踪合并语言的谱系和关系。该工具可帮助用户理解模型通过合并操作实现的能力演变。
来源: README.md35
ZeroSpace 使用 ZeroGPU 的免费计算资源自动创建用于语言模型的 Gradio 聊天界面。它为交互式 LLM 应用提供了零成本的部署解决方案。
来源: README.md36
下图说明了这些工具如何集成到全面的 LLM 开发工作流中
来源: README.md28-36 README.md42-47 README.md52-56 README.md62-63
此图显示了这些工具如何与课程中描述的 LLM 工程师和 LLM 科学家角色保持一致
来源: README.md12-16 README.md28-36
本课程仓库提供的 LLM 工具为处理大型语言模型提供了一套全面的实用程序。通过利用这些 Colab notebook，用户可以在不需要大量本地基础设施的情况下执行模型合并、微调、量化、评估和部署等复杂操作。
这些工具显著降低了高级 LLM 操作的入门门槛，并实现了更高效的实验和开发工作流。它们对于希望简化工作流并专注于模型开发更高级方面而不是基础设施设置和管理的 LLM 科学家和工程师来说尤其有价值。