下载模型权重

相关源文件

• README.md
• checkpoints/README.md

目的与范围

本文档提供了下载和正确放置 Grok-1 模型权重的说明。这些权重对于运行模型进行推理是必需的。有关使用下载的权重运行推理的信息，请参阅 运行推理。

模型权重概述

Grok-1 是一个拥有 3140 亿参数的专家混合 (MoE) 模型。权重代表了模型所有学习到的参数，包括：

• 嵌入矩阵
• Transformer 层权重
• MoE 专家权重
• 输出投影层

由于模型规模较大（3140 亿参数），检查点文件非常庞大，需要足够的磁盘空间来存储。

来源：README.md21-36

下载方法

Grok-1 模型权重有两种官方支持的下载方法。

方法一：Torrent 下载

您可以使用任何 BitTorrent 客户端下载权重，使用提供的磁力链接：

magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce

要求

• 系统上安装的 BitTorrent 客户端
• 检查点文件所需的足够磁盘空间

方法二：Hugging Face Hub 下载

或者，您可以直接从 Hugging Face Hub 下载权重：

要求

• 系统上安装的 Git
• 带有 pip 包管理器的 Python
• Hugging Face Hub 账户（如果需要，用于身份验证）
• 检查点文件所需的足够磁盘空间

来源：README.md37-50

检查点放置

下载后，必须将检查点文件放置在特定位置，以便示例代码能够正确加载它们。

放置说明

1. 确保 Grok-1 仓库的根目录下有 checkpoints 目录。
2. 将下载的 ckpt-0 目录放在 checkpoints 目录内。
3. 验证 checkpoints/ckpt-0/ 路径包含所有检查点文件。

来源：README.md5 checkpoints/README.md1-3

下载和加载流程

下图说明了从下载权重到加载权重进行推理的完整过程：

来源：README.md9-16

验证

要验证您是否已正确下载并放置了模型权重，您可以运行示例脚本：

如果权重放置正确，脚本将：

1. 加载检查点
2. 初始化模型
3. 在测试输入上从模型进行采样

如果在加载过程中遇到错误，请检查：

• checkpoints/ckpt-0/ 目录中是否包含所有检查点文件。
• 您是否有足够的 GPU 内存来加载模型（3140 亿参数）。

来源：README.md7-14

模型权重的系统集成

下图显示了下载的权重如何与 Grok-1 系统组件集成：

来源：README.md15-19

硬件要求

由于模型规模庞大（3140 亿参数），运行 Grok-1 需要：

• 具有大量 GPU 内存的机器。
• 足够的磁盘空间用于存储检查点文件。

确切的硬件要求将取决于您的具体使用模式，但总的来说，运行完整模型需要高端 GPU 硬件。

来源：README.md18-19