课程结构

相关源文件

• README.md
• img/roadmap_engineer.png
• img/roadmap_fundamentals.png
• img/roadmap_scientist.png

本页面全面概述了 LLM 课程的组织结构，解释了主要章节、它们之间的关系以及推荐的学习路径。有关课程中具体学习资源的更多信息，请参阅 学习资源。

课程组织概述

LLM 课程分为三个主要部分，每个部分都有独特 的重点和目标受众

图示：高级课程结构

来源：README.md12-16 README.md68-151 README.md153-298 README.md299-396

课程结构旨在适应在大规模语言模型领域不同的兴趣和职业道路

1. LLM 基础知识（可选）：为初学者提供基础知识。
2. LLM 科学家：专注于使用前沿技术构建和改进 LLM。
3. LLM 工程师：专注于创建和部署基于 LLM 的应用程序。

学习进程

下图说明了课程学习路径的逻辑进程

图示：学习路径进程

来源：README.md12-16 README.md68-151 README.md153-298 README.md299-396

在获得基础知识后，学习者可以专注于科学家方向（构建和改进 LLM）或工程师方向（部署和使用 LLM），或根据其兴趣和目标探索这两个方向。

1. LLM 基础知识（可选）

本节介绍有关数学、Python 编程、神经网络和自然语言处理的基本背景知识。它为理解 LLM 科学家和 LLM 工程师部分中更高级的概念奠定了基础。

主题	描述	核心概念
机器学习数学	机器学习和 LLM 所必需的数学概念	线性代数、微积分、概率与统计
机器学习 Python	机器学习的 Python 编程概念和库	数据科学库、数据预处理、机器学习库
神经网络	神经网络基础	网络架构、训练、优化、过拟合
自然语言处理	NLP 概念和技术	文本预处理、特征提取、词嵌入、RNN

来源：README.md68-151

基础知识部分设计为按需查阅，而不是按顺序学习。有机器学习背景的学习者可以选择完全跳过本节，或根据需要参考特定主题。

2. LLM 科学家

本节重点介绍现代 LLM 的工作原理以及用于构建、训练和改进它们的各种技术。它涵盖了从架构到评估的 LLM 开发的完整生命周期。

图示：LLM 开发生命周期

来源：README.md153-298

LLM 科学家部分的关键主题

主题	描述	子主题
LLM 架构	理解 Transformer 架构及其组件	分词、注意力机制、采样技术
预训练模型	在海量数据集上训练 LLM 的过程	数据准备、分布式训练、优化、监控
训练后数据集	创建和增强用于微调的数据集	存储格式、合成数据生成、数据增强、质量过滤
监督微调	微调基础模型的技术	全量微调、LoRA、QLoRA、训练参数、分布式训练
偏好对齐	使 LLM 输出与人类偏好保持一致	拒绝采样、DPO、PPO、监控
评估	评估 LLM 性能的方法	自动化基准测试、人类评估、基于模型的评估
量化	优化模型以进行部署	GGUF、GPTQ、AWQ、SmoothQuant
新趋势	LLM 研究中的新兴技术	模型合并、多模态模型、可解释性

来源：README.md153-298

LLM 科学家部分适合

• 对改进 LLM 能力感兴趣的研究人员
• 专注于模型训练和微调的机器学习工程师
• 处理语言模型的数据科学家
• 任何对大型语言模型技术基础感兴趣的人

3. LLM 工程师

本节侧重于 LLM 在实际场景中的应用，重点关注部署、优化和构建 LLM 驱动的应用程序。

图示：RAG 架构（LLM 工程的关键组成部分）

来源：README.md299-396

LLM 工程师部分的关键主题

主题	描述	子主题
运行 LLM	在应用程序中使用 LLM 的方法	LLM API、开源模型、提示工程、结构化输出
构建向量存储	创建信息存储和检索系统	文档摄取、拆分、嵌入模型、向量数据库
检索增强生成	通过外部知识增强 LLM	编排器、检索器、内存、评估
高级 RAG	复杂的 RAG 实现	查询构建、代理、工具、后处理
推理优化	最大化吞吐量和降低成本的技术	Flash Attention、键值缓存、推测解码
部署 LLM	在不同规模部署 LLM 的策略	本地部署、演示部署、服务器部署、边缘部署
安全考量	管理 LLM 应用的安全风险	风险评估、缓解策略

来源：README.md299-396

LLM 工程师部分适合

• 构建 LLM 驱动的应用程序的软件工程师
• 将模型部署到生产环境的 MLOps 专家
• 将 LLM 集成到现有系统中的产品开发人员
• 任何对 LLM 的实际应用感兴趣的人

各部分之间的关系

课程设计允许根据学习者的背景和目标进行灵活导航

图示：推荐的学习路径

来源：README.md12-16 README.md68-151 README.md153-298 README.md299-396

结论

LLM 课程的三部分结构为所有对大型语言模型感兴趣的人提供了全面的教育路径。模块化设计允许学习者专注于与他们的兴趣和职业目标最相关的方面，无论是 LLM 的理论基础、技术实现还是实际应用。

课程材料从基础概念进展到前沿技术，能够满足初学者和该领域的经验丰富的从业人员。通过区分科学家和工程师的路径，课程承认了 LLM 生态系统中所需的独特但互补的技能组合，同时提供了这些领域之间的清晰联系。

来源：README.md12-16 README.md68-151 README.md153-298 README.md299-396