在 Devin 中试用 DeepWiki 处理私有仓库
DeepWiki

mlabonne/llm-course

菜单

LLM 基础知识

相关源文件

目的与范围

LLM 基础提供了理解和使用大型语言模型所需的必要背景知识。这个可选部分涵盖了 LLM 的基本构建模块，包括数学、Python 编程、神经网络和自然语言处理概念。这些基础知识并非所有用户的起点，而是作为参考材料，支持 LLM 科学家 LLM 科学家 和 LLM 工程师 LLM 工程师。

来源： README.md12-16 README.md68-70

LLM 基础轨道概述

LLM 基础轨道建立的先备知识构成了更高级 LLM 主题的基础。本节旨在作为在学习科学家或工程师轨道时可按需查阅的参考材料。

来源： README.md68-76 README.md152-155

机器学习数学

数学是机器学习算法和大型语言模型的理论基础。该知识领域涵盖了驱动模型训练和推理的关键数学概念。

关键主题

  • 线性代数：向量、矩阵、行列式、特征值和特征向量、向量空间和线性变换
  • 微积分：导数、积分、极限、级数、多元微积分和梯度
  • 概率与统计：概率论、随机变量、概率分布、期望、方差、协方差、相关性、假设检验、置信区间、最大似然估计和贝叶斯推断

来源： README.md77-94

机器学习 Python

Python 是实现机器学习算法和 LLM 的主要编程语言，它提供了一个丰富的库和工具生态系统，专门为数据科学和人工智能开发而设计。

关键主题

  • Python 基础：语法、数据类型、错误处理和面向对象编程
  • 数据科学库：NumPy 用于数值运算，Pandas 用于数据操作和分析，Matplotlib 和 Seaborn 用于数据可视化
  • 数据预处理：特征缩放和归一化、处理缺失数据、异常值检测、分类数据编码和数据集分割
  • 机器学习库：Scikit-learn 用于传统 ML 算法，PyTorch 和 TensorFlow 用于深度学习实现
库在 LLM 开发中的主要用途
NumPy矩阵运算和数值计算
Pandas数据准备和操作
PyTorch神经网络实现和训练
Scikit-learn数据预处理和评估指标
Matplotlib/Seaborn可视化模型性能和数据

来源： README.md97-113

神经网络

神经网络是现代 LLM 的计算骨干，提供了学习数据复杂模式所需的架构。本节涵盖了理解神经网络功能及其实现方式所需的关键概念。

关键主题

  • 基础知识：神经网络结构、层、权重、偏置和激活函数（Sigmoid、tanh、ReLU）
  • 训练与优化：反向传播、损失函数（MSE、交叉熵）和优化算法（梯度下降、SGD、RMSprop、Adam）
  • 正则化技术：Dropout、L1/L2 正则化、早停和数据增强
  • 实现：使用 PyTorch 构建多层感知机 (MLP)

来源： README.md116-131

自然语言处理

自然语言处理 (NLP) 弥合了人类语言与机器理解之间的差距。本节涵盖了核心 NLP 概念，这些概念构成了 LLM 处理和生成文本的基础。

关键主题

  • 文本预处理：分词、词干提取、词形还原和停用词去除
  • 特征提取：词袋模型 (BoW)、词频-逆文档频率 (TF-IDF) 和 n-gram
  • 词嵌入：Word2Vec、GloVe 和 FastText
  • 循环神经网络：RNN、LSTM 和 GRU 用于序列数据

来源： README.md134-151

学习路径进展

LLM 基础部分为深入探索 LLM 科学和工程奠定了先备知识。推荐的学习路径如下所示，展示了这些基本概念如何构建到 LLM 开发生命周期中更高级的主题。

掌握基础知识后，学习者可以专攻

  1. LLM 科学家轨道：专注于通过架构设计、预训练、微调和偏好对齐来构建和改进 LLM
  2. LLM 工程师轨道：专注于通过检索系统、部署策略和安全考虑的实际应用

来源： README.md152-155 README.md68-151

学习资源

该存储库为每个基础领域提供了精选的学习资源，融合了视频教程、交互式课程和参考材料。

领域关键资源
数学3Blue1Brown 视频、可汗学院课程、Immersive Linear Algebra
PythonReal Python 教程、freeCodeCamp 视频、Python Data Science Handbook
神经网络3Blue1Brown 讲解、Fast.ai 课程、PyTorch 教程
NLPLena Voita 的课程、spaCy 教程、Kaggle 指南、Word2Vec 插图

有关具体的实现示例和实践学习，请参阅课程的 工具与资源 部分。

来源： README.md85-94 README.md107-113 README.md126-131 README.md144-151