安装与设置

相关源文件

• README.md
• fern/docs/assets/ui.png
• fern/docs/pages/installation/installation.mdx
• fern/docs/pages/installation/troubleshooting.mdx
• poetry.lock
• pyproject.toml

本文档提供了 PrivateGPT 安装和配置的全面指南。它涵盖了从基本要求到使用所需组件运行完整功能系统的所有内容。有关安装后配置选项的信息，请参阅配置系统。

系统要求

在安装 PrivateGPT 之前，请确保您的系统满足以下要求

要求	规格
Python 版本	3.11（不支持更早或更新的版本）
操作系统	Linux、macOS（Intel/Apple Silicon）、Windows
磁盘空间	至少 10GB 用于模型和依赖项
内存	最低：8GB（基于云的 LLM），推荐：16GB+（本地 LLM）

对于硬件加速（可选）

• 支持 CUDA 的 NVIDIA GPU 以实现 GPU 加速
• 支持 ROCm 的 AMD GPU
• Apple Silicon 以实现 Metal 加速

来源：README.md10-45 pyproject.toml8 fern/docs/pages/installation/installation.mdx11-25

安装流程

PrivateGPT 的安装涉及几个关键步骤，从仓库设置到使用适当的组件运行系统。

来源：fern/docs/pages/installation/installation.mdx4-48 README.md77-80 fern/docs/pages/installation/installation.mdx11-25

安装步骤

1. 克隆仓库

2. 安装 Python 3.11

macOS/Linux

Windows

3. 安装 Poetry

安装Poetry进行依赖项管理，并将其更新到最新的测试版本

4. 组件选择和安装

PrivateGPT 具有高度模块化，允许您选择要安装的组件。使用 Poetry 的--extras标志来指定您所需的组件

来源：fern/docs/pages/installation/installation.mdx26-48 pyproject.toml18-85

组件选择

PrivateGPT 允许您混合搭配各种组件。下表概述了每个类别的可用选项

LLM 选项

选项	描述	附加标志	隐私级别
Ollama	使用 Ollama 服务的本地 LLM	llms-ollama	高
LlamaCPP	直接本地 LLM 集成	llms-llama-cpp	高
OpenAI	基于云的 OpenAI 模型	llms-openai	低
类似 OpenAI	与 OpenAI 兼容的第三方 API	llms-openai-like	可变
Azure OpenAI	微软 Azure 托管的模型	llms-azopenai	中等
Sagemaker	AWS Sagemaker 托管的模型	llms-sagemaker	中等
Gemini	Google Gemini 模型	llms-gemini	低

嵌入选项

选项	描述	附加标志	隐私级别
Ollama	通过 Ollama 进行本地嵌入	embeddings-ollama	高
HuggingFace	本地 HuggingFace 嵌入	embeddings-huggingface	高
OpenAI	基于云的 OpenAI 嵌入	embeddings-openai	低
Azure OpenAI	Azure 托管的 OpenAI 嵌入	embeddings-azopenai	中等
Sagemaker	AWS Sagemaker 托管的嵌入	embeddings-sagemaker	中等
Gemini	Google Gemini 嵌入	embeddings-gemini	低
Mistral	Mistral AI 嵌入	embeddings-mistral	中等

向量存储选项

选项	描述	附加标志
Qdrant	Qdrant 向量数据库	vector-stores-qdrant
Milvus	Milvus 向量数据库	vector-stores-milvus
Chroma	ChromaDB 向量数据库	vector-stores-chroma
Postgres	带有 pgvector 的 PostgreSQL	vector-stores-postgres
ClickHouse	ClickHouse 向量数据库	vector-stores-clickhouse

UI 选项

选项	描述	附加标志
Gradio	使用 Gradio 的 Web UI	ui

来源：pyproject.toml63-85 fern/docs/pages/installation/installation.mdx62-100

组件集成架构

下图展示了 PrivateGPT 中不同组件的集成和配置方式

来源：README.md80-107 pyproject.toml8-85

推荐的设置

根据您的需求，这里有几个推荐的配置

Ollama 本地设置（推荐新手使用）

Ollama 提供了一种简单的方式来在本地运行具有 GPU 加速的 LLM

1. 从https://ollama.ac.cn/安装 Ollama
2. 启动 Ollama 服务：ollama serve
3. 安装 PrivateGPT:

4. 运行 PrivateGPT:

系统将自动下载所需的模型（默认：LLM 为 llama3.1，嵌入为 nomic-embed-text），或者您可以手动拉取它们

LlamaCPP 本地设置

为了更直接地控制模型加载和参数

1. 安装 PrivateGPT:

2. 下载所需的模型:

3. 运行 PrivateGPT:

OpenAI 云设置

用于使用 OpenAI 的模型（注意：不属于私有，数据会离开您的环境）

1. 从https://platform.openai.com/获取 OpenAI API 密钥
2. 编辑 settings-openai.yaml 或设置 OPENAI_API_KEY 环境变量
3. 安装 PrivateGPT:

4. 运行 PrivateGPT:

Sagemaker 企业设置

用于 AWS Sagemaker 集成

1. 为您的 LLM 和嵌入模型设置 Sagemaker 端点
2. 正确配置 AWS 凭证
3. 使用您的端点信息编辑 settings-sagemaker.yaml
4. 安装 PrivateGPT:

5. 运行 PrivateGPT:

来源：fern/docs/pages/installation/installation.mdx107-236

部署选项

来源：README.md42-45 fern/docs/pages/installation/installation.mdx130-236

硬件加速设置

带 GPU 支持的 LlamaCPP

Windows CUDA 支持

macOS Metal 支持

Linux CUDA 支持

Linux AMD GPU 支持

来源：fern/docs/pages/installation/installation.mdx272-387

常见问题和故障排除

C++ 编译器问题

构建 LlamaCPP 时，您可能会遇到 C++ 编译器错误

Windows

安装 Visual Studio 2022 并选择 C++ 开发组件或 MinGW。

macOS

安装 Xcode 或使用brew install gcc。

嵌入维度不匹配

如果您遇到“嵌入维度不匹配”错误，请确保您的嵌入模型与配置中的向量维度匹配

对于使用 BGE 嵌入的旧设置，您需要

模型下载问题

对于受限的 HuggingFace 模型，请设置访问令牌

或使用环境变量

CUDA 内存不足

如果在 CUDA 运行时遇到内存不足的错误

来源：fern/docs/pages/installation/troubleshooting.mdx1-64 fern/docs/pages/installation/installation.mdx389-406

下一步

成功安装后

1. 通过http://:8001访问 UI（如果安装了 UI 组件）
2. 根据您的用例需要配置系统设置
3. 开始摄取文档并与系统进行交互

有关详细配置选项，请参阅配置系统文档，有关部署详细信息，请参阅部署选项文档。

来源：README.md39-41 fern/docs/pages/installation/installation.mdx49-56