在 Devin 中试用 DeepWiki 处理私有仓库
DeepWiki

donnemartin/system-design-primer

菜单

网络爬虫

相关源文件

本文档描述了一个网络爬虫系统的设计和实现，该系统可以抓取数十亿个网页，索引其内容，并提供快速的搜索功能。该系统专注于构建一个可扩展的爬虫，以避免常见的陷阱，例如无限循环，同时保持高吞吐量和可用性。

有关搜索排名算法和个性化搜索的信息，请参阅其他相关的 Wiki 部分。

1. 系统目的和范围

网络爬虫系统承担两项主要功能：

  1. 网络爬取：系统地浏览网络以发现和处理网页
  2. 搜索功能：使用户能够搜索抓取的内容

在范围内

  • 抓取 URL 列表
  • 生成词到页面的反向索引
  • 为页面创建静态标题和摘要
  • 处理重复项检测
  • 根据新鲜度要求安排重新抓取
  • 提供搜索结果

超出范围

  • 搜索分析
  • 个性化搜索结果
  • 页面排名算法
  • 用户认证

来源：solutions/system_design/web_crawler/README.md25-29

2. 系统概述

网络爬虫系统包含两个主要流程：

  1. 抓取流程：发现和处理网页
  2. 搜索流程：处理用户搜索查询

来源：solutions/system_design/web_crawler/README.md69-72 solutions/system_design/web_crawler/README.md214-226

3. 核心组件

3.1 爬虫服务

爬虫服务管理网页的抓取。

  1. 从队列中取出最高优先级的未抓取 URL
  2. 检查是否已抓取过类似的页面（以防止循环）
  3. 下载并处理页面内容
  4. 安排索引和文档处理任务
  5. 识别并安排新链接以供抓取
  6. 更新数据库的抓取状态

来源：solutions/system_design/web_crawler/README.md86-97 solutions/system_design/web_crawler/README.md138-177

3.2 NoSQL 数据库

该系统使用 NoSQL 数据库来存储

  1. 待抓取链接：待抓取的 URL 的优先级列表
  2. 已抓取链接：已处理 URL 及其签名的记录

对于抓取队列中的已排序链接，使用带有有序集合的 Redis 实例来维护优先级排名。

来源：solutions/system_design/web_crawler/README.md84

3.3 反向索引服务

反向索引服务

  1. 接收来自爬虫的页面
  2. 处理页面内容以提取单词
  3. 创建并维护一个将单词映射到页面的倒排索引
  4. 在搜索过程中，识别匹配查询的文档
  5. 根据相关性对匹配结果进行排名

来源：solutions/system_design/web_crawler/README.md93 solutions/system_design/web_crawler/README.md224-225

3.4 文档服务

文档服务

  1. 接收来自爬虫的页面
  2. 处理 HTML 以提取静态标题
  3. 生成表示页面内容的静态摘要
  4. 存储这些信息以供搜索结果显示
  5. 在搜索过程中，将标题和摘要提供给查询 API

来源：solutions/system_design/web_crawler/README.md94 solutions/system_design/web_crawler/README.md226

3.5 查询 API 服务

查询 API 服务处理用户搜索请求。

  1. 处理原始用户查询
    • 移除标记
    • 将文本分解为术语
    • 修复拼写错误
    • 标准化大小写
    • 转换为布尔运算
  2. 使用反向索引服务查找匹配的文档
  3. 使用文档服务检索标题和摘要
  4. 将格式化的搜索结果返回给用户

来源：solutions/system_design/web_crawler/README.md216-226

4. 详细设计

4.1 爬虫实现

核心爬虫逻辑通过三个主要抽象来实现：

  1. PagesDataStore：用于页面管理的 NoSQL 数据库接口
  2. Page：封装了网页、其内容和元数据
  3. Crawler：协调抓取过程的主控制器

关键的爬虫方法包括：

  • create_signature(page)：为页面内容生成唯一签名
  • crawl_page(page)：处理单个页面及其子 URL
  • crawl()：不断从队列中处理页面的主循环

来源：solutions/system_design/web_crawler/README.md104-177

4.2 处理重复内容

处理重复内容对于防止爬虫陷入无限循环至关重要。

URL 去重

对于 URL 级别的去重，系统会

  1. 规范化 URL（处理末尾斜杠等变体）
  2. 将 URL 与之前见过的 URL 进行比较
  3. 对于大规模去重，使用 MapReduce 来识别唯一的 URL

内容去重

对于内容级别的去重，系统会

  1. 为页面内容生成签名
  2. 比较签名以检测相似页面
  3. 使用 Jaccard 指数或余弦相似度等算法来检测近乎重复的内容

来源：solutions/system_design/web_crawler/README.md180-202

4.3 爬取调度

页面需要定期更新以确保内容新鲜度。

系统通过以下方式管理爬取调度：

  1. 基于时间的刷新：在设定的时间段后进行默认刷新（例如，一周）
  2. 基于流行度的刷新：对热门网站进行更频繁的抓取
  3. 自适应调度：分析页面更新模式以优化抓取频率
  4. robots.txt 合规性：遵守网站管理员指定的抓取速率

每个抓取的页面都包含一个时间戳，用于跟踪其上次处理时间。

来源：solutions/system_design/web_crawler/README.md204-210

4.4 搜索 API

该系统公开了一个用于搜索查询的 RESTful API。

GET /api/v1/search?query=hello+world

响应格式

对于内部服务通信，系统使用远程过程调用 (RPC)。

来源：solutions/system_design/web_crawler/README.md227-253

5. 扩展性考量

5.1 系统规模要求

系统需要处理：

  • 10 亿个待抓取链接
  • 每月抓取 40 亿个链接
  • 每月 1000 亿次搜索（约每秒 40,000 次搜索）
  • 每月新增存储内容 2 PB

来源：solutions/system_design/web_crawler/README.md41-59

5.2 扩展性架构

关键的扩展策略：

  1. 负载均衡：将流量分配到多台服务器
  2. 水平扩展：为每个服务添加更多机器
  3. 内存缓存：从内存中提供热门查询
  4. 数据库分片：将数据分区到多个数据库实例
  5. 内容分发网络：从边缘位置提供静态内容

来源：solutions/system_design/web_crawler/README.md256-279

5.3 爬虫性能优化

爬虫的特定优化包括：

  1. 连接池：维护开放连接以提高吞吐量
  2. DNS 缓存：本地 DNS 查询以避免网络往返
  3. 协议优化：考虑使用 UDP 来提高性能
  4. 带宽管理：确保足够的网络容量

来源：solutions/system_design/web_crawler/README.md284-289

5.4 搜索性能优化

搜索功能的优化包括：

  1. 内存缓存：将热门搜索结果缓存在 Redis/Memcached 中
  2. 数据库分片：对反向索引进行分区以进行并行处理
  3. 联邦：按功能拆分数据库
  4. 查询优化：高效的查询处理算法

来源： solutions/system_design/web_crawler/README.md280-282 solutions/system_design/web_crawler/README.md285-286

6. 其他注意事项

6.1 一致性与可用性

系统在严格一致性与可用性之间优先考虑可用性，因为搜索结果中的暂时性不一致通常是可以接受的。

6.2 速率限制

爬虫实施速率限制以

  • 避免使目标网站不堪重负
  • 遵守 robots.txt 指令
  • 平均分配爬取负载

6.3 安全注意事项

关键安全注意事项包括

  • 防范恶意 URL
  • 对内容进行清理以防止 XSS 攻击
  • 在搜索查询中验证用户输入

来源： solutions/system_design/web_crawler/README.md343-344

6.4 监控与维护

系统需要持续进行

  • 性能监控
  • 错误跟踪
  • 资源使用情况分析
  • 瓶颈识别与解决

来源： solutions/system_design/web_crawler/README.md351-353