表示评分器

在推荐系统中的目的和作用

RSX 在原始嵌入和可操作的相似度分数之间充当中间层。它从用户信号服务 (USS) 获取用户行为数据，从表示管理器 (RMS) 提取嵌入，并计算成对和列表式特征，为包括 CR-Mixer 和 Home-Mixer 在内的各种推荐服务提供支持。

来源：representation-scorer/README.md README.md22

系统架构

表示评分器作为一个服务运行，处理嵌入数据并计算实体之间的相似度分数。它与其他服务集成以获取输入（用户行为数据和嵌入），并向推荐服务提供输出（相似度分数和特征）。

来源：representation-scorer/README.md

关键组件

行为数据整合: 从 USS 收集用户行为数据，以了解用户兴趣和活动
嵌入数据整合: 从 RMS 检索用于比较的实体的相关嵌入
特征计算: 处理嵌入以使用各种方法计算相似度分数
评分方法: 用于计算嵌入之间相似度的不同算法
输出特征: 提供给消费者的最终分数和特征

基于嵌入的评分

RSX 专注于使用各种嵌入类型计算实体之间的相似度。该系统根据用例支持不同的评分方法。

使用的嵌入类型

SimClusters: 基于社区的稀疏嵌入，用于捕获用户兴趣
TwHIN: 用于用户和推文的密集知识图谱嵌入
其他嵌入类型: 该系统设计为可扩展以支持各种嵌入模型

评分方法

RSX 提供两种主要的评分类型

成对评分: 计算两个实体之间的相似度（例如，用户到推文、用户到用户、推文到推文）
- 余弦相似度
- 点积
- 加权组合
列表式评分: 评估一个实体与一系列其他实体之间的关系（例如，用户与一系列推文）
- 相关性评分
- 多样性覆盖分析
- 聚合相似度指标

与推荐流程的集成

表示评分器是一个关键组件，它提供在整个推荐系统中使用的相似度特征。它与多个关键系统集成，并为推荐过程的多个阶段提供支持。

来源：representation-scorer/README.md README.md14-22

关键集成点

上游系统:
- 用户信号服务 (USS): 提供用户行为数据，包括显式信号（点赞、转发）和隐式信号（停留时间、点击率）
- 表示管理器 (RMS): 提供实体嵌入，包括 SimClusters 和 TwHIN 嵌入
下游系统:
- CR-Mixer: 使用相似度分数查找相关的非网络推文推荐
- Home-Mixer: 将相似度特征纳入时间线内容的排名中
- 推送服务: 利用用户与内容相似度进行通知定向

用例

表示评分器支持 Twitter 推荐系统中的多种用例

候选检索

根据嵌入相似度查找与用户兴趣相似的推文
识别兴趣相似的用户以进行关注推荐
发现与用户已互动话题相关的内容

排序

向轻量级排名器和重量级排名器提供相似度特征
根据用户兴趣对候选推文进行评分以提高相关性
计算多样性指标以确保推荐内容的多样性

其他应用

通过内容-用户相似度支持个性化推送通知
通过基于嵌入的相关性驱动话题推荐
支持“更多此类”类型的推荐功能

性能考量

作为驱动实时推荐的服务，表示评分器在设计时考虑了性能

高效的相似度评分计算方法
用于频繁访问嵌入的缓存策略
处理各种嵌入大小和格式的优化
用于同时计算多个分数的批量处理能力