马蜂窝推荐排序算法模型是如何实现快速迭代的

点击上方“马蜂窝技术”，关注订阅更多优质内容

Part.1

马蜂窝推荐系统架构

马蜂窝推荐系统主要由召回（Match）、排序（Rank）、重排序（Rerank）几个部分组成，整体架构图如下：

在召回阶段，系统会从海量的内容库筛选出符合用户偏好的候选集（百级、千级）；排序阶段在此基础上，基于特定的优化目标（如点击率）对候选集内容进行更加精准的计算和选择，为每一条内容进行精确打分，进而从候选集的成百上千条内容中选出用户最感兴趣的少量高质量内容。

本文我们将重点介绍马蜂窝推荐系统中的核心之一——排序算法平台，它的整体架构如何；为了给用户呈现更加精准的推荐结果，在支撑模型快速、高效迭代的过程中，排序算法平台发挥了哪些作用及经历的实践。

Part.2

排序算法平台的演进

2.1 整体架构

目前，马蜂窝排序算法线上模型排序平台主要由通用数据处理模块、可替换模型生产模块、监控与分析模块三部分组成，各模块结构及平台整体工作流程如下图所示：

2.1.1 模块功能

(1) 通用数据处理模块

核心功能是特征建设以及训练样本的构建，也是整个排序算法最为基础和关键的部分。数据源涉及点击曝光日志、用户画像、内容画像等等，底层的数据处理依赖 Spark 离线批处理和 Flink 实时流处理。

(2) 可替换模型生产模块

主要负责训练集的构建、模型的训练以及生成线上配置，实现模型的无缝同步上线。

(3) 监控与分析模块

主要包括上游依赖数据的监控、推荐池的监控，特征的监控与分析，模型的可视化分析等功能。

各个模块的功能以及他们之间的交互使用 JSON 配置文件进行集成，使模型的训练和上线仅仅需要修改配置就能完成，极大提升了开发效率，为排序算法的快速迭代打下了坚实的基础。

2.1.2 主要配置文件类型

配置文件主要分为 TrainConfig、MergeConfig、OnlineConfig、CtrConfig 四类，其作用分别为：

（1）TrainConfig

指训练配置，主要包括训练集配置和模型配置：

• 训练集配置包括指定使用哪些特征进行训练；指定使用哪些时间段内的训练数据；指定场景、页面、和频道等

• 模型配置包括模型参数、训练集路径、测试集路径、模型保存路径等

（2）MergeConfig

指特征配置，包括上下文特征、用户特征、物品特征、交叉特征的选择。