Skip to content

Latest commit

 

History

History
153 lines (62 loc) · 2.91 KB

全民k歌-召回及推荐系统后台设计.md

File metadata and controls

153 lines (62 loc) · 2.91 KB

全民k歌推荐后台架构

大纲:

image-20210201161835703

K歌推荐后台架构

image-20210201161928644

召回

召回过程演进:

image-20210201162208383

v1: 基于redis的kv倒排索引

image-20210201162848549

v2:双mongo+本地KV索引

image-20210201163121400

v3: 双mongo + 本地双buff全缓存

image-20210201163445458

排序

特征平台

image-20210201164822259

特征格式选择(收益极大)

主要改进:

  • 去掉map

  • 去掉string

image-20210201165444091

特征聚合 与 预测框架

image-20210201165352680

推荐去重

image-20210201170724217

改进布隆过滤器:

image-20210201170959879

image-20210201171433342

debug

日志回溯可视化帮助定位推荐流程

image-20210201171659735

image-20210201171812160

全民k歌内容挖掘与召回

内容挖掘:

image-20210201181040819

召回

召回模型总览:

image-20210201181719697

主要有 画像属性召回, 模型召回, 其他召回(热点, 地理)

四个迭代流程:

  • 共线性 -- cf

  • 属性向量化

    image-20210201182139951

  • 深度表征(模型化召回)

  • 因果纠偏

模型化召回

image-20210201182310684

注意其中的问题 召回的几大问题:

  • 负样本选择
  • 无法引入交叉特征
  • 需要debias

负样本选择

image-20210201182828260

增强单塔的表达能力

增加了序列attentionimage-20210201183043358

最终模型

image-20210201183149374

召回模型bias

image-20210201183435146

image-20210201183455399

image-20210201183647602