当前播放: 直播加餐|生成式AI重塑推荐系统:是终极进化,还是美丽泡沫?
1.0x
- 3.0x
- 2.5x
- 2.0x
- 1.5x
- 1.25x
- 1.0x
- 0.75x
- 0.5x
付费课程,可试看

课程介绍|推荐系统已死?生成式推荐技术革命已来临!
01|“传统”推荐系统的局限:我的模型为什么优化不动了?
04|越大越牛?Transformer和它的scaling law
直播加餐|生成式AI重塑推荐系统:是终极进化,还是美丽泡沫?
本节摘要
生成式 AI 在推荐系统中的应用潜力及其对未来技术发展的影响是本次讨论的核心。演讲者探讨了生成式 AI 如何重塑推荐系统,指出传统推荐系统已接近天花板,而生成式推荐系统可能带来新的突破。演讲者介绍了自己在该领域的经验,特别是 One Piece 模型,这是一种在有限算力下有效分配算力的生成式搜索模型,通过上下文工程和隐式对技术提高了推理效率。
演讲者还分享了在向量检索领域的研究经历与成果,提出了一种高效的向量检索算法 NSG,并开发了基于最大内积检索的图算法 MAG,进一步提高了性能。针对多模态和 RAG 系统场景下 HSW 表现不佳的问题,他们提出了新的评估体系和 benchmark(如 iceberg),并发表了相关论文。
生成式推荐与判别式模型的区别在于,生成式推荐直接生成 item,而不是通过评分或向量召回等间接方式。大语言模型在预训练时,通过逐个 token 计算损失来建模整句话的联合概率分布,本质上是生成式的。SaaS rec 和 HSTU 等模型根据不同的实现方式可以是生成式或判别式的。
大语言模型的预训练阶段通过在大量文本上进行学习来预测联合分布,从而压缩世界结构信息到模型参数中;而 SFT 或 RL 阶段则是根据提示词预测符合人类偏好的回答。生成式建模不仅在于压缩所有知识,还在于后续通过判别式训练引导这些知识以满足特定需求。
当前特征和数据工程已经表现出疲态,增加更多的数据量或特征对模型效果提升有限。相比之下,大语言模型、多模态模型和文生图模型直接在原始数据上进行训练,减少了传统数据工程的复杂性和人力成本。传统的推荐系统存在多阶段建模信息损失问题,而算力的发展将使高 QPS 低延迟要求的应用成为可能。
生成式推荐系统的几种主流范式包括以 item ID 为核心的语言体系和 SID(Session-based Item Recommendation)。SID 方法具有较好的 scaling law,易于与语言模型结合,适合多模态模型的发展。此外,latent reasoning 技术通过循环利用 transformer 输出的 latent vector 或 hidden state 来加深模型推理深度,不增加模型参数的情况下动态扩展模型的推理能力。
推荐系统和大语言模型的发展方向强调了持续训练的重要性,目前的需求迫使团队不断更新模型参数。未来一年内,随着各大公司和学术界的大量投入,将逐渐形成统一的技术路线。数据组织形式、预训练基座的建立以及适合生成式推荐的指标探索是关键任务。
大模型在召回和排序中的应用表明,大模型能够独立完成这些任务,不需要算法工程师的介入。然而,对于生成式推荐,大模型目前还不能完全理解如何操作,这为人类提供了不可替代的价值。课程内容涵盖生成式推荐的前沿问题和技术路线选择,帮助学员全面掌握从传统推荐系统到生成式建模的思维转变。
展开