生成式推荐系统中，特征交叉是提升模型性能的关键。传统方法如 Factorization Machine、DeepFM 等侧重于高维特征的直接交叉或通过深度学习进行特征融合。然而，在 Transformer 架构下实现高效特征交叉面临挑战。字节跳动提出的 RankMixer 为此提供了一种新思路。该模型通过 Token Mixer 模块实现特征拆分与混合，具体包括：依据人工经验对特征进行分组，每组使用独立 MLP 进行初步映射；随后将各组特征拼接并重新分配至不同 head，模仿 Multi-head Attention 机制以促进跨组信息交流。为确保残差连接的有效性，RankMixer 设计了特定的维度转换策略，使得输入输出维度一致。此外，引入 Per-Token FFN 及 Sparse MoE 技术进一步增强了模型表达能力与扩展性。实验结果显示，RankMixer 在 AUC 和 UAUC 指标上显著优于其他特征交叉方案，并且能够支持高达 10 亿参数规模的训练，展现出强大的工程实践能力。消融研究表明，Multi-Headed Token Mixing 与 Per-token FFN 是影响性能的主要因素，而 Self-Attention 作为路由策略时效果最佳但会大幅增加计算成本。总体而言，RankMixer 不仅提升了推荐系统的整体表现，尤其对于低活跃度用户的效果提升尤为明显。