超长用户行为序列建模面临信息损失、性能开销大等问题。传统方法如人工构建用户画像和预训练用户表征模型存在信息抽取偏差。Longer 通过混合多尺度 Attention 设计解决这些问题，包括 Global Token 模块定义全局信息与上下文特征，以及 Inner Transformer 实现序列压缩。具体而言，Longer 将长序列拆分成多个块，使用 Q-Former 结构进行逐级压缩，结合 Causal Attention 进一步提升推理能力。此外，Longer 采用 Torch All-Reduce 和 KV-Cache 等技术优化算力，减少冗余计算。实验结果显示，Longer 在 AUC 上比 Transformer 有轻微提升，并且随着序列长度和参数量增加，效果持续改善。在线实验表明，Longer 在抖音广告中表现良好。