移动互联网时代数据呈现严重的信息过载,用户很难快速地找到自己想要的信息。网易新闻客户端作为新闻资讯平台,帮助用户从海量信息中找到感兴趣的内容,通过连接用户和内容实现个性化推荐。为了实现上述目标,需要同时对用户兴趣和资讯内容进行建模,其中通过算法进行内容理解是建模的基础,也是推荐系统的基石。
网易新闻包含图文、视频、公开课等多种形式的数据,各类型数据需要采用不同的内容分析方法。针对文本内容,我们通过 xgboost 等经典机器学习方法和 textcnn、bert 等深度学习方法进行文本分类和标签生成。针对视频内容,我们基于视频、音频和文本等多模态信息融合进行视频理解。本次分享中,我们将介绍在新闻推荐场景下利用 NLP、CV 及多模态技术对资讯数据进行语义分析的经验和实践。
张亚中,现就职于网易传媒集团推荐产品中心,从事新闻数据的内容理解工作,曾任职于华为 2012 实验室。张亚中毕业于西安电子科技大学人工智能学院,获得博士学位,研究方向为视觉感知建模和图像质量评价等,在 Neurocomputing、IEEE TIP、IEEE ISCAS 等国际期刊和会议发表多篇论文。个人对深度学习、多模态学习(特别是文本和视觉)有浓厚的兴趣。