移动互联网时代数据呈现严重的信息过载，用户很难快速地找到自己想要的信息。网易新闻客户端作为新闻资讯平台，帮助用户从海量信息中找到感兴趣的内容，通过连接用户和内容实现个性化推荐。为了实现上述目标，需要同时对用户兴趣和资讯内容进行建模，其中通过算法进行内容理解是建模的基础，也是推荐系统的基石。
网易新闻包含图文、视频、公开课等多种形式的数据，各类型数据需要采用不同的内容分析方法。针对文本内容，我们通过 xgboost 等经典机器学习方法和 textcnn、bert 等深度学习方法进行文本分类和标签生成。针对视频内容，我们基于视频、音频和文本等多模态信息融合进行视频理解。本次分享中，我们将介绍在新闻推荐场景下利用 NLP、CV 及多模态技术对资讯数据进行语义分析的经验和实践。

作者简介

张亚中，现就职于网易传媒集团推荐产品中心，从事新闻数据的内容理解工作，曾任职于华为 2012 实验室。张亚中毕业于西安电子科技大学人工智能学院，获得博士学位，研究方向为视觉感知建模和图像质量评价等，在 Neurocomputing、IEEE TIP、IEEE ISCAS 等国际期刊和会议发表多篇论文。个人对深度学习、多模态学习（特别是文本和视觉）有浓厚的兴趣。