03｜数据处理：我们应该如何获取和处理数据？

作者回复: 是的，理解的很对，针对不同的系统要学会变通。

作者回复: 答：同学你好。首先，对于一个推荐系统来讲，内容的质量有几种不同的判别方式，比如人工判断，分类，以及通过优质的内容产出者进行辅助判断等。所谓的人工判断，就是由专业的审核人员对内容进行审核，从而判断质量；分类的话实际上就是把优质的内容和普通的内容提前打上标签，然后再造出一批数据集后，训练一个文本分类的模型；还有第三种方式就是很多信息流推荐系统，都会找一些优质的写手或者官方的运营人员进行写作，这部分的内容我们一般也会认为是优质的内容。 关于爬虫爬取是否有法律纠纷主要是看你的爬虫程序是否遵循了网站的robots协议，一般来讲，如果遵循其协议，不会产生纠纷。但是如果你把这些内容进行商用的话，要看对方有没有版权要求，一般来讲是需要征求原作者的同意后才可以。 推荐系统在某些情况下可以和ChatGPT进行结合，但是这样需要在ChatGPT上写很多prompt才可以完成。

作者回复: 同学你好，正如你所说，一般来讲，短视频内容的画像相比于信息流文章来讲，更注重的是视频的播放完成度、视频时长、平均播放时长等，所以我们在构建内容画像的时候，应该着重去注意这几个点的特征处理，要去想，这些点应该用连续的特征还是离线的特征比较好，另外就是这类特征需要怎么去表达，才能更好的把握住重点。 封面的确是在视频推荐中最重要的一个点，对于封面特征的提取一般会用到图像特征提取的一部分，然后再根据图像的特征来进行封面的提取。另一方面，有一个简单的办法，就是把比较热门的内容的封面和普通内容的封面做一个特征或者图片的分类，也许也能找到一些比较好的特征分类点，这里面其实就不限于文字的颜色、大小和排版等。 关于你说的大V推荐的方法，其实就是协同过滤中的一部分，在后面的章节中你会看到这一部分的内容。