19｜协同过滤：召回算法中永远不落幕的经典

作者回复: 一般来讲，对于这种比较大的并发量，我们采用的是分布式的计算方式，而不是一台机器就可以胜任的，具体配置主要是根据你的实际情况来。

作者回复: 在每天新增大量文章的情况下，一次性对所有文章进行相似度计算可能会非常耗时和占用大量的计算资源。为了提高计算效率，可以考虑以下几种方法： 增量计算：每天新增的文章可能只是整个文集的一小部分，可以采用增量计算的方式，只计算新增文章与已有文章之间的相似度。这样可以大大减少计算量，只需对新增文章进行相似度计算，而不是对整个文集重新计算。 分布式计算：可以使用分布式计算的框架（如Hadoop、Spark等）来进行相似度计算。将文章数据分割成多个分区，利用多台计算机并行计算各个分区之间的相似度，最后再合并结果。这样可以利用集群的计算能力，提高计算速度和处理大规模数据的能力。 近似相似度计算：在实际应用中，并不需要精确的相似度计算。可以考虑使用一些近似相似度计算的方法（如LSH、MinHash等），通过降低计算复杂度来快速估计文章之间的相似度。这些方法通过哈希函数或采样的方式进行相似度计算，可以在保证一定准确性的情况下，大大降低计算成本。 综合考虑以上方法，可以根据具体的场景和需求选择合适的方法来进行相似度计算。例如，如果对实时性要求较高，可以采用增量计算；如果需要处理海量数据，则可以考虑分布式计算；如果计算复杂度过高，可以尝试近似相似度计算。另外，还可以结合缓存机制和索引技术来提高相似度计算的效率，以满足实际需求。