16 | 最近邻检索（下）：如何用乘积量化实现“拍照识花”功能？

作者回复: 首先，你举的这个例子不叫“乘积”，而只是将16个(x，y)分别存成16个(x)和16个(y)，这样的确是没有省空间的。 然后，我文中的点，其实代表的是“聚类中心向量”，而不是“样本向量”。接下来我来和你一起分析一下。 如果二维空间按格子划分区域，一共有16个区域，那么我们就需要16个编号(相当于生成16个聚类，每个聚类要记录自己的中心向量，有16个二维的中心向量)。但如果我们把二维空间分解为x轴和y轴，那么x轴只需要4个编号，y轴只需要4个编号。这样我们只需要4+4个编号既可以表示完整的二维空间了(相当于将向量分为两个子空间，每个子空间生成4个聚类，每个聚类需要记录自己的中心向量，这样就有8个一维的中心向量) 那么，记录8个一维的中心向量比记录16个二维的中心向量省空间。空间是省在了这里，而不是省在样本向量上。 对于每个样本向量，之前的二维空间编号是1－16，需要4个比特位，分解后的两个一维空间编号是(1－4)*(1－4)，也是需要4个比特位。因此，样本向量的存储，无论是个数，还是压缩后需要用到比特位，都是无法节省的。 总结一下，乘积的好处，其实是可以降低我们要存储的中心向量的个数和维度，而不是降低样本向量的个数。如果样本向量原来有n个，那么乘积量化后依然有n个。我文中举的“点”的例子，结合后面的内容看，你就会发现它代表的是聚类中心向量，而不是样本向量。我想这可能就是让你觉得疑惑的地方，希望这个分析可以解答你的疑惑。

作者回复: 实话实说，这一讲的内容的确很难。即使是我自己当年学这些内容的时候，也琢磨了好久。而且这一部分的内容和AI结合较紧密，也是随着这几年AI的大面积铺开才开始变得重要起来的，之前大部分工程师可能并不熟悉。因此，多看几遍，有不懂的地方一起讨论分析，相信你会有收获的。 为什么进阶篇最后一篇讲了这样一个内容呢，你会发现，我们的应用场景都在进化，现在搜索引擎已经支持图片搜索了，电商平台也支持拍照购物，还有人脸识别等应用，对应起来，我们的检索技术，已经需要从文本关键词检索，升级到图片检索，视频检索等更复杂的空间中了。 包括现在的广告系统，其实各种智能匹配，都可以看着是向量匹配，而不仅仅是传统的关键词倒排检索。 我希望我们都能跟着时代的潮流，提升自己的认知和竞争力。 由于专栏篇幅有限，因此多少会有一些知识没有展开介绍。不过，你可以把这个专栏的内容当做一个索引，然后对于自己感兴趣的部分去深入学习了解。有不清楚的地方，也欢迎讨论和交流。

作者回复: 你去看了乘积量化的论文，这一点非常好。原始的论文肯定会描述得更详细，有更多的内容，当然，也会更难懂。不过从你的描述来看，你很好地提炼出了乘积量化算法的核心，相信你对它已经理解得很清楚了。

作者回复: 这可以说是最难的一章了。但是如果理解好了，你就能吃透向量检索的核心。而向量检索是近期结合深度学习浪潮的热门检索技术，在许多大公司中都开始采用了。建议可以耐心点慢慢多看几遍，相信会理解越来越深刻的。

作者回复: 今天的内容的确会比较难，知识点也比较多，所以总结部分有一个思维导图，希望能帮你更好地吸收。 关于思考题: 1. 压缩的根源，是在于我们可以用1个类的中心向量来代替类内所有的n个样本向量。用你熟悉的数据库分表来做例子，分析如下: 原来的向量存储是这样的: 样本向量表结构:[样本向量ID | 向量数据] 每个向量数据都是一个高维向量，会很占空间。 但用聚类中心向量代替样本向量以后，我们会有两张表: 聚类中心表结构:[聚类ID | 聚类中心向量数据] 样本向量表结构:[样本向量ID | 聚类ID] 你会发现，和原先的相比，我们加了一个聚类中心表，由于聚类不多，因此这个表不会太大。而原来的样本向量表，它存的数据从“向量数据”变成了“聚类ID”，从而不用存储具体的向量(可以用聚类ID关联到聚类中心表)，因此表空间得到压缩。 2.是的，这题是希望你能更好地理解乘积量化的思想，并不一定要求要严格按照每个流程做。我们可以分为xy轴两个维度(这样就是乘积了)。不过由于数据太少，所以也不需要用聚类，比如你把x轴等分2段也可以。然后每段编上号(这样就是量化了)。 然后查询时，你分别和x轴和y轴比，找到对应的区域就好。

作者回复: 在本文的例子中，样本向量指的就是图片向量，分为1024个聚类，指的是将每个图片分到1024个聚类中的某一个。(图片向量维度可以很高，大于1024)

作者回复: 对的。你可以将checksum的值汇总到zookeeper，或者Redis中，进行所有节点的数据一致性判断。当然，如果进行scp的数据源机器只有一台的话，汇总到这台机器进行判断和处理也是OK的。

作者回复: 关于使用scp拷贝数据的问题，如果你需要保证数据的一致性，可以做一下checksum的检查，要checksum一致才算是传输成功，否则就是同步失败。

作者回复: 对于第一个问题，属性过滤如何做?你可以参考一下后面广告系统，以及进阶篇的测试题“如何寻找附近的相同兴趣的人”。 你会看到，我们可以先用有明确过滤条件的属性(比如地点)，将所有数据进行分片，然后在分片里进行向量检索，然后最后可以再进行属性过滤。 第二个问题，索引肯定是需要定期重建的，至于聚类的数量是否需要修改，主要还是看业务形态是否有变化和聚类结果是否依然理想。只要能保证类的边界清晰，类内元素紧密，那么聚类数量多一些少一些都可以的。

作者回复: 哈哈，的确是这样的，聚类，乘积，量化，倒排索引，其实每个词单独看都不算很复杂，但这些技术组合起来以后，却能发挥很好的效果。 包括为什么它们可以组合在一起串起来，怎么起到互补的作用，的确可以好好消化一下。 至于问题2，可能例子不算很好，不过大家看了评论以后，能理解怎么使用乘积量化，那么我觉得目的就达到了。