milvus 0.11 性能相关的三个问题 #4603
-
问题描述: 问题1: 100w 128维的数据量,我们的机器完全是可以hold住的,而且能力还绰绰有余,为什么和官网的效率差了这么多? 在完全用milvus的测试集配置的情况下,milvus的100w 128维的测试数据集(test)上 和 我们自己的100w 128维数据集(our)后的 运行效率如下图: 问题2:具体是什么原因导致性能大幅度下降? 我们自己写的代码,配置完全参考了官网测试案例,不同的地方在于建立collection的时候,参数"auto_id": True(但据说这只是一个自增id,没有影响。),性能相较于问题1中我们自测的性能,又慢了90%,约1~2秒。 代码,配置文件测试查询的 vector: 问题3:向量的维度对性能有多大的影响? 测试了5w 2048维的数据,根据你们提供的资源评估工具,5w 2048维的数据和100w 128维的数据对资源的消耗是相当的,但5w 2048维的数据用时约13s(也是在上述代码下的结果)。 配置 milvus版本: 0.11 milvus配置: 详见代码 |
Beta Was this translation helpful? Give feedback.
Replies: 2 comments
-
The reason is the problem of machine configuration, we have up to 20 CPU cores on the server, the search time gap is also extremely normal |
Beta Was this translation helpful? Give feedback.
-
向量搜索是计算密集型工作,能开的线程越多,搜索越快。你的cpu是i5-7500,四核心四线程6MB三级缓存,我们的benchmark使用的是 i7-8700,六核心12线程12MB三级缓存,线程数量差了3倍,三级缓存也大了一倍。测出来的搜索性能相差数倍也是正常的。 |
Beta Was this translation helpful? Give feedback.
向量搜索是计算密集型工作,能开的线程越多,搜索越快。你的cpu是i5-7500,四核心四线程6MB三级缓存,我们的benchmark使用的是 i7-8700,六核心12线程12MB三级缓存,线程数量差了3倍,三级缓存也大了一倍。测出来的搜索性能相差数倍也是正常的。