如何用Python优雅地将numpy向量数组的结果存储到服务器内存中

Flask 的 uwsgi 服务器,做文章相似检索。

  • 250 维空间(float16)*100 万的语句大小有 1GB 左右,经测试有如下结果:
  • structpack < numpy < pickle < mongo.GridFS
  • numpy 数组的保存和读取效率可以说最佳,save:1.5s ,load:0.35s 。
    • uwsgi 的缓存机制和 numpy 的效果差不多
  • 可以通过一定程度的降维来减小向量文件的大小,然而每次请求来的时候都需 load 处理,
  • 不知道 uwsgi 服务器能不能把要计算的内容事先读到内存,然后每次请求时拿过来直接计算?

如何用Python优雅地将numpy向量数组的结果存储到服务器内存中

2 回复

这个需要研究一下,看看跟我用的缓存机制是否一样

回到顶部