Python中如何实现遍历表的方案?
一次请求需要从提交的数据中获取一个数组 A,然后,从数据库中遍历某张表的字段 B。最后通过一系列的计算(计算过程包含数组 A 和 B ),每条数据算出一个值,取最高的几个值返回给请求方?请问这样需求有什么好的实现方案,响应时间越短越好。 谢谢!
Python中如何实现遍历表的方案?
能看懂有鬼了- -
在Python里遍历表(通常指列表 list),最直接的就是用 for 循环。比如:
my_list = [1, 2, 3, 'a', 'b']
for item in my_list:
print(item)
如果你需要同时拿到索引和值,可以用 enumerate:
for index, value in enumerate(my_list):
print(f"Index {index}: {value}")
有时候你可能需要按特定条件遍历,比如用列表推导式边遍历边处理:
squared = [x**2 for x in my_list if isinstance(x, int)]
或者用 while 循环手动控制索引:
i = 0
while i < len(my_list):
print(my_list[i])
i += 1
总结:根据需求选最简单的 for 循环就行。
楼主名字很好玩,itertools,再加个 nlargest、map, 应该可以解决楼主的问题了。
nlargest 在我的实现中用到了,但是遍历表(如果有表中有上千万条数据),感觉响应时间很慢。
数据量太大。内存可能会爆。
流式计算?维护一个 n 个元素的最大堆,用 generator 取一定数量的 B,更新这个堆?
不过估计这种实现不会比你现在的速度快多少。
愿意折腾的话用 spark sql ?
在 B 上面建索引,然后用多线程或者多进程,把 B 里面的东西分成多个部分取出来,分别算,再一起取最大?
本来上千万条的数据,不需要分表么?
虽然不太清楚具体 B 是什么数据,但一个思路吃把 B 按照跳表的方式弄个多层索引,尽快的优化找 B 的速度。
我觉得直接用存储过程快吧,要是读到代码里再算估计 io 开销就够喝一壶了。
感觉适合用 mapreduce 思想,把任务分割成小任务分配到其他机器上并行


