Python 教程 / 用 collections 与 itertools 计数、汇总和分组
collections 提供适合计数、分类等工作的容器,itertools 则组合迭代流程。选择时要看结果代表次数还是金额、顺序是否重要、迭代器如何消费,以及缺失键是否应自动创建,不能只以代码更短为标准。
用 Counter 计数,用累加规则求金额
Counter 是字典的子类,适合统计可哈希项目的出现次数。defaultdict 在用方括号读取缺失键时,通过工厂创建并保存默认值,便于按分类累加。defaultdict(int)的缺失金额从零开始,再由循环加入每笔数值。
这与 get 不同:get 通常不触发默认工厂,也不因读取而创建键。如果“只检查一下”不应改变字典,就明确使用 get 或成员检查。容器行为见Python 官方 collections 说明;基础键值操作可参考字典示例。
运行次数、金额与连接迭代示例
将完整代码以 UTF-8 保存为 collections_demo.py,在项目环境执行 python collections_demo.py。若已核对的命令为 python3,则使用 python3 collections_demo.py。本例无第三方依赖:
from collections import Counter, defaultdict
from itertools import chain, groupby
rows = [("food", 3500), ("bus", 2500), ("food", 8000)]
counts = Counter(category for category, _ in rows)
totals = defaultdict(int)
for category, amount in rows:
totals[category] += amount
print(sorted(counts.items()))
print(sorted(totals.items()))
print(list(chain([1, 2], [3])))
for category, group in groupby(sorted(rows), key=lambda row: row[0]):
print(category, sum(amount for _, amount in group))
预期输出:
[('bus', 1), ('food', 2)]
[('bus', 2500), ('food', 11500)]
[1, 2, 3]
bus 2500
food 11500
food 有两条记录,合计 11500;bus 有一条记录,合计 2500。这是两个不同的统计结果。chain 依次读完 [1, 2] 和 [3],产生 1、2、3,不是逐项相加或按位置配对。
最后按分类 groupby 前使用 sorted(rows),本例元组首先按分类排序,所以同类记录相邻。若实际结构更复杂,应明确使用与分组一致的 key,而不是假定默认排序恰好满足分类顺序。
groupby 只组合连续的相同键
第二份完整程序另存为 groups.py,执行 python groups.py:
from itertools import groupby
rows = [("food", 3500), ("bus", 2500), ("food", 8000)]
def category(row):
return row[0]
for label, data in [("original", rows), ("sorted", sorted(rows, key=category))]:
print(label)
for name, group in groupby(data, key=category):
print(name, sum(amount for _, amount in group))
print(category(rows[0]) == (lambda row: row[0])(rows[0]))
预期输出:
original
food 3500
bus 2500
food 8000
sorted
bus 2500
food 11500
True
original 表示原始顺序,food 被 bus 隔开,因此形成两个 food 组。sorted 表示按 category 排序后的顺序,food 才合成一组。它不像数据库 GROUP BY 那样自动把散落的同键项目汇集到一起。
key 是从一条记录中取分组依据的函数。category(row) 返回 row[0],本例的 lambda row: row[0] 做同一件事,最后的 True 验证了这次调用结果相同;不代表任意两个函数都能仅凭一次比较判定等价。
每个 group 都与外层 groupby 共享底层迭代流。前进到下一组后,之前未消费的组可能已经不可再读。应在当前组内立即累加,或先保存所需列表;单纯把 group 对象存进列表,不等于保留其中记录。官方规则见Python 官方 groupby 说明,消费模型也可结合迭代器与生成器理解。
比较原始顺序并注意存储成本
- 在 collections_demo.py 中仅把 groupby(sorted(rows), ...) 的输入改成 rows。前面的次数、金额和 chain 输出不变,但末尾分组会依次打印 food 3500、bus 2500、food 8000。
- 恢复 sorted(rows),重新确认 bus 2500 和 food 11500。再独立运行 groups.py,对照 original 与 sorted 两段。
- 用一个小 defaultdict 测试缺失键的 get 与方括号查询,比较键是否新增,确认这是否符合应用预期。
chain 和 islice 可以顺序连接或截取迭代流,但将全部结果转为 list 仍要保存所有输出;这里 sorted 也会物化排序结果。无限迭代器必须先限制为有限范围,例如用 islice 取所需项,不能直接收集全部内容。
若数据本来已按分类连续排列,可以直接逐组消费;若未排序且只要各类金额总和,用字典累加可能比为了 groupby 先排序更直观。按数据顺序、是否需要组内明细和最终结果选择工具,不要为了引入库函数而改变本来的统计含义。




