Python 教程 / 综合练习:验证 CSV 数据并生成报告
CSV 报告程序应先检查标题、必填字段、金额和重复 ID,再把有效记录按分类汇总。被拒绝的记录必须留下原因,并通过失败退出码提醒调用者,避免把部分数据的合计当成全部处理成功。
规定输入、输出和拒绝政策
本例每条支出有 id、category、amount 三列,金额只接受去除首尾空白后的 ASCII 十进制数字,允许零,不接受负号或小数。id 和 category 也会去除首尾空白,不能为空。第一次被接受的有效记录占用该 ID,之后同 ID 的记录才算重复;无效记录不会先占用 ID。
程序只读取 expenses-input.csv,不修改原始文件。它生成 report.csv 与 rejected.csv,任一输出路径已经存在就停止。因此请建立全新的练习目录,不要用真实报表目录试验。若需要保留此前结果,应把修正输入放入另一个新目录,而不是删除保护条件。
rejected.csv 的 record 从标题为 1 开始计算逻辑记录。带引号的多行字段可能跨越几个物理文本行,因此不能把该数字直接当成编辑器行号。CSV 语法基础见CSV 文件读写,接口见Python 官方 csv 文档。
准备完整输入文件
使用 Python 3.12 以上环境。把下面完整内容以 UTF-8 保存为 expenses-input.csv。这里故意重复 e2,并提供一个负数,以便观察拒绝路径:
id,category,amount
e1,food,3500
e2,food,8000
e3,transport,2500
e2,food,8000
e4,books,-1
不要在运行前“顺手修正”这两个错误,否则将看不到下面预期的拒绝文件。CSV 标题必须恰好为 id,category,amount,顺序也相同;当前程序不是自动匹配任意标题的通用导入器。
运行完整报告程序并核对两份结果
在同一目录创建 csv_report.py,保存以下全部 Python 代码。代码中的文件名和字段名需要与输入保持一致:
import csv
import re
from collections import defaultdict
from pathlib import Path
source = Path("expenses-input.csv")
report = Path("report.csv")
rejected = Path("rejected.csv")
if report.exists() or rejected.exists():
raise FileExistsError("Use a new output directory")
totals = defaultdict(int)
seen = set()
errors = []
accepted = 0
with source.open(encoding="utf-8-sig", newline="") as f:
reader = csv.DictReader(f)
if reader.fieldnames != ["id", "category", "amount"]:
raise ValueError("unexpected header")
for number, row in enumerate(reader, start=2):
key = (row.get("id") or "").strip()
category = (row.get("category") or "").strip()
amount_text = (row.get("amount") or "").strip()
reason = ""
if None in row or not key or not category:
reason = "invalid fields"
elif key in seen:
reason = "duplicate id"
elif not re.fullmatch(r"[0-9]+", amount_text):
reason = "invalid amount"
if reason:
errors.append({"record": number, "reason": reason})
continue
seen.add(key)
totals[category] += int(amount_text)
accepted += 1
with report.open("x", encoding="utf-8", newline="") as f:
writer = csv.writer(f)
writer.writerow(["category", "total"])
writer.writerows(sorted(totals.items()))
with rejected.open("x", encoding="utf-8", newline="") as f:
writer = csv.DictWriter(f, fieldnames=["record", "reason"])
writer.writeheader()
writer.writerows(errors)
print("accepted:", accepted, "rejected:", len(errors))
print("total:", sum(totals.values()))
raise SystemExit(1 if errors else 0)
选择项目环境,在这个目录执行:
python csv_report.py
标准输出应有 accepted: 3 rejected: 2 和 total: 14000。程序的退出码为 1,因为两条记录被拒绝;这与 Python 程序完全没有运行是不同情况。立即在 PowerShell 查看 $LASTEXITCODE,或在 macOS、Ubuntu 的常见 shell 执行 echo $?。如果解释器命令是 python3,运行命令也相应替换。
report.csv 的完整内容:
category,total
food,11500
transport,2500
rejected.csv 的完整内容:
record,reason
5,duplicate id
6,invalid amount
有效 food 为 3500 + 8000 = 11500,transport 为 2500,合计 14000。第 5 条逻辑记录重复 e2,第 6 条是负金额。报告合计正确不代表全部输入成功,必须同时查看拒绝文件和退出码。
DictReader 读取字段,额外列会产生特殊键 None,缺少的值则可能是 None;程序把空字段和多余列归入错误路径。正则使用 [0-9]+,所以 +5、3.5 和全角数字都不会被当成有效金额。utf-8-sig 可读取带或不带 UTF-8 BOM 的输入,newline="" 则把 CSV 的换行处理交给 csv 模块。
sorted(totals.items()) 使输出按分类排序。输出使用 x 模式独占创建,已存在时不会覆盖;其含义见Python 官方 open 模式说明。程序先在内存中完成读取和汇总,再创建输出,并非无限数据量的流式处理器。
检查重跑、错误输入与部分输出
- 先核对上面的两份文件和退出码。直接再次运行应因已有输出而停止,原文件保持不变。
- 在另一个新目录修正重复 ID 和负数,再运行同一程序,确认所有记录被接受且退出码为 0。
- 另用独立副本改变标题顺序,确认 unexpected header;不要只交换标题而保留错误对应的数据,再把错误归因于金额。
两个输出文件的创建不是一个原子事务。如果第一份写完、第二份写入失败,第一份文件可能仍留在目录里。正式流程应在隔离目录生成、验证两份文件及状态,再通过明确的完成步骤交给下游。不要看到一个 report.csv 就自动转发结果,也不要盲目重试覆盖。
当前脚本不捕获所有文件异常,路径不存在、权限不足和无效编码会显示异常。先保护输入与已有输出,查明原因,再在新目录重跑。若需要把这些失败转换为固定命令行格式,应另行设计,不应把所有异常都静默忽略。
将外部分类字符串交给电子表格应用时,还要考虑它是否被解释成公式。csv.writer 的引号规则只处理 CSV 语法,不保证目标应用把所有文字都当作普通文本。自动验证可使用unittest 与 CSV 集成检查中的独立目录方法。




