Python 教程 / 用 pandas 清理和分析表格数据
pandas 用 DataFrame 表示行列数据,可以把读取、验证、汇总和保存分成清晰步骤。报告除了合计,还应说明缺失值和无效数值如何处理,否则很难判断结果包含了哪些记录。
先选择列类型与项目环境
DataFrame 类似一张表,Series 常用来表示其中一列。读取 CSV 时推断出的类型不一定符合业务规则:例如 ID 的前导零有意义,就应先按字符串读取,再单独转换金额列。使用方法可从pandas 官方入门教程查看。
pandas 是第三方库,不是 Python 标准库。先选择项目虚拟环境,再运行以下安装命令,避免把依赖安装到另一个解释器。选择与实际 Python 和操作系统兼容的发行版本:
python -m pip install pandas
本课以 Python 3.12 以上环境运行小型整数数据。若不需要 DataFrame,标准库 CSV 验证项目提供逐条检查、记录拒绝原因的另一种方式。选择工具应依据数据规模与操作,而不是为了简单合计强行增加依赖。
执行完整验证与分类汇总
创建独立练习目录,把以下全部代码以 UTF-8 保存为 pandas_demo.py。在选中项目环境的终端运行 python pandas_demo.py;若实际解释器命令为 python3,则相应使用 python3。
from io import StringIO
import pandas as pd
raw = "id,category,amount\ne1,food,3500\ne2,food,8000\ne3,transport,2500\ne4,food,bad\n"
df = pd.read_csv(StringIO(raw), dtype="string", keep_default_na=False)
amounts = pd.to_numeric(df["amount"], errors="coerce")
valid = amounts.notna() & (amounts >= 0) & (amounts % 1 == 0)
clean = df.loc[valid].copy()
clean["amount"] = amounts.loc[valid].astype("int64")
report = clean.groupby("category", as_index=False, sort=True)["amount"].sum()
print("accepted:", len(clean), "rejected:", int((~valid).sum()))
for row in report.itertuples(index=False):
print(row.category, row.amount)
预期输出:
accepted: 3 rejected: 1
food 11500
transport 2500
输入有四条记录。bad 无法转换成数值,因此三条被接受、一条被排除;food 合计 11500,transport 合计 2500,总计 14000。这个例子从内存中的 StringIO 读取 CSV 文字,便于先验证处理规则,不会读取你自己的外部文件。
dtype="string" 让列先保持字符串;keep_default_na=False 不把默认缺失值标记直接转换成缺失。to_numeric 随后尝试数值转换,errors="coerce" 把失败标记为缺失。它提供识别失败的手段,不代表这些记录可以不留痕迹地消失,见to_numeric 官方说明。
理解有效掩码、复制和适用范围
valid 是与原表行对应的布尔掩码:值不缺失、非负,并且除以 1 的余数为零才通过。三个条件用 & 连接,每个比较用括号保持清晰。它判断的是转换后的数值,因此文字 8.0 可以通过并成为整数 8,8.5 则被排除;不是“只接受原始整数数字文字”的严格格式检查。
df.loc[valid] 选择有效行,copy 后得到 clean,再把已转换金额赋给它。这样操作 clean 时不会把本例原表 amount 的 bad 改掉。groupby 按 category 分类,sort=True 让分类排序,as_index=False 使分类继续作为普通结果列。
这个掩码只验证金额,没有检查 ID 是否重复、分类是否空白,也没有建立完整业务记录契约。重复 ID 仍可能被合计;空分类在本例的读取设置下也不一定被排除。实际导入应明确增加所需字段规则,并保存被拒绝的原始记录及原因。
小金额可以放进 int64,但超大整数、精确小数货币和大量累计可能涉及转换精度或固定宽度范围。不能仅靠余数判断和 astype("int64") 就宣称对任意金额都精确。应在转换前后设计范围与精度政策,并测试聚合总额的上限。
改用实际文件时,把 DataFrame 创建那一行替换为 pd.read_csv("expenses-input.csv", dtype={"id":"string", "category":"string", "amount":"string"}),再执行后续转换与掩码。这个简写没有设置 keep_default_na=False,会恢复默认缺失值识别规则;如果需要保留原例的文字语义,应显式保留该参数并按业务决定。选项详见read_csv 官方文档。
不要随意把缺失金额填成零:“不知道金额”和“金额确实为零”是不同信息。保存 df.loc[~valid] 所选的记录,可以辅助审计;仅保留最终分类报告无法还原哪些原记录被排除。
导出报告并核对数量与总额
在已经创建 report 的完整文件末尾添加这一行,不要单独运行而丢失前面的变量:
report.to_csv("category-report.csv", index=False, encoding="utf-8")
默认 to_csv 会替换同名现有文件,所以先使用独立的新输出路径。index=False 不导出 DataFrame 索引列,category 本身仍保留。导出后打开文本文件,确认标题为 category,amount,两条数据分别为 food,11500 和 transport,2500。
- 保留原始 bad,确认三条接受、一条排除,clean 金额和与 report 金额和均为 14000。
- 只把 bad 改为 0,数量应为四条接受、零条排除,合计仍是 14000。
- 再把它改为 -1,回到三条接受、一条排除。虽然合计不变,输入处理结果已经不同,所以不能只检查总额。
- 恢复 bad,确认接受数与排除数相加等于原来的四条,并核对输出没有额外索引列。
应记录转换政策、排除数量与实际处理范围。数据清理是否正确取决于输入契约和验证,而不只是 groupby 是否顺利生成一张表。




