Python 教程 / 线程、进程与 asyncio:选择、错误和取消
线程、进程和 asyncio 是让多个任务推进的不同方式。应先判断时间主要花在 CPU 计算还是外部等待,再结合库的支持方式选择,并用真实负载测量,不能假定增加并发就会更快。
区分并发模型与并行条件
| 方式 | 模型 | 需要考虑的成本 |
|---|---|---|
| 线程 | 同一进程内共享内存 | 共享状态同步、库的阻塞行为 |
| 进程 | 独立内存空间 | 启动、序列化与数据传递 |
| asyncio | 在等待点协作推进 | 异步兼容库、事件循环阻塞 |
GIL 是 Global Interpreter Lock,即全局解释器锁。在常规启用 GIL 的 CPython 中,任意纯 Python CPU 计算不会仅靠增加线程就自动并行加速。释放 GIL 的扩展和 free-threaded 构建会改变条件,需同时核对解释器构建与库,见官方线程与 GIL 说明。
可先考虑线程处理阻塞 I/O、进程处理可拆分的纯 Python CPU 工作、asyncio 配合支持异步的 I/O 库,但这些只是选择起点,实际开销仍需测量。concurrent.futures 文档介绍线程池和进程池的任务接口。
用完整程序比较三种接口
建立独立练习目录,用 Python 3.12 以上项目环境。将以下全部内容以 UTF-8 保存为 concurrency.py,执行 python concurrency.py;若已核对命令是 python3,则相应替换。进程启动依赖可导入模块,请使用实际 .py 文件,不假定笔记本或交互窗口行为相同。
import asyncio
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
def square(value):
return value * value
async def async_square(value):
await asyncio.sleep(0.01)
return square(value)
async def gather_values():
return await asyncio.gather(*(async_square(x) for x in [1, 2, 3]))
def main():
with ThreadPoolExecutor(max_workers=2) as pool:
print(list(pool.map(square, [1, 2, 3])))
with ProcessPoolExecutor(max_workers=2) as pool:
print(list(pool.map(square, [1, 2, 3])))
print(asyncio.run(gather_values()))
if __name__ == "__main__":
main()
预期输出:
[1, 4, 9]
[1, 4, 9]
[1, 4, 9]
三行都表示输入 1、2、3 的平方。map 和 gather 在这里按输入顺序组织结果,不代表任务也按该顺序完成。这个极小计算展示接口,不是性能基准,更不能据此推断哪一种方式最快。
处理入口、等待、取消与任务失败
Windows 等进程启动方式会重新导入主模块,所以保留 main 入口保护,避免导入时递归创建进程。square 定义在模块顶层,使工作进程能够定位它。异步函数中的长时间 CPU 计算或同步网络调用仍可能阻塞事件循环;asyncio.sleep 只是让出等待时间的演示,并没有发送真实 HTTP 请求。
将下面完整内容保存为 cancel.py 并运行 python cancel.py。主协程先让工作任务获得运行机会,再请求取消并等待确认:
import asyncio
async def worker():
try:
await asyncio.sleep(60)
finally:
print("worker cleanup")
async def main():
task = asyncio.create_task(worker())
await asyncio.sleep(0)
task.cancel()
try:
await task
except asyncio.CancelledError:
print("cancel confirmed")
if __name__ == "__main__":
asyncio.run(main())
预期输出:
worker cleanup
cancel confirmed
取消让已进入 worker 的任务在等待点收到 CancelledError,finally 执行清理,然后调用方观察到取消。如果任务在开始运行前就被取消,不能要求尚未进入的 try/finally 也执行。清理规则与实际进入阶段有关,见asyncio 任务取消文档。
下面另存为 future_failure.py,运行 python future_failure.py,观察已经提交的任务如何把异常传回 result:
from concurrent.futures import ThreadPoolExecutor
def calculate(value):
if value < 0:
raise ValueError("negative input")
return value * value
with ThreadPoolExecutor(max_workers=2) as pool:
futures = [pool.submit(calculate, value) for value in [2, -1]]
for future in futures:
try:
print(future.result(timeout=5))
except ValueError as error:
print("failed:", error)
预期输出:
4
failed: negative input
submit 返回 Future,result 取得结果或重新抛出任务异常。这里只捕获预期 ValueError,其他错误并不会被自动隐藏。timeout 限制等待多久,不会强行停止已经运行的函数;运行中的 Future 也不能假定 cancel 就能中断。退出执行器上下文时通常还会等待相关任务结束。
分别验证性能、数量边界和关闭
进程启动成本可能超过三个平方的计算成本。真实测量应记录数据规模、解释器与构建、工作者数量、内存和测量方法,同时检查结果与失败处理。不能把一次打印成功扩展为性能提升或并发安全的证明。
max_workers=2 限制同时执行的工作者,不限制所有已提交任务的队列大小。大输入应分成有界批次;异步 I/O 也可以另外设置 Semaphore 等并发上限。对共享状态的修改需要同步,不能无限创建任务或依赖共享列表的偶然顺序。
在同一线程已经运行事件循环时,不能再次嵌套调用 asyncio.run;应按所在环境直接 await 协程。网络采集还要保持HTTP 请求失败与响应验证及API 入库项目中的完整性与事务边界,不要为了并发而丢失错误、重复写入或忽略关闭。




