Python 教程 / 线程、进程与 asyncio:选择、错误和取消

线程、进程和 asyncio 是让多个任务推进的不同方式。应先判断时间主要花在 CPU 计算还是外部等待,再结合库的支持方式选择,并用真实负载测量,不能假定增加并发就会更快。

区分并发模型与并行条件

方式 模型 需要考虑的成本
线程 同一进程内共享内存 共享状态同步、库的阻塞行为
进程 独立内存空间 启动、序列化与数据传递
asyncio 在等待点协作推进 异步兼容库、事件循环阻塞

GIL 是 Global Interpreter Lock,即全局解释器锁。在常规启用 GIL 的 CPython 中,任意纯 Python CPU 计算不会仅靠增加线程就自动并行加速。释放 GIL 的扩展和 free-threaded 构建会改变条件,需同时核对解释器构建与库,见官方线程与 GIL 说明。

可先考虑线程处理阻塞 I/O、进程处理可拆分的纯 Python CPU 工作、asyncio 配合支持异步的 I/O 库,但这些只是选择起点,实际开销仍需测量。concurrent.futures 文档介绍线程池和进程池的任务接口。

用完整程序比较三种接口

建立独立练习目录,用 Python 3.12 以上项目环境。将以下全部内容以 UTF-8 保存为 concurrency.py,执行 python concurrency.py;若已核对命令是 python3,则相应替换。进程启动依赖可导入模块,请使用实际 .py 文件,不假定笔记本或交互窗口行为相同。

import asyncio
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor

def square(value):
    return value * value

async def async_square(value):
    await asyncio.sleep(0.01)
    return square(value)

async def gather_values():
    return await asyncio.gather(*(async_square(x) for x in [1, 2, 3]))

def main():
    with ThreadPoolExecutor(max_workers=2) as pool:
        print(list(pool.map(square, [1, 2, 3])))
    with ProcessPoolExecutor(max_workers=2) as pool:
        print(list(pool.map(square, [1, 2, 3])))
    print(asyncio.run(gather_values()))

if __name__ == "__main__":
    main()

预期输出:

[1, 4, 9]
[1, 4, 9]
[1, 4, 9]

三行都表示输入 1、2、3 的平方。map 和 gather 在这里按输入顺序组织结果,不代表任务也按该顺序完成。这个极小计算展示接口,不是性能基准,更不能据此推断哪一种方式最快。

处理入口、等待、取消与任务失败

Windows 等进程启动方式会重新导入主模块,所以保留 main 入口保护,避免导入时递归创建进程。square 定义在模块顶层,使工作进程能够定位它。异步函数中的长时间 CPU 计算或同步网络调用仍可能阻塞事件循环;asyncio.sleep 只是让出等待时间的演示,并没有发送真实 HTTP 请求。

将下面完整内容保存为 cancel.py 并运行 python cancel.py。主协程先让工作任务获得运行机会,再请求取消并等待确认:

import asyncio
async def worker():
    try:
        await asyncio.sleep(60)
    finally:
        print("worker cleanup")
async def main():
    task = asyncio.create_task(worker())
    await asyncio.sleep(0)
    task.cancel()
    try:
        await task
    except asyncio.CancelledError:
        print("cancel confirmed")
if __name__ == "__main__":
    asyncio.run(main())

预期输出:

worker cleanup
cancel confirmed

取消让已进入 worker 的任务在等待点收到 CancelledError,finally 执行清理,然后调用方观察到取消。如果任务在开始运行前就被取消,不能要求尚未进入的 try/finally 也执行。清理规则与实际进入阶段有关,见asyncio 任务取消文档。

下面另存为 future_failure.py,运行 python future_failure.py,观察已经提交的任务如何把异常传回 result:

from concurrent.futures import ThreadPoolExecutor
def calculate(value):
    if value < 0:
        raise ValueError("negative input")
    return value * value
with ThreadPoolExecutor(max_workers=2) as pool:
    futures = [pool.submit(calculate, value) for value in [2, -1]]
    for future in futures:
        try:
            print(future.result(timeout=5))
        except ValueError as error:
            print("failed:", error)

预期输出:

4
failed: negative input

submit 返回 Future,result 取得结果或重新抛出任务异常。这里只捕获预期 ValueError,其他错误并不会被自动隐藏。timeout 限制等待多久,不会强行停止已经运行的函数;运行中的 Future 也不能假定 cancel 就能中断。退出执行器上下文时通常还会等待相关任务结束。

分别验证性能、数量边界和关闭

进程启动成本可能超过三个平方的计算成本。真实测量应记录数据规模、解释器与构建、工作者数量、内存和测量方法,同时检查结果与失败处理。不能把一次打印成功扩展为性能提升或并发安全的证明。

max_workers=2 限制同时执行的工作者,不限制所有已提交任务的队列大小。大输入应分成有界批次;异步 I/O 也可以另外设置 Semaphore 等并发上限。对共享状态的修改需要同步,不能无限创建任务或依赖共享列表的偶然顺序。

在同一线程已经运行事件循环时,不能再次嵌套调用 asyncio.run;应按所在环境直接 await 协程。网络采集还要保持HTTP 请求失败与响应验证及API 入库项目中的完整性与事务边界,不要为了并发而丢失错误、重复写入或忽略关闭。