Task 队列阻塞与丢弃

发表于 2026-06-27 更新于 2026-06- 27

作者 mdo

13~17 分钟 阅读

在本地测试没问题，但线上在高并发、高频发布消息时出现“丢包”或“收不到信息”的现象，这在 think-swoole / Swoole 开发中非常典型。

虽然你配置了 task_worker_num = 8，但在高频广播消息的场景下，问题通常不是因为 Task 进程不够，而是由于 Swoole 的进程隔离、管道（Pipe）缓冲区溢出、慢消费者（网络瓶颈）以及协程未开启 等原因导致的。

以下是排查与彻底解决该问题的 4 个核心原因及调整方案：

1. Task 队列阻塞与丢弃（最核心原因）

当你在生产环境短时间内发布大量消息时，即使有 8 个 Task 进程，如果每个 Task 执行时间稍长，或者由于消息实在太多，Task 异步队列（Buffer）就会被瞬间填满。 [1, 2]

隐患：Swoole 默认的 Task 队列长度是有限的（通常取决于底层内核参数 net.core.wmem_max 或 max_request），一旦超过这个容量，后续投递的 Task 会被直接静默丢弃，或者 task() 方法返回 false，导致线上大面积消息收不到。

解决方案：
在 config/swoole.php 的 options 数组中，调大 Task 队列参数：

php

'options' => [
    'task_worker_num'   => 8,
    'task_max_request'  => 5000, // 每个 Task 进程处理完多少个请求后重启（防止内存泄漏）
    'task_queue_num'    => 10000, // 调大 Task 投递队列缓冲区的上限，防止瞬时并发高时丢弃
]

请谨慎使用此类代码。

[1]

2. Task 进程中未开启“协程”（Coroutine）

如果在 think-swoole 的 Task 异步任务中，你使用了诸如群发、数据库查询或向前端循环 push 消息的操作，而没有开启 Task 协程，那么这 8 个 Task 进程就是同步阻塞运行的。这意味着一个 Task 在把消息推送完之前，整个进程都无法接收下一个广播任务。

解决方案：
在 config/swoole.php 的 options 选项中，必须手动开启 task_enable_coroutine：
php
```
'options' => [
    'task_worker_num'       => 8,
    'task_enable_coroutine' => true, // 极其重要：允许在 Task 进程中使用一键协程，不阻塞进程
]
```
请谨慎使用此类代码。
注：开启后，Task 内部的 I/O 操作（如 Redis、MySQL、网络推送）都会自动切换为异步协程，这 8 个进程的吞吐量将瞬间提升百倍。 [1]

3. Swoole 层的“慢消费者”与发送缓冲区溢出（最常见网络原因）

本地测试由于网络延迟几乎为 0，数据传输极快。但在线上，部分客户端可能处于移动网络、弱网或加载卡顿状态（被称为 Slow Consumer）。 [1, 2]

痛点：当高频发布消息时，Swoole 试图把海量消息通过 TCP 发送给前端。如果某些客户端由于网络差“收得慢”，对应的网络套接字（Socket）发送缓冲区就会瞬间被挤爆（Overflow）。
隐患：Swoole 底层默认会采取直接断开该连接或者丢弃缓冲区外的数据来保护服务器，从而导致消息丢失。

解决方案：
在线上运行环境，适当调大 Swoole 的内存缓冲区以及单次发送的限制：

php

'options' => [
    'buffer_output_size' => 32 * 1024 * 1024, // 设置单次输出缓冲区大小为 32MB（默认很小）
    'socket_buffer_size' => 128 * 1024 * 1024, // 提升底层每个 TCP 连接的内核 socket 缓冲区
]

请谨慎使用此类代码。

[1, 2]

4. 广播设计的反模式：不要在 Task 中循环 $server->push()

检查你的 think-swoole 广播实现逻辑。如果你是在 Task 进程中，用一个大循环（如 foreach ($fds as $fd)）去一个接一个地执行 $server->push($fd, $data)，这是线上服务的大忌：

问题：如果在线人数有 2000 人，你的 Task 循环就要执行 2000 次网络 I/O，整个 Task 进程会在这一瞬间被牢牢卡死，后续进来的所有高频发布消息全部在队列中排队甚至超时丢失。
推荐优化方式：
使用更为优雅的“拉模式”，或者利用 think-swoole 自带的 Room（房间） 功能，由底层的事件轮询去异步分发广播，而不是自己在 Task 里写同步大循环。
php
```
// think-swoole 提供的 Room 广播（底层通过 Swoole 表的高效内存机制分发，速度远快于手动循环）
$websocket->to('all_users_room')->push($message);
```
请谨慎使用此类代码。

🛠️ 建议排查与调整步骤

查日志：去线上检查 runtime/swoole.log（或者你配置的 Swoole 错误日志路径），看有没有报 WARNING swSignalfd_onSignal、Buffer overflow 或者 task queue is full 的警告信息。
改配置：直接将上述第 1、2、3 点中提到的 task_enable_coroutine = true、task_queue_num 以及缓冲区大小（buffer_output_size）写入你线上的 config/swoole.php，然后重启 Swoole 服务。
压测观察：调整后，在线上使用高频消息再次测试。 [1]

技术

许可协议: CC BY 4.0