千万级URL探测需避免盲目高并发。应控制单次并发 50–200，启用TCP连接复用与aiodns异步DNS解析，并做好分块持久化进度、分级超时、动态降频及异常隔离，方能稳定高效执行。

千万级URL探测不能只靠增加并发数

如果直接拿 aiohttp.ClientSession 顶着几万个 semaphore 并发往上冲，结果往往并不理想。轻则连接池被打满，DNS 解析卡住；重则被远端直接限流。

最终不是整个过程僵在那里，就是冒出大量 ClientConnectorError 或 TimeoutError。Python 3.11 的异步调度器确实做过优化，但真正的瓶颈依然绕不开系统文件描述符、本地 DNS 缓存策略，以及目标服务器本身的响应模式。

• 单次并发建议控制在 50–200（视目标域名分散度调整），而非盲目堆到 1000+
• 必须启用连接复用：connector = aiohttp.TCPConnector(limit=0, limit_per_host=0, keepalive_timeout=30)，否则默认每域名仅 10 连接
• DNS 解析是隐性瓶颈：用 aiodns 替代默认 resolver，或预解析并缓存 IP（尤其对固定域名集群）
• 避免在循环里反复创建 ClientSession —— 它应复用整个探测生命周期

如何设计可中断、可恢复的批量探测任务

一旦任务规模上到千万级 URL，跑到中途崩掉再从头来，代价往往高得离谱。更稳妥的做法，是让任务按 chunk 持久化进度，同时具备信号中断处理和断点续跑能力。

不要把希望押在内存队列上。改用带偏移量的文件迭代，或者用 SQLite 记录已经处理过的 hash，例如 hashlib.sha224(url.encode()).hexdigest()[:12]。

• 输入源推荐分块读取：用 itertools.islice + 文件游标，而非一次性 readlines()
• 成功/失败结果写入行式日志（JSONL 格式），每条含 url、status、elapsed、error 字段，方便后续用 pandas.read_json(..., lines=True) 分析
• 捕获 KeyboardInterrupt 后，主动调用 session.close() 和 connector.close()，再保存当前 offset
• 避免用 asyncio.gather 包裹全部任务 —— 它无法按需 cancel 单个 task，改用 asyncio.create_task + asyncio.wait 控制批次

超时与重试必须按场景分级设置

统一设 timeout=10 对所有 URL 是反模式。CDN 域名可能秒回，内网测试地址却常卡在 SYN 阶段；有些 404 页面渲染慢，有些 503 根本不发 body。

硬超时会掩盖真实瓶颈。更合理的方式，是按连接阶段和读取阶段分别设置，并对不同错误类型做差异化处理。

• 拆分 timeout：用 aiohttp.ClientTimeout(sock_connect=5, sock_read=15)，连接快但读取慢的页面不会被误判
• 重试仅针对幂等请求（GET / HEAD），且限制最多 2 次，每次间隔递增（如 0.5s → 1.2s）
• 跳过明确不可达类型：以 file://、ja vascript:、空 host、含 control char 的 URL 应在加载阶段过滤，不进 event loop
• 对返回 503 或 429 的域名，动态降频（例如该 host 下一周期并发减半，持续 30 秒）

Python 3.11 特有陷阱：taskgroup 与异常传播

asyncio.TaskGroup 在 3.11 引入，写法简洁，但默认行为会让一个 task 抛出异常导致整个 group cancel。对千万级探测来说，单个 DNS 失败不该 kill 全局任务流。

• 别用 async with asyncio.TaskGroup() 直接包裹所有探测 task
• 改用 asyncio.create_task + 显式 await + task.exception() 检查，让失败隔离
• 若坚持用 TaskGroup，必须配合 except Exception 捕获后 pass，否则异常未处理会终止整个 group
• sys.setswitchinterval() 在 3.11 已废弃，别试图调它来“提升切换频率”——实际无效且破坏兼容性

先找真正瓶颈，再扩规模

真正卡住千万级探测的，往往不是并发数。更常见的问题，是 DNS 批量解析延迟、TCP TIME_WAIT 占满端口，或日志写入阻塞 event loop。

建议先压测单个域名 1k URL，观察 netstat -an | grep :80 | wc -l 和 cat /proc/sys/net/ipv4/ip_local_port_range，再逐步扩规模。

《夸克》非常好用的免费AI浏览器

下载APP查看