很多采集项目启用 ThreadPoolExecutor 多线程后,出口 IP 依旧重复,根源往往不是线程池,而是缺少独立的代理调度层。本文讲解多线程场景下 IP 轮换的核心原理、组件设计,附带可直接运行的 Python 完整采集代码,包含代理池并发控制、失败冷却、线程安全会话等能力,同时说明运行验证方法与生产环境优化要点,解决爬虫采集 IP 不轮换、线程安全、代理过载等常见问题。
IP 纯净度指代理 IP 未被反爬黑名单收录、未被目标平台风控标记的状态。判定看 6 个维度(黑名单、风控记录、来源类型、历史行为、IP 段污染、协议特征);衰减常因高频请求、并发异常、共享池污染传导;维护靠业务分池隔离、频率控制、纯净池更新三件事。纯净度不是静态属性,是"起点 × 使用方式"的连续过程。