为什么量化团队需要"采集层"而不是"采集脚本"？

脚本能跑通不等于能跑稳。量化策略对数据时效性的要求极高，信号延迟2小时就可能导致整天的Alpha因子作废。

策略团队常犯的错误是把数据采集当作"写好脚本跑起来就行"的一次性开发。实际上，从另类数据采集到生产环境稳定运行，中间需要经过需求定义、架构选型、代理接入、调度容错、监控优化5个阶段。跳过任何一步，都会在策略上线后暴露为数据中断或信号延迟。

一项针对国内量化机构的行业调研显示，采集系统故障导致的策略信号缺失，平均每次影响2-4小时交易窗口。对日频以上策略来说，这意味着当天的信号输入直接残缺。

这5步不是按部就班的线性流程，而是相互关联的工程模块。后面逐步拆解决策框架和实操检查点。

第一步：数据需求怎么定义才不走弯路？

先回答4个问题再动手：采什么数据、多频繁更新、单日多大量级、最终存什么格式。

量化策略的数据采集需求可以按信号类型分成3层。每一层对采集基础设施的要求完全不同。

另类数据层是代理IP介入最深的区域。行情层多数通过API直连，基本面层数据量小且更新慢，真正考验采集层工程能力的是另类数据的高频大规模获取。

行业调研数据显示，量化团队花在数据清洗和预处理上的时间占数据工程总工时的40%-60%。这个比例高的根源往往不是清洗逻辑复杂，而是采集阶段的数据质量就没控制好。字段缺失、格式混乱、重复记录这些问题如果在采集层就拦截，下游清洗成本至少降一半。

这一步的交付物是一份数据地图：每个数据源对应一行，标清字段定义、更新周期、优先级、预估请求量。后续所有架构和资源配置都从这张表出发。

数据地图模板

第二步：采集架构该选单体还是分布式？

日均请求量低于10万选单体，超过10万选分布式。这是最简洁的判断标准。

行业基准测试表明，分布式架构的峰值吞吐量是单体架构的8-15倍，但部署和运维成本也会增加2-3倍。不要为了"技术先进"而过度设计。

量化另类数据采集通常落在"分布式调度"这一档。日均几十万到几百万请求，需要多个Worker并行采集，但不需要实时流处理能力。

架构设计阶段有4个接口必须预留：

1. 代理服务接入层：统一管理代理IP的获取、轮换和健康检查
2. 任务队列：解耦任务分发和执行
3. 去重存储：避免同一数据重复入库
4. 异常回调：采集失败时触发补偿逻辑

这4个接口即使在单体架构下也建议预留。后续扩展到分布式时，只需要替换实现，不需要改接口。

第三步：代理策略怎么配才能稳定跑？

代理是采集层的核心基础设施。这一步解决3个问题：选什么类型的代理、IP池规模配多大、轮换策略怎么定。

代理类型选择逻辑

量化另类数据采集最常用的组合是：短效代理覆盖高频轮换任务，隧道代理覆盖中等频率的日常采集。独享代理用在需要固定出口的场景，比如特定数据源对出口IP有白名单要求。

短效代理不适合需要长会话保持的采集任务。如果某个数据源需要登录态或多页面连续访问，IP存活时间只有几分钟会导致会话中断。这种场景应该用独享代理或长效代理。

IP池规模估算

所需IP池规模 = 日均请求量 ÷ 单IP日均安全请求量

以舆情监测场景为例：日均采集50万条社交媒体数据，目标网站的访问频率控制阈值大约是单IP每分钟3-5次请求，换算下来单IP日均安全请求量约4000-7000次。50万÷5000=100个IP最低储备，考虑冗余建议配到200-300个。

IP轮换策略决策表

行业实践中，舆情监测和广告监测场景多用"按任务轮换"策略。核心做法是把不同数据源的采集任务分配到不同的IP子池，各池之间资源独立、互不影响。某条任务触发访问频率限制导致一批IP被标记时，只影响该任务对应的子池，不传导到其他任务。

第四步：调度和容错机制怎么搭？

调度解决"什么时候采、谁来采"，容错解决"采失败了怎么办"。两者缺一不可。

调度模式选择

量化采集层推荐DAG编排。原因是多数据源之间有依赖关系：先采原始页面，再解析结构化字段，再写入因子库。DAG能自动管理这些依赖，一个节点失败不影响无关节点的执行。

对于招投标数据这类低频固定周期的任务，Cron定时就够了，没必要引入DAG的额外复杂度。

容错的3个核心机制

1. 重试策略：请求失败后按指数退避重试，最多3次。间隔分别为2秒、8秒、32秒。连续3次失败后标记为"需人工介入"，不再消耗IP资源。
2. 断路器：连续失败率超过阈值时，暂停该数据源的采集任务，避免大量无效请求浪费代理IP。推荐阈值：5分钟内失败率超过50%触发熔断，熔断持续10分钟后自动尝试恢复。
3. 数据补采：容错不只是"请求成功"，还要确保数据完整。每个采集周期结束后，自动比对已入库记录数和预期记录数，差值超过5%触发补采任务。

根据行业调研，配置了断路器和自动补采机制的采集系统，数据完整率可以从85%提升到99%以上。大部分量化团队在上线断路器之前，平均每月遇到1-2次因未及时熔断而导致的IP资源浪费事件。

第五步：监控体系要覆盖哪些指标？

量化策略对数据中断的容忍度极低。监控体系要覆盖4个维度，每个维度设定明确的告警阈值。

数据新鲜度是量化场景的特有指标。定义为"数据从源端更新到入库可用的端到端延迟"。以广告监测场景为例，如果广告投放数据的采集延迟超过2小时，对应的消费信号因子就会滞后，直接影响策略信号质量。

监控仪表盘至少需要3块面板：

1. 实时请求成功率趋势图：分钟级粒度，按数据源分组
2. IP池健康度分布图：展示各子池的可用IP数和被限制比例
3. 数据入库完成进度条：按采集周期展示每个数据源的入库进度

行业实践中，监控覆盖率低于80%的采集系统，平均每月出现1.5次数据中断事故。多数事故在发生30分钟后才被发现，但如果监控到位，发现时间可以压缩到3分钟以内。

搭建完这5步，采集层才算真正从"脚本"升级为"工程系统"。回到开头的问题：量化策略对数据的依赖不亚于对模型的依赖。模型可以回测优化，但数据中断造成的信号缺失不可回溯。采集层的工程质量，决定了策略在生产环境能跑多远。

FAQ

Q：量化策略的采集层和普通爬虫系统有什么区别？

核心区别在于对数据时效性和完整性的要求。普通爬虫系统可以接受部分数据丢失或延迟，但量化策略要求数据在特定时间窗口内完整到位。这意味着采集层必须有断路器、自动补采、多代理供应商冗余等工业级容错机制，不能靠人工盯着。

Q：采集另类数据，代理IP池需要多大？

取决于日均请求量和目标网站的访问频率控制策略。估算公式：所需IP数=日均请求量÷单IP日均安全请求量。比如日均50万请求、单IP安全量5000次，至少需要100个IP。实际部署建议按2-3倍冗余配置，预留IP冷却和突发流量的空间。

Q：短效代理和隧道代理应该怎么选？

高频轮换场景用短效代理，比如每分钟采集一次社交媒体舆情数据。中等频率且不需要维护会话的场景用隧道代理，系统自动完成IP切换，运维成本更低。需要固定出口IP的场景用独享代理。

Q：采集过程中IP被频繁限制怎么办？

分3步排查。第一步检查单IP的请求频率是否超过目标网站的安全阈值，通常每分钟3-5次是多数网站的安全线。第二步检查IP轮换策略是否合理，避免同一IP在短时间内集中访问同一路径。第三步考虑将不同数据源的采集任务分配到独立的IP子池，降低单池负载。

Q：DAG编排工具应该选哪个？

主流选择是Airflow、Prefect和Dagster。Airflow社区最成熟，但配置复杂度高，适合有专职运维的团队。Prefect配置更简洁，适合中小规模量化团队快速搭建。Dagster对数据资产的管理能力更强，适合数据工程基础设施已有一定规模的机构。

Q：如何判断采集层是否处于健康状态？

看4个核心指标：请求成功率是否稳定在95%以上，数据缺失率是否低于5%，端到端数据新鲜度是否满足策略要求，IP池被限制率是否低于20%。4个指标全部达标，采集层基本健康。任何一个指标持续偏离阈值，都应该进入排查流程。

Q：多个数据源的采集任务需要共用IP池还是分开？

建议分开。不同数据源对请求频率、IP类型的要求不同，共用IP池会导致高风险任务拖累低风险任务。行业通行做法是按数据源或按业务线划分独立的IP子池，各池独立管理和监控。这样某条任务触发限制时，只影响对应子池，不波及其他任务。