火车头 连续15次访问404就自动停止采集 怎么实现？

z6045670 大佬有话说 :

火车头 连续15次访问404就自动停止采集 怎么实现？

因为对方网站列表页不更新 只能穷举法采集新内容

iiii.im 大佬有话说 :

防cc策略吧      

OldDriver 大佬有话说 :

火车头是什么？求科普。