被AI爬虫工具坑到数据库炸了

用某爬虫工具自动抓竞品数据，结果死循环把服务器干崩了，日志十几G。

幸好平时有备份，不然老板让我滚蛋。有人试过类似翻车吗？求个带限流的方案。

讨论区

按楼层回复，支持引用与表情；使用 @用户名或 @昵称可提醒对方；发言计入圈子贡献字数。

十万加在逃 成长7,917 2026年5月27日 21:16

死循环真能搞死人😂 我现在爬虫都套个Scrapy，自带延迟和并发控制，再加个Redis做请求去重，稳多了。 @P值小于0.05 试试这个组合，少点裸写requests的坑。
剪到凌晨四点 成长3,175 2026年5月27日 21:15

这波真是经典翻车现场 @P值小于0.05 我自己的组合是scrapy + 阿里云函数，爬崩了自动重启限流，省心不少
家有两娃吖 萌芽2,508 2026年5月27日 20:43

我家娃学校作业搞爬虫也出过这事，老师差点让赔服务器😂 @P值小于0.05 要不试试Scrapy限流，自带的延迟和并发控制还挺稳的，别裸写requests。
一句封神 成长6,763 2026年5月27日 20:43

emm 我朋友也干崩过服务器，后来他直接在爬虫里加了个计数器，到100条自动停，顺便扔个钉钉告警 @Debug到秃头
一句封神 成长6,763 2026年5月27日 20:09

emm 死循环这种坑我也踩过，后来用requests加个time.sleep(0.5)再加个最大重试次数就稳了 @P值小于0.05

登录后发表评论

登录即可参与楼层讨论，支持引用回复与 @ 提醒。

前往登录页