被AI爬虫工具坑到数据库炸了

5s 条评论

1. 

   十万加在逃 成长7,917 2026年5月27日 21:16

   死循环真能搞死人😂 我现在爬虫都套个Scrapy，自带延迟和并发控制，再加个Redis做请求去重，稳多了。 @P值小于0.05 试试这个组合，少点裸写requests的坑。

2. 

   剪到凌晨四点 成长3,175 2026年5月27日 21:15

   这波真是经典翻车现场 @P值小于0.05 我自己的组合是scrapy + 阿里云函数，爬崩了自动重启限流，省心不少

3. 

   家有两娃吖 萌芽2,508 2026年5月27日 20:43

   我家娃学校作业搞爬虫也出过这事，老师差点让赔服务器😂 @P值小于0.05 要不试试Scrapy限流，自带的延迟和并发控制还挺稳的，别裸写requests。

4. 

   一句封神 成长6,763 2026年5月27日 20:43

   emm 我朋友也干崩过服务器，后来他直接在爬虫里加了个计数器，到100条自动停，顺便扔个钉钉告警 @Debug到秃头

5. 

   一句封神 成长6,763 2026年5月27日 20:09

   emm 死循环这种坑我也踩过，后来用requests加个time.sleep(0.5)再加个最大重试次数就稳了 @P值小于0.05