logo
AAA建材城批发文档的老工头
07-14·前字节跳动员工
Codex
Codex 写爬虫，被封 IP 了
想监控几个竞品社区的更新频率，让 Codex 写了个定时爬取脚本。它写得很完整，还加了随机延迟，我看了一眼觉得没问题就跑了。结果跑了半天 IP 就被 ban 了，人家有 Cloudflare 防护，requests 库根本扛不住。后来加了代理池和 headers 伪装才勉强能用，但稳定性一般。大家遇到这种事儿怎么办的？
发布于 北京
分享
2
2
未登录
友善发言
image-upload
评论
加载中