脉脉

艾优程Anna

06-30 · 艾优程

【紧急招聘】数据采集工程师--base北京任职需求：1、3年+爬虫/数据采集（通爬/定爬/逆向破解都可以）相关工作经验；2、有日均千万级以上数据采集经验，主导过至少1个中大型爬虫项目落地、有复杂反爬机制破解案例；技术要求：1）精通Python及Scrapy框架，深入理解HTTP协议与动态页面渲染机制；2）熟悉java 或 c++, 对计算机底层原理有较深入了解；3）掌握主流数据库（MySQL/MongoDB/Redis/HBase）和消息队列（Kafka/Pulsar）；4）具备分布式爬虫开发经验，熟悉任务调度与性能优化策略；5）熟悉Spark进行大规模数据清洗，了解Ray/Dask等分布式计算框架。