


资深爬虫工程师(爬虫专家) (1人)
职位编号: | THR000893 | 招聘职位: | 资深爬虫工程师(爬虫专家) |
工作类型: | 不限 | 年薪: | 51-80万 |
要求性别: | 不限 | 年龄要求: | 28 - 33 |
学历要求: | 本科及以上 | 工作地区: | 北京 |
工作经验: | 3年以上 | 户口要求: | |
发布日期: | 2021-09-06 | 有效期限: | 3个月 |
1、参与分布式爬虫平台架构、开发工作(如任务调度、多样化抓取、负载均衡、海量数据解析与处理、全链路追踪、指标监控及报警等);
2、根据公司各个业务需求,爬取全网海量来源的数据,解决各类反爬问题;
3、参与爬虫平台架构演进、稳定性治理及性能调优。
1、熟悉爬虫工作原理,深入了解至少一种主流爬虫框架的架构及原理,如 Scrapy;
2、三年以上爬虫工作经验,有大规模数据爬取经验,日爬取量千万以上;
3、技术扎实,熟练掌握java语言。有python开发经验更佳;
4、自我驱动,执行力强,有攻坚精神;对学习有热情,追求技术进步;
5、对常见各类反爬方式(如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等)有一定解决经验;
6、有app逆向经验者优先;
7、熟悉spring boot ,spring cloud等相关技术者优先。