IT人力外包人才简历库

返回列表

数据抓取与反爬策略工程师

驻场外包人员
工作年限:4年 意向城市:杭州 浏览:14次 发布时间:近期

技能标签

Python Java PHP Scrapy Nutch 反爬策略 数据清洗 分布式系统 ETL处理 高并发架构 Redis 消息队列 数据库优化 动态代理 请求头伪装 网络协议分析 数据抓取

专业技能

精通Python/Java/PHP多语言开发,熟悉Nutch、Scrapy等分布式爬虫框架,擅长反爬策略分析与绕过技术,具备数据清洗与ETL处理能力。掌握分布式系统架构设计,熟悉消息队列(Kafka/RabbitMQ)与任务调度(Airflow)。具备高并发场景下的系统优化经验,熟悉Redis缓存与数据库索引优化技术。

工作履历(脱敏处理)

曾主导某电商平台后台系统开发,负责订单处理模块架构设计,通过异步队列与缓存优化实现订单处理吞吐量提升30%。主导分布式爬虫系统优化项目,重构原有Nutch架构,采用动态代理与请求头伪装技术突破微信APP反爬机制,使数据采集效率提升40%。具备完整的数据采集-清洗-存储解决方案设计能力,熟悉Hadoop生态与数据仓库建设,能够独立完成从需求分析到系统部署的全流程开发。

项目经验(脱敏处理)

项目一:电商后台系统开发,负责订单处理模块架构设计,采用异步队列与缓存优化技术,实现高并发场景下的订单处理性能提升30%。项目二:分布式爬虫系统优化,重构原有Nutch架构,采用动态代理与请求头伪装技术突破微信APP反爬机制,使数据采集效率提升40%。项目三:数据清洗与存储系统建设,设计ETL处理流程,实现日均千万级数据的高效清洗与存储,支撑业务报表系统稳定运行。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

4年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接