IT人力外包人才简历库

返回列表

分布式爬虫系统架构师

驻场外包人员
工作年限:4年 意向城市:杭州 浏览:3次 发布时间:近期

技能标签

分布式爬虫 数据抓取 反爬策略 ETL处理 消息队列 任务调度 Linux运维 数据库优化 Python开发 Java开发

专业技能

精通Python/Java/PHP后端开发,熟悉Scrapy、Nutch等爬虫框架,具备反爬策略分析与破解能力,擅长数据清洗与ETL处理。掌握分布式爬虫架构设计,熟悉消息队列(Kafka/RabbitMQ)与任务调度(XXL-JOB)技术,具备高并发场景下数据采集与处理经验。熟悉Linux系统运维及日志分析,具备数据库优化与性能调优能力。

工作履历(脱敏处理)

主导电商后台系统开发,实现订单生命周期管理,优化高并发场景下的交易处理效率。设计并实施分布式爬虫架构,提升数据抓取效率30%,攻克微信APP动态加密数据反爬技术难题。开发数据清洗模块,构建标准化数据处理流程,降低数据异常率至0.5%以下。优化爬虫任务调度系统,实现资源利用率提升40%,支持百万级并发请求处理。

项目经验(脱敏处理)

1. 电商后台系统开发:主导订单管理模块架构设计,实现从用户下单到物流跟踪的全链路业务逻辑,采用Redis缓存与消息队列技术保障高并发场景下的交易处理稳定性,系统日均处理订单量达50万+。

2. 分布式爬虫系统优化:重构爱奇艺分布式爬虫架构,引入动态代理与请求头指纹技术,破解微信APP动态加密数据反爬策略,数据抓取成功率提升至98.7%。设计分布式任务调度方案,实现爬虫集群弹性扩展,支撑日均10亿级数据采集需求。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

4年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接