IT人力外包人才简历库

返回列表

数据采集与爬虫工程师

驻场外包人员
工作年限:1年 意向城市:北京 浏览:6次 发布时间:近期

技能标签

Python JS逆向 分布式爬虫 AES加密 RSA加密 DES加密 Selenium自动化 Scrapy框架 异步爬虫 数据校验 反爬虫策略 日志监控 网络协议分析 增量采集 分布式架构

专业技能

精通Python爬虫开发,掌握JS逆向解析、分布式爬虫架构设计、增量式数据采集技术。熟练运用AES/RSA/DES加密算法破解数据校验机制,具备Selenium自动化浏览器控制能力。熟悉Scrapy框架开发,擅长异步爬虫性能优化,具备日志监控与异常处理能力。掌握网络协议分析及反爬虫策略应对方案

工作履历(脱敏处理)

专注于数据采集系统开发与维护,主导设计分布式爬虫架构提升数据采集效率。完成多套反爬虫策略的破解方案,包括JS逆向解析、加密算法破解等。优化异步爬虫性能,提升数据采集吞吐量300%。搭建自动化监控体系,实现爬虫异常实时告警。开发数据校验模块,确保采集数据的完整性与准确性。

项目经验(脱敏处理)

某影视数据平台数据采集系统开发:设计分布式爬虫架构,采用Scrapy-Redis实现任务分发与结果存储。攻克OB混淆加密算法,通过JS逆向解析获取接口密钥。优化异步爬虫性能,提升日均数据采集量至50万条。开发数据校验模块,确保电影数据完整性。实现AES/RSA加密算法破解,解决接口身份验证问题。搭建自动化监控体系,实时监控爬虫运行状态并告警异常。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

1年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接