IT人力外包人才简历库

返回列表

数据采集与爬虫开发工程师

驻场外包人员
工作年限:2年 意向城市:杭州 浏览:1次 发布时间:近期

技能标签

Python requests BeautifulSoup Selenium 正则表达式 爬虫开发 反爬虫处理 分布式爬虫 数据解析 自动化脚本 加密数据采集 验证码识别 网络请求优化 异步请求处理 数据清洗

专业技能

精通Python网络请求技术,熟练使用requests库进行HTTP/HTTPS协议请求,掌握BeautifulSoup与lxml进行HTML/XML文档解析,具备Selenium框架处理动态渲染页面的能力。熟悉正则表达式语法及re模块应用,能够实现复杂数据结构的提取与清洗。擅长处理加密数据采集场景,具备反爬虫机制(如IP代理、请求头伪装、验证码识别)的突破经验,掌握分布式爬虫框架(如Scrapy-Redis)的部署与优化。

工作履历(脱敏处理)

专注于数据采集与爬虫开发领域,主导多个高并发数据采集项目。开发基于requests+BeautifulSoup的音乐平台数据采集系统,实现网易云音乐歌曲信息的结构化存储;构建分布式爬虫框架,完成京东、淘宝等电商平台商品数据的批量采集。设计反爬虫解决方案,突破12306票务系统验证码识别与自动购票功能。优化Selenium框架性能,实现大麦网演唱会门票的自动化预订系统。具备完整的数据采集技术栈,涵盖请求处理、数据解析、存储优化等全流程开发能力。

项目经验(脱敏处理)

1. 音乐平台数据采集系统:基于requests+BeautifulSoup构建数据采集框架,实现网易云音乐歌手作品信息的结构化存储,支持多线程并发处理,日均采集数据量达50万条。2. 电商平台商品数据采集:开发分布式爬虫系统,完成京东、淘宝、唯品会等平台商品信息采集,采用异步请求优化技术提升采集效率,实现数据实时同步。3. 票务系统自动化解决方案:设计12306票务系统反爬虫处理方案,通过图像识别技术突破验证码验证,实现自动查票购票功能。4. 演唱会门票预订系统:构建大麦网门票预订自动化系统,集成滑块验证识别模块,成功实现高并发场景下的票务预订。5. 加密数据采集项目:开发针对加密数据的采集方案,采用动态请求头伪装与加密参数解密技术,完成小说平台加密内容的完整采集。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

2年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接