IT人力外包人才简历库

返回列表

大数据开发工程师

驻场外包人员
工作年限:2年 意向城市:成都 浏览:3次 发布时间:近期

技能标签

Java Python Scala Hadoop Spark Flink Spring Boot MySQL PostgreSQL Redis MongoDB ETL 数据采集 爬虫技术 分布式计算 大数据平台

专业技能

精通Java/Python/Scala多语言开发,熟悉Hadoop/Spark/Flink分布式计算框架,掌握Spring Boot微服务架构,具备MySQL/PostgreSQL/Redis/MongoDB多数据库设计与调优能力。擅长数据采集、ETL处理、实时数据流处理及大数据平台架构设计,熟悉Kafka消息队列、Hive数仓构建等大数据技术体系。

工作履历(脱敏处理)

主要负责大数据平台架构设计与开发,主导ETL数据处理流程优化,提升数据处理效率30%。设计基于Spark的分布式计算框架,实现日均10亿级数据的实时处理。开发数据采集系统,采用Kafka进行数据缓冲,保障数据传输可靠性。搭建数据仓库体系,完成从数据清洗到报表生成的全链路开发。持续优化数据库索引策略,降低查询响应时间至毫秒级。

项目经验(脱敏处理)

某大型运营商不良信息过滤系统开发:基于Python/Scala构建数据处理平台,采用Hadoop生态进行日志数据采集与ETL处理。设计分布式爬虫系统,通过Flink实现实时链接验证,日均处理数据量达200GB。创新性引入机器学习模型进行链接分类,准确率提升至98%。搭建Kafka消息队列实现数据缓冲,保障系统高可用性。最终实现涉黄链接封堵率提升40%,系统稳定性达到99.99%。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

2年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接