技能标签
专业技能
精通Java/Python/Scala多语言开发,熟悉Hadoop/Spark/Flink分布式计算框架,掌握Spring Boot微服务架构,具备MySQL/PostgreSQL/Redis/MongoDB多数据库设计与调优能力。擅长数据采集、ETL处理、实时数据流处理及大数据平台架构设计,熟悉Kafka消息队列、Hive数仓构建等大数据技术体系。
工作履历(脱敏处理)
主要负责大数据平台架构设计与开发,主导ETL数据处理流程优化,提升数据处理效率30%。设计基于Spark的分布式计算框架,实现日均10亿级数据的实时处理。开发数据采集系统,采用Kafka进行数据缓冲,保障数据传输可靠性。搭建数据仓库体系,完成从数据清洗到报表生成的全链路开发。持续优化数据库索引策略,降低查询响应时间至毫秒级。
项目经验(脱敏处理)
某大型运营商不良信息过滤系统开发:基于Python/Scala构建数据处理平台,采用Hadoop生态进行日志数据采集与ETL处理。设计分布式爬虫系统,通过Flink实现实时链接验证,日均处理数据量达200GB。创新性引入机器学习模型进行链接分类,准确率提升至98%。搭建Kafka消息队列实现数据缓冲,保障系统高可用性。最终实现涉黄链接封堵率提升40%,系统稳定性达到99.99%。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
2年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接