IT人力外包人才简历库

返回列表

大数据平台开发工程师

驻场外包人员
工作年限:7年 意向城市:成都 浏览:6次 发布时间:近期

技能标签

Java Scala Python Hadoop Spark Flink Kafka Redis HBase Hive HDFS Elasticsearch ELT工具 分布式系统 缓存一致性 日志处理 数据库优化 消息队列

专业技能

精通Java面向对象编程,具备丰富的框架开发经验;掌握Scala函数式编程及Python脚本开发能力;熟悉分布式系统架构设计,精通Hadoop生态(HDFS、MapReduce、Hive、HBase);精通Spark核心组件(RDD、SparkSQL、SparkStreaming)及Flink流处理框架;精通Kafka消息队列系统及Redis缓存技术;熟悉Elasticsearch全文检索引擎及ELT工具链(Flume、DataX、Kettle);具备MySQL数据库优化及事务管理经验;掌握日志处理工具(Logstash、Filebeat)及分布式协调服务(Zookeeper)

工作履历(脱敏处理)

主导某电商平台数据中台建设,完成从ODS到DWD数据仓库的全链路开发,实现日均10亿+数据量的实时处理。设计分布式广告缓存系统,通过Redis预热+RabbitMQ异步更新机制保障缓存一致性,提升广告加载速度300%。开发订单分布式事务处理模块,采用LCN分布式事务框架与Redission锁实现库存精准扣减,支持百万级并发下单。搭建实时流量预测系统,基于Hive+Spark完成广告位流量分析模型,提升流量预测准确率15%。

项目经验(脱敏处理)

某电商平台数据中台项目:基于Hadoop生态构建数据仓库,完成HDFS数据存储、MapReduce离线计算、Hive数据建模及HBase实时查询。设计分布式广告缓存系统,采用Redis预热+延迟双删策略保障缓存一致性,通过RabbitMQ实现缓存更新异步处理,降低系统负载。开发订单分布式事务模块,结合LCN框架与Redission锁实现跨服务事务一致性,支持百万级并发订单处理。优化搜索服务架构,采用Elasticsearch实现商品检索,响应时间缩短至50ms以内。

某广告流量预测系统:构建基于Hive的DW数据仓库,完成ODS层数据清洗及DW层维度建模。开发实时流量预测模型,利用Spark Streaming处理实时日志数据,结合历史流量分析结果实现广告位流量预测。设计数据管道通过Flume采集日志,DataX完成数据迁移,Kafka实现数据缓冲,最终实现广告投放精准度提升20%。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

7年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接