技能标签
专业技能
精通Java面向对象编程,具备丰富的框架开发经验;掌握Scala函数式编程及Python脚本开发能力;熟悉分布式系统架构设计,精通Hadoop生态(HDFS、MapReduce、Hive、HBase);精通Spark核心组件(RDD、SparkSQL、SparkStreaming)及Flink流处理框架;精通Kafka消息队列系统及Redis缓存技术;熟悉Elasticsearch全文检索引擎及ELT工具链(Flume、DataX、Kettle);具备MySQL数据库优化及事务管理经验;掌握日志处理工具(Logstash、Filebeat)及分布式协调服务(Zookeeper)
工作履历(脱敏处理)
主导某电商平台数据中台建设,完成从ODS到DWD数据仓库的全链路开发,实现日均10亿+数据量的实时处理。设计分布式广告缓存系统,通过Redis预热+RabbitMQ异步更新机制保障缓存一致性,提升广告加载速度300%。开发订单分布式事务处理模块,采用LCN分布式事务框架与Redission锁实现库存精准扣减,支持百万级并发下单。搭建实时流量预测系统,基于Hive+Spark完成广告位流量分析模型,提升流量预测准确率15%。
项目经验(脱敏处理)
某电商平台数据中台项目:基于Hadoop生态构建数据仓库,完成HDFS数据存储、MapReduce离线计算、Hive数据建模及HBase实时查询。设计分布式广告缓存系统,采用Redis预热+延迟双删策略保障缓存一致性,通过RabbitMQ实现缓存更新异步处理,降低系统负载。开发订单分布式事务模块,结合LCN框架与Redission锁实现跨服务事务一致性,支持百万级并发订单处理。优化搜索服务架构,采用Elasticsearch实现商品检索,响应时间缩短至50ms以内。
某广告流量预测系统:构建基于Hive的DW数据仓库,完成ODS层数据清洗及DW层维度建模。开发实时流量预测模型,利用Spark Streaming处理实时日志数据,结合历史流量分析结果实现广告位流量预测。设计数据管道通过Flume采集日志,DataX完成数据迁移,Kafka实现数据缓冲,最终实现广告投放精准度提升20%。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
7年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接