技能标签
专业技能
精通实时计算框架Flink与Spark Streaming，掌握Exactly-Once机制实现及Watermark处理。熟悉流式数据处理架构设计，具备高并发场景下的流式计算优化经验。精通分布式存储系统HBase与Kudu，熟悉Impala实时查询优化。掌握Hadoop生态体系（HDFS/YARN/MapReduce）及Hive数仓架构设计。具备Kafka分布式消息队列部署经验，熟悉数据采集工具Flume与Sqoop。熟悉数据治理工具Ranger、Atlas及Griffin数据质量体系。
工作履历（脱敏处理）
主导数据中台建设，完成从传统离线数仓向实时数据治理平台的架构升级。设计数据安全脱敏方案，实现敏感字段过滤与数据加密处理。搭建数据质量监控体系，通过Griffin工具实现数据血缘追踪与质量校验。开发元数据管理系统，实现数据资产可视化与共享机制。构建实时数仓架构，采用Kafka+Spark Streaming实现业务数据实时处理，通过Kudu存储实时指标数据。优化流式计算架构，解决数据延迟与数据一致性问题，提升系统吞吐量30%。
项目经验（脱敏处理）
项目一：数据治理系统（数据中台）
采用Ranger实现数据安全管控，设计多级脱敏策略处理敏感字段。构建元数据管理体系，通过Atlas实现数据资产可视化。搭建数据质量监控平台，利用Griffin进行数据校验与血缘追踪。开发数据标准规范体系，制定数据检验流程与质量评估模型。实现数据API化改造，提供标准化数据服务接口。
项目二：实时系统（数据中台）
设计Kafka+Spark Streaming实时计算架构，处理PB级业务数据流。构建Kudu实时数仓，实现分钟级数据落库与查询。开发MySQL实时指标存储方案，保障关键业务指标时效性。优化流式计算架构，解决数据背压与数据一致性问题。设计分布式数据采集方案，整合Flume与Sqoop实现多源数据同步。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
1年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接