技能标签
专业技能
精通Hadoop生态体系,包括HDFS分布式存储、YARN资源调度框架及MapReduce计算模型,具备底层架构调优经验。熟练掌握Hive数仓架构设计,精通HiveQL语法及分区表、分桶表等优化策略。精通Kimball维度建模理论,具备数据模型分层设计(ODS/DWD/DWS/ADS)及数据仓库建设经验。熟悉Flume日志采集系统,掌握Sqoop数据迁移工具,具备多框架间数据同步方案设计能力。精通Doris实时分析引擎,熟悉其物化视图、索引优化等技术。掌握FineBI数据可视化工具,具备BI看板开发经验。熟悉Spark流批一体计算框架,掌握DataFrame/Dataset API及性能调优。精通Linux系统命令及Shell脚本开发。
工作履历(脱敏处理)
深耕大数据开发领域5年,主导构建企业级数据仓库体系,涵盖数据采集、存储、计算、分析及可视化全流程。精通Hadoop生态体系架构设计,具备底层框架调优及资源调度能力。主导多个数仓项目,采用Kimball维度建模理论设计分层数据模型,实现数据资产沉淀。熟练使用Flume/Sqoop构建数据管道,保障多源数据高效同步。主导Doris实时分析引擎部署,通过物化视图及索引优化提升查询性能30%。开发FineBI可视化看板,支撑业务部门数据决策,提升运营效率25%。
项目经验(脱敏处理)
项目名称:某大型零售企业O2O数据中台
项目描述:构建O2O订单数据分析平台,实现多维度订单指标统计及可视化展示。通过数据采集、清洗、建模及分析,支撑运营策略优化,提升订单处理效率。技术架构:采用HDFS分布式存储架构,结合DolphinScheduler任务调度系统,通过Doris实时分析引擎进行数据计算,最终接入自研BI平台实现可视化展示。核心职责:主导数仓模型设计,完成ODS/DWD/DWS/ADS分层架构搭建;设计Doris表结构,包括事实表、维表及指标表;编写并优化DorisSQL脚本,提升查询性能;构建数据管道实现多源数据同步;开发BI看板,实现关键业务指标可视化监控。技术挑战:应对海量订单数据实时分析需求,通过Doris物化视图及索引优化方案,将查询响应时间缩短至秒级。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
5年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接