IT人力外包人才简历库

精通Python/Java编程语言，熟练R语言、Matlab、SPSS、Eviews数学建模工具；精通MySQL/Oracle关系型数据库及Redis/MongoDB非关系型数据库；熟练Linux系统开发及数据结构与算法；精通Hadoop生态体系（HDFS/MapReduce/YARN/Hive/HBase/Spark/Kafka/Flume/ZooKeeper）；熟悉数据治理与数据建模技术

主要负责大数据平台的日常运维与需求开发，包括数据采集、加工、存储及可视化展示。主导数据仓库架构设计与实施，完成数据血缘分析、资源调度优化及数据治理方案制定。参与企业级数据迁移项目，完成Oracle/MySQL数据迁移至自研数据平台，实现数据开发流程标准化。具备丰富的分布式系统运维经验，能够独立处理数据采集异常、任务调度失败等技术问题。

项目一：大数据平台运维开发（2021年3月-2021年6月）

负责某大型通信企业大数据平台的日常运维及需求开发，主要工作包括：1）构建数据采集管道，通过Flume/Kafka实现多源数据实时同步；2）设计数据仓库架构，基于Hive/Spark完成数据清洗、聚合及多维分析；3）优化资源调度策略，通过YARN集群管理实现计算资源动态分配；4）实施数据治理方案，建立数据血缘追踪体系，确保数据质量与合规性。

技术挑战：1）数据采集异常处理：通过日志分析定位数据源问题，利用awk工具清洗脏数据并触发重传机制；2）分布式任务调度优化：通过资源隔离和动态扩缩容技术解决集群资源瓶颈；3）数据血缘配置：建立多层级数据映射关系，实现数据变更追溯。

项目二：数据上云迁移（2021年3月-2021年6月）

主导企业数据平台迁移项目，完成Oracle/MySQL数据库及Hive计算逻辑向自研数据平台迁移。主要工作包括：1）设计数据迁移方案，采用ETL工具实现数据清洗与格式转换；2）搭建统一调度体系，基于数据云平台实现任务编排与监控；3）配置可视化报表工具，通过O2BI平台实现数据多维分析展示。项目实现数据处理效率提升40%，运维成本降低30%。