技能标签
专业技能
精通大数据平台全栈开发，涵盖Hadoop生态（HDFS/MapReduce/YARN）、Hive数据仓库建模、PySpark批处理分析及实时流处理。掌握NLP算法工程化落地全流程，包括文本预处理、特征工程、模型训练与部署。熟悉分布式系统架构设计，具备ZooKeeper协调服务、Kafka高吞吐消息队列、Flume日志采集、HBase实时存储等技术栈。精通Linux系统运维、Docker容器化部署及Kubernetes集群编排。熟练使用MySQL进行关系型数据库优化，具备复杂查询与性能调优能力。
工作履历（脱敏处理）
主导某政务平台QA机器人项目，构建非结构化数据处理全流程。设计基于NLP技术栈的文本清洗管道，通过Flume采集多源日志数据，利用HDFS分布式存储实现PB级数据管理。基于PySpark构建特征工程体系，结合Hive完成离线数仓分层设计，通过Kafka实时数据管道实现秒级响应。优化HBase存储结构提升查询效率30%，并基于ZooKeeper实现分布式协调服务保障系统高可用性。
项目经验（脱敏处理）
政务平台QA机器人项目：负责非结构化数据处理系统架构设计。采用Flume实现日志采集与过滤，构建基于HDFS的分布式存储体系。利用PySpark完成TB级文本数据清洗、分词及特征提取，通过Hive构建分层数据仓库支持多维分析。设计Kafka实时数据管道实现流量削峰，结合HBase列式存储实现低延迟查询。优化NLP模型部署架构，将文本分类准确率提升至92%，支撑日均百万级对话处理需求。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
5年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接