技能标签
专业技能
精通Python语言及Flask框架开发,擅长网络数据采集与反爬策略设计,具备Excel数据清洗与报表生成能力,熟悉MySQL/PostgreSQL数据库设计与优化。掌握Vue.js全栈开发及Node.js后端服务搭建,熟练运用ECharts进行数据可视化展示。具备NLP基础能力,可实现文本情感分析与实体识别。熟悉分布式爬虫架构及数据处理流程。
工作履历(脱敏处理)
主导数据采集系统架构设计,采用分布式爬虫技术解决反爬策略问题,实现日均百万级数据采集。开发数据处理Pipeline,完成数据清洗、结构化存储及多维度分析。搭建可视化看板系统,通过ECharts实现用户行为分析、视频内容统计等可视化展示。优化数据库索引与查询语句,提升数据检索效率30%。开发NLP模块实现文本情感分析,支持用户评论数据的分类与趋势预测。
项目经验(脱敏处理)
番茄小说数据采集项目:基于Flask框架构建数据采集系统,采用分布式爬虫技术处理反爬机制,实现小说元数据的结构化存储,并通过ECharts进行可视化展示。项目涉及多线程调度、IP代理池管理及数据去重策略,最终完成前100名小说的多维度分析报告。
哔哩哔哩用户行为分析项目:设计分布式爬虫架构采集UP主视频数据,采用Kafka实现数据实时传输,使用Flink进行流式计算处理。开发用户行为分析模块,通过Hive完成数据聚合,最终输出用户画像、视频热度等可视化看板,支持实时数据监控与预警功能。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
1年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接