职位描述
我们正在寻找一名资深大数据工程师，负责设计、开发和优化ETL流程，确保数据的准确性、完整性和时效性。该职位需与跨职能团队协作，实施高效的数据解决方案以支持业务需求。
核心职责
- 设计、开发并优化大数据ETL流程以满足业务需求
- 参与数据仓库架构设计，开发相应的ETL解决方案
- 开发Spark应用程序处理海量数据，包括数据清洗、转换和加载
- 优化Spark作业性能，提升效率并降低资源消耗
- 编写Python脚本执行数据采集、预处理及监控任务
- 将Python代码与Spark应用集成，实现复杂数据工作流
- 在PySpark环境中开发，充分发挥Python与Spark的协同优势
- 解决PySpark技术问题，包括数据类型转换和性能优化
- 实施数据质量监控策略，开展ETL质量检查
- 建立数据质量报告机制，为决策提供支持
- 与数据分析师、科学家及仓库工程师协作完成项目
- 参与技术知识共享，提升团队整体能力
任职要求
- 具备丰富的大数据ETL流程设计与优化经验
- 精通Spark应用开发与性能调优
- 熟练掌握Python编程用于数据处理任务
- 具有PySpark集成与开发的实战经验
- 了解数据质量保障方法论及相关工具
- 理解数据仓库架构设计原理
- 能够解决复杂的数据处理问题
- 出色的团队协作与沟通能力
- 具有跨职能数据团队合作经验
- 保持持续学习心态和知识分享精神
优先条件
- 熟悉其他大数据技术（Hadoop、Hive等）
- 了解云数据平台（AWS、Azure、GCP）
- 接触过数据可视化与报表工具
- 具备机器学习概念及应用知识
- 有数据治理框架实施经验
