数据科学家 at Trusta Labs

职位描述

核心职责

• 设计、开发并优化大数据ETL流程以满足业务需求
• 参与数据仓库架构设计，开发相应的ETL解决方案
• 开发Spark应用程序处理海量数据，包括数据清洗、转换和加载
• 优化Spark作业性能，提升效率并降低资源消耗
• 编写Python脚本执行数据采集、预处理及监控任务
• 将Python代码与Spark应用集成，实现复杂数据工作流
• 在PySpark环境中开发，充分发挥Python与Spark的协同优势
• 解决PySpark技术问题，包括数据类型转换和性能优化
• 实施数据质量监控策略，开展ETL质量检查
• 建立数据质量报告机制，为决策提供支持
• 与数据分析师、科学家及仓库工程师协作完成项目
• 参与技术知识共享，提升团队整体能力

任职要求

• 具备丰富的大数据ETL流程设计与优化经验
• 精通Spark应用开发与性能调优
• 熟练掌握Python编程用于数据处理任务
• 具有PySpark集成与开发的实战经验
• 了解数据质量保障方法论及相关工具
• 理解数据仓库架构设计原理
• 能够解决复杂的数据处理问题
• 出色的团队协作与沟通能力
• 具有跨职能数据团队合作经验
• 保持持续学习心态和知识分享精神

优先条件

• 熟悉其他大数据技术（Hadoop、Hive等）
• 了解云数据平台（AWS、Azure、GCP）
• 接触过数据可视化与报表工具
• 具备机器学习概念及应用知识
• 有数据治理框架实施经验