Описание должности
Ключевые обязанности
- Проектирование и создание систем обработки данных в реальном времени и офлайн с упором на производительность, стабильность и масштабируемость
- Разработка фреймворков моделирования данных для структурированных и неструктурированных источников
- Создание и поддержка процессов ETL, обеспечивающих согласованность данных и минимизацию задержек
- Установление технических спецификаций для инженерной платформы данных, включая стандарты документации и протоколы операционного мониторинга
- Реализация фреймворков управления данными для обеспечения соответствия нормативным требованиям и политикам безопасности данных
- Мониторинг метрик качества данных и разработка корректирующих мер для аномалий данных
- Сотрудничество с кросс-функциональными командами для выявления потребностей в обработке данных и оптимизации производительности системы
- Проведение анализа первопричин проблем обработки данных и предложение технических решений
- Разработка и поддержка систем управления метаданными для отслеживания происхождения данных и их каталогизации
- Обеспечение надежности и безопасности платформ данных через стратегии постоянного улучшения и снижения рисков
Требования к должности
- Подтвержденный опыт проектирования и внедрения систем обработки данных (минимум 5 лет)
- Экспертные знания в разработке ETL с использованием инструментов, таких как Apache Spark, Kafka или Flink
- Глубокое понимание методов моделирования данных и стратегий оптимизации баз данных
- Владение навыками создания технической документации и поддержки репозиториев кода
- Знание фреймворков управления данными и стандартов соответствия (например, GDPR, HIPAA)
- Опыт работы с инструментами и методологиями управления качеством данных
- Способность разрабатывать решения по управлению метаданными для каталогизации и отслеживания происхождения данных
- Навыки решения проблем с опытом оптимизации рабочих процессов обработки данных
- Владение мониторингом производительности системы и внедрением механизмов оповещения
- Отличные коммуникативные навыки для сотрудничества с заинтересованными сторонами и презентации технических решений
- Желательно: Опыт работы с облачными платформами данных (AWS, Azure, GCP) и технологиями контейнеризации (Docker, Kubernetes)
- Желательно: Знание протоколов безопасности данных и стандартов шифрования
- Желательно: Сильный опыт в лучших практиках инженерии данных и методологиях DevOps
