Описание должности
Эта роль сосредоточена на предоставлении технической поддержки для реализации стратегий работы с данными, с особым акцентом на оптимизацию инфраструктуры данных и рабочих процессов. Кандидат будет отвечать за проектирование, управление и обслуживание систем хранилищ данных для обеспечения эффективной обработки данных и экономически выгодных решений. Ключевые обязанности включают интеграцию разнообразных источников данных в облачные хранилища данных, разработку и выполнение конвейеров данных, а также постоянное улучшение качества данных и производительности системы. Должность требует сотрудничества с межфункциональными командами для согласования стратегий данных с бизнес-целями и обеспечения соответствия стандартам управления данными.
Ключевые обязанности
- Внедрение лучших практик в проектировании и управлении хранилищами данных для снижения сложности и затрат, с использованием таких инструментов, как DBT, SQL, Python, Airflow и GitHub на платформе Google Cloud.
- Проектирование и выполнение процессов приема данных для передачи данных из различных источников в облачное хранилище данных (BigQuery), обеспечивая точность и своевременность данных.
- Поддержка интеграции множества источников данных, включая Google Analytics, транзакционные базы данных, SFTP-серверы и общедоступные наборы данных, доступные через API и вебхуки, в BigQuery для централизованного управления данными.
- Оптимизация производительности хранилища данных путем настройки запросов, проектирования схем и распределения ресурсов, а также мониторинг качества данных и внедрение корректирующих мер.
- Установление и поддержание рамок управления данными для обеспечения целостности, безопасности данных и соответствия нормативным требованиям.
- Сотрудничество с заинтересованными сторонами для определения потребностей в данных, документирования процессов и предоставления технических рекомендаций по реализации стратегии данных.
- Разработка и поддержка документации по рабочим процессам данных, процессам интеграции и конфигурациям систем для обмена знаниями в команде и будущего масштабирования.
- Участие в оценке новых инструментов и технологий для расширения возможностей обработки данных и повышения операционной эффективности.
Требования к должности
- Подтвержденный опыт реализации стратегий данных, с сильным опытом в проектировании и управлении хранилищами данных на облачных платформах, таких как Google Cloud Platform (GCP).
- Экспертные знания в использовании DBT (Data Build Tool), SQL, Python, Airflow и GitHub для преобразования данных, автоматизации и контроля версий в облачной среде.
- Высокий уровень владения работой с BigQuery для хранения, запросов и анализа данных, включая знания о его возможностях интеграции с внешними источниками данных.
- Опыт интеграции разнообразных источников данных, таких как Google Analytics, транзакционные базы данных, SFTP-серверы и общедоступные наборы данных через API и вебхуки.
- Технические навыки в оптимизации производительности хранилища данных, мониторинге качества данных и внедрении решений для устранения проблем, связанных с данными.
- Знание принципов управления данными, включая классификацию данных, контроль доступа и соответствие нормативным требованиям.
- Отличные коммуникационные и навыки сотрудничества для работы с межфункциональными командами, включая инженеров данных, аналитиков и бизнес-заинтересованных лиц.
- Способность четко документировать сложные рабочие процессы данных и конфигурации систем для справки команды и целей аудита.
- Сильные аналитические способности и внимание к деталям для обеспечения точных и надежных результатов обработки данных.
- Предпочтительные квалификации включают сертификаты в области облачных вычислений (например, Google Cloud Professional Data Engineer), инженерии данных или смежных областях, а также опыт разработки конвейеров данных и облачных аналитических инструментов.