Описание должности
Эта должность предполагает проектирование, разработку и оптимизацию комплексной платформы для разработки платформ данных. В обязанности входит работа с несколькими подсистемами, включая сбор данных, планирование задач, управление качеством данных, обработку метаданных, системы показателей и процессы очистки данных. Кроме того, кандидат будет заниматься созданием и поддержкой сервисных компонентов платформ больших данных, обеспечивая высокую доступность, стабильность и низкую задержку в предоставлении услуг. Также роль включает проведение углубленного бизнес-анализа с использованием инструментов визуализации данных для эффективного представления результатов. Дополнительно сотрудник будет участвовать в разработке продуктов и приложений, устанавливая стандарты и протоколы доступа к данным. Наконец, должность требует постоянного исследования новых технологий для решения бизнес-задач и совершенствования методов обработки, анализа и визуализации данных.
Ключевые обязанности
- Руководство проектированием и разработкой единой платформы данных с акцентом на подсистемы, такие как сбор данных, планирование задач, качество данных, управление метаданными, системы показателей и очистка данных. Это включает определение технических спецификаций, координацию межфункциональных команд и обеспечение соответствия бизнес-целям.
- Разработка и поддержка основных сервисных компонентов платформ больших данных, включая оптимизацию существующих технических решений для масштабируемости, производительности и надежности. Это предполагает внедрение решений для обеспечения высокой доступности, стабильности и низкой задержки в работе сервисов.
- Проведение бизнес-анализа наборов данных для выявления тенденций, закономерностей и инсайтов. Использование продвинутых инструментов визуализации (например, Tableau, Power BI или пользовательских дашбордов) для создания интуитивно понятных и полезных отчетов для заинтересованных сторон.
- Сотрудничество с продуктовыми командами для проектирования и внедрения стандартов доступа к данным, обеспечивая согласованность, безопасность и эффективность в приложениях и сервисах. Это включает определение политик управления данными и протоколов интеграции.
- Исследование передовых технологий и методологий для решения реальных бизнес-проблем. Это предполагает оценку инструментов, таких как Flink для обработки потоковых данных, разработку систем отчетов с drag-and-drop интерфейсом и изучение инновационных подходов к анализу и визуализации данных.
- Техническое лидерство в жизненном цикле разработки — от сбора требований до развертывания и пост-релизной поддержки. Это включает наставничество младших разработчиков, документирование процессов и обеспечение соответствия лучшим отраслевым практикам.
- Мониторинг и анализ метрик производительности системы для выявления узких мест и областей улучшения. Внедрение решений для повышения эффективности обработки данных, снижения задержек и обеспечения бесперебойного пользовательского опыта.
- Постоянное обучение для отслеживания новых тенденций в области инженерии данных, технологий больших данных и аналитических инструментов. Обмен знаниями внутри команды для стимулирования инноваций и технического роста.
Требования к кандидату
- Подтвержденный опыт проектирования и разработки платформ данных с глубокими знаниями подсистем, таких как сбор данных, планирование задач, качество данных, управление метаданными и очистка данных. Знание процессов ETL и оптимизации данных обязательно.
- Экспертиза в технологиях больших данных, включая Hadoop, Spark, Kafka и облачные платформы (например, AWS, Azure или GCP). Способность создавать масштабируемые и высокопроизводительные сервисные компоненты с акцентом на надежность и отказоустойчивость.
- Глубокое знание инструментов визуализации данных (например, Tableau, Power BI или Python-библиотек, таких как Matplotlib и Seaborn). Опыт создания интерактивных дашбордов и отчетов для эффективной передачи сложных инсайтов.
- Знание фреймворков и алгоритмов обработки данных, особенно потоковых (например, Apache Flink, Apache Storm) и пакетных данных. Способность разрабатывать и оптимизировать рабочие процессы данных для сценариев реального времени и исторических данных.
- Отличные аналитические и проблемно-ориентированные навыки с умением преобразовывать бизнес-требования в технические решения. Опыт работы с различными источниками и форматами данных, включая структурированные, полуструктурированные и неструктурированные данные.
- Глубокое понимание стандартов управления данными, безопасности и соответствия. Способность проектировать политики доступа к данным, обеспечивающие целостность, конфиденциальность и соблюдение нормативных требований.
- Владение языками программирования, такими как Python, Java или Scala. Опыт работы с SQL и NoSQL базами данных (например, MySQL, PostgreSQL, MongoDB) для хранения и извлечения данных.
- Способность работать в динамичной среде с жесткими сроками. Отличные организационные и тайм-менеджмент навыки для балансировки нескольких проектов и приоритетов.
- Отличные коммуникационные и командные навыки для работы с межфункциональными командами, включая data scientists, продуктовых менеджеров и DevOps-инженеров. Умение четко и лаконично представлять технические концепции нетехническим заинтересованным сторонам.
- Предпочтительные квалификации включают степень бакалавра или магистра в области компьютерных наук, data science или смежных дисциплин. Опыт работы с agile-методологиями и CI/CD-конвейерами будет преимуществом.