Описание вакансии
Мы ищем опытного инженера по эксплуатации больших данных для присоединения к нашей команде. Идеальный кандидат будет отвечать за комплексное управление нашей инфраструктурой больших данных, обеспечивая оптимальную производительность, безопасность и масштабируемость.
Ключевые обязанности
- Создание, эксплуатация, управление и устранение неисправностей платформ больших данных для обеспечения бесперебойной работы
- Обеспечение эффективной работы, стабильности и безопасности платформы больших данных, а также предоставление решений для обновлений и расширений кластеров
- Настройка и оптимизация различных компонентов платформы, включая Hadoop, Yarn, Kafka, Flink, Doris, MySQL и PostgreSQL
- Запуск и развертывание задач больших данных с пониманием типичных проблем выполнения и разработкой планов действий в чрезвычайных ситуациях
- Мониторинг производительности системы и внедрение улучшений для повышения эффективности
- Сотрудничество с командами разработчиков для внедрения лучших практик обработки и хранения данных
- Документирование конфигураций системы, процессов и процедур для обмена знаниями
Требования к кандидату
- Диплом бакалавра в области компьютерных наук, инженерии или смежной области
- Опыт работы в сфере эксплуатации и управления большими данными от 3 лет
- Глубокие знания компонентов экосистемы Hadoop (HDFS, YARN, MapReduce)
- Опыт работы с фреймворками потоковой обработки данных (Kafka, Flink)
- Знание реляционных баз данных (MySQL, PostgreSQL) и аналитических баз данных (Doris)
- Опыт администрирования Linux и написания shell-скриптов
- Понимание принципов распределенных систем и лучших практик
- Способность диагностировать сложные системные проблемы и внедрять решения
- Отличные навыки решения проблем и внимание к деталям
- Хорошие коммуникативные навыки и умение работать в команде
Предпочтительные квалификации
- Опыт работы с облачными решениями для больших данных (AWS EMR, Azure HDInsight, GCP Dataproc)
- Знание технологий контейнеризации (Docker, Kubernetes)
- Знакомство с инструментами инфраструктуры как кода (Terraform, Ansible)
- Понимание требований к безопасности данных и соответствию нормативным актам
- Сертификаты по соответствующим технологиям больших данных
