직무 설명
1. 회사의 엔드투엔드 데이터 아키텍처 구축을 담당하며, 오프라인 배치 처리와 실시간 스트리밍 파이프라인을 모두 포함합니다.
2. 데이터 수집, 동기화, 정제 및 변환을 위한 ETL/ELT 프로세스를 수립 및 유지하여 시스템으로의 정확하고 효율적인 데이터 흐름을 보장합니다.
3. Flink를 활용한 실시간 데이터 수집, 정제, 집계 및 지표 계산을 구현하여 데이터의 시의적절성과 정확성을 보장합니다.
4. 계층화된 데이터 웨어하우스 아키텍처를 설계 및 구현하며, 데이터 모델링, 차원 설계 및 통합 지표 정의를 포함하여 재사용 가능하고 유지보수 가능한 데이터 기반을 구축합니다.
5. 데이터 인터페이스, 보고서 및 기본 데이터 서비스를 개발하여 각 비즈니스 부서(운영, 영업, 제품)의 분석, 의사 결정 및 운영 요구를 지원합니다.
6. 데이터 품질을 모니터링하고 문제를 해결하며 프로세스를 최적화하여 데이터의 정확성, 완전성 및 시의적절성을 보장하는 동시에 기본적인 데이터 거버넌스 표준을 수립합니다.
7. 비즈니스 데이터 요청에 신속하게 대응하고, 기존 데이터 워크플로우 및 SQL/스크립팅 작업을 최적화하여 배치 및 실시간 처리 성능을 개선하면서 유지보수 비용을 절감합니다.
주요 책임
- 역사적 및 실시간 분석을 지원하는 확장 가능한 데이터 인프라 설계 및 유지
- 적절한 오류 처리 및 모니터링 메커니즘을 갖춘 견고한 데이터 파이프라인 개발
- 크로스 기능 팀과 협력하여 데이터 요구 사항을 이해하고 솔루션 제공
- 지식 공유를 위한 데이터 프로세스, 모델 및 표준 문서화
- 데이터 역량 강화를 위한 새로운 기술 지속적으로 평가 및 구현
직무 요구 사항
- 컴퓨터 과학, 수학 또는 관련 분야의 학사 학위 이상, 5년 이상의 데이터 개발 및 웨어하우스 경험
- MySQL, Hive, Paimon, HBase에서의 복잡한 쿼리 및 저장 프로시저를 포함한 전문 SQL 기술
- ETL 스크립팅 및 데이터 처리 작업 개발을 위한 Java/Python 숙련도
- 데이터 동기화 및 처리 최적화를 위한 Spark, Flink, Kafka 실무 경험
- 설계 원칙에 대한 이해를 바탕으로 한 강력한 데이터 웨어하우스 모델링 기술
- 데이터 이상 및 성능 문제 해결을 위한 우수한 문제 해결 능력
- 스타트업 및 기업 환경 경험 우대, 다중 역할 책임에 대한 적응력
- 알리바바 클라우드 데이터 플랫폼(MaxCompute, DataWorks 등)에 대한 친숙도 우대
- 금융, 거래 또는 결제 도메인에서의 관련 데이터 시나리오 경험 우대
혜택
원격 근무 옵션 | 최소 10일 연차 휴가 | 5일 유급 병가 | 긍정적인 업무 환경
필수 요구 사항: 더블 퍼스트 클래스 대학 학위
