데이터 엔지니어 at Ramp

직무 설명

주요 업무

• DBT, SQL, Python, Airflow, GitHub와 같은 도구를 Google Cloud Platform에서 활용하여 데이터 웨어하우스 설계 및 관리의 모범 사례를 구현함으로써 복잡성과 비용을 줄입니다.
• 다양한 소스에서 클라우드 데이터 웨어하우스(BigQuery)로 데이터를 전송하기 위한 데이터 수집 프로세스를 설계 및 실행하여 데이터의 정확성과 적시성을 보장합니다.
• Google Analytics, 트랜잭션 데이터베이스, SFTP 서버 및 API와 웹훅을 통해 접근하는 공공 데이터 세트와 같은 다양한 데이터 소스를 BigQuery로 통합하여 중앙 집중식 데이터 관리를 지원합니다.
• 쿼리 튜닝, 스키마 설계 및 리소스 할당을 통해 데이터 웨어하우스 성능을 최적화하는 동시에 데이터 품질을 모니터링하고 시정 조치를 구현합니다.
• 데이터 무결성, 보안 및 규제 요구 사항 준수를 보장하기 위한 데이터 거버넌스 프레임워크를 수립하고 유지합니다.
• 이해관계자와 협력하여 데이터 요구 사항을 식별하고 프로세스를 문서화하며 데이터 전략 구현을 위한 기술적 지도를 제공합니다.
• 데이터 워크플로우, 통합 프로세스 및 시스템 구성에 대한 문서를 개발 및 유지하여 팀 지식 공유와 향후 확장성을 지원합니다.
• 데이터 처리 능력을 향상시키고 운영 효율성을 개선하기 위한 새로운 도구와 기술 평가에 참여합니다.

자격 요건

• Google Cloud Platform(GCP)과 같은 클라우드 플랫폼에서 데이터 웨어하우스 설계 및 관리에 대한 강력한 경험을 갖춘 데이터 전략 구현 실적이 입증된 지원자.
• 클라우드 환경에서 데이터 변환, 자동화 및 버전 관리를 위해 DBT(Data Build Tool), SQL, Python, Airflow 및 GitHub를 활용하는 데 능숙한 전문성.
• BigQuery를 사용한 데이터 저장, 쿼리 및 분석에 대한 강력한 숙련도, 외부 데이터 소스와의 통합 능력에 대한 지식 포함.
• Google Analytics, 트랜잭션 데이터베이스, SFTP 서버 및 API와 웹훅을 통한 공공 데이터 세트와 같은 다양한 데이터 소스 통합 경험.
• 데이터 웨어하우스 성능 최적화, 데이터 품질 모니터링 및 데이터 관련 문제 해결을 위한 솔루션 구현 기술.
• 데이터 분류, 접근 제어 및 데이터 규정 준수를 포함한 데이터 거버넌스 원칙에 대한 지식.
• 데이터 엔지니어, 분석가 및 비즈니스 이해관계자를 포함한 크로스 기능 팀과 협력하기 위한 탁월한 커뮤니케이션 및 협업 능력.
• 팀 참조 및 감사 목적으로 복잡한 데이터 워크플로우와 시스템 구성을 명확하게 문서화할 수 있는 능력.
• 정확하고 신뢰할 수 있는 데이터 처리 결과를 보장하기 위한 강력한 문제 해결 능력과 세부 사항에 대한 주의.
• 클라우드 컴퓨팅(예: Google Cloud Professional Data Engineer), 데이터 엔지니어링 또는 관련 분야의 인증 및 데이터 파이프라인 개발 및 클라우드 기반 분석 도구 경험을 우대합니다.