데이터 엔지니어 at Cobo

직무 설명

주요 책임

• 데이터 수집, 작업 스케줄링, 데이터 품질, 메타데이터 관리, 지표 시스템 및 데이터 정제와 같은 하위 시스템에 중점을 둔 통합 데이터 플랫폼의 설계 및 개발을 주도합니다. 여기에는 기술 사양 정의, 크로스 기능 팀 조정 및 비즈니스 목표와의 일치 보장이 포함됩니다.
• 확장성, 성능 및 신뢰성을 위해 기존 기술 프레임워크를 최적화하는 것을 포함하여 빅데이터 플랫폼의 핵심 서비스 구성 요소를 개발 및 유지합니다. 이는 서비스 운영에서 고가용성, 안정성 및 낮은 지연 시간을 보장하기 위한 솔루션 구현을 포함합니다.
• 데이터 세트에 대한 비즈니스 분석을 수행하여 트렌드, 패턴 및 통찰력을 식별합니다. Tableau, Power BI 또는 사용자 정의 대시보드와 같은 고급 시각화 도구를 활용하여 이해관계자에게 직관적이고 실행 가능한 보고서를 생성합니다.
• 제품 팀과 협력하여 데이터 액세스 표준을 설계 및 구현하여 애플리케이션 및 서비스 전반에 걸쳐 일관성, 보안 및 효율성을 보장합니다. 여기에는 데이터 거버넌스 정책 및 통합 프로토콜 정의가 포함됩니다.
• 실제 비즈니스 문제를 해결하기 위해 최첨단 기술 및 방법론을 연구합니다. 여기에는 Flink와 같은 스트리밍 데이터 처리 도구 평가, 드래그 앤 드롭 보고 시스템 개발 및 데이터 분석 및 시각화를 위한 혁신적인 접근 방식 탐구가 포함됩니다.
• 요구 사항 수집부터 배포 및 출시 후 지원까지 개발 수명 주기에서 기술 리더십을 제공합니다. 여기에는 주니어 개발자 멘토링, 프로세스 문서화 및 업계 모범 사례 준수 보장이 포함됩니다.
• 시스템 성능 메트릭을 모니터링 및 분석하여 병목 현상 및 개선 영역을 식별합니다. 데이터 처리 효율성 향상, 지연 시간 감소 및 원활한 사용자 경험 보장을 위한 솔루션을 구현합니다.
• 데이터 엔지니어링, 빅데이터 기술 및 분석 도구의 새로운 트렌드에 대한 지속적인 학습에 참여합니다. 팀 내에서 지식을 공유하여 혁신 및 기술 성장을 촉진합니다.

직무 요구 사항

• 데이터 플랫폼 설계 및 개발 경험이 풍부하며, 데이터 수집, 작업 스케줄링, 데이터 품질, 메타데이터 관리 및 데이터 정제와 같은 하위 시스템에 대한 강력한 배경 지식이 있어야 합니다. ETL 프로세스 및 데이터 파이프라인 최적화에 대한 친숙도가 필수적입니다.
• Hadoop, Spark, Kafka 및 클라우드 플랫폼(예: AWS, Azure 또는 GCP)을 포함한 빅데이터 기술에 대한 전문 지식. 신뢰성 및 내결함성에 중점을 둔 확장 가능하고 고성능 서비스 구성 요소 구축 능력.
• Tableau, Power BI 또는 Matplotlib 및 Seaborn과 같은 Python 라이브러리와 같은 데이터 시각화 도구에 대한 강력한 숙련도. 복잡한 데이터 통찰력을 효과적으로 전달하기 위한 대화형 대시보드 및 보고서 생성 경험.
• 스트리밍 데이터(예: Apache Flink, Apache Storm) 및 배치 처리에서 특히 데이터 처리 프레임워크 및 알고리즘에 대한 깊은 지식. 실시간 및 과거 데이터 시나리오에 대한 데이터 워크플로 개발 및 최적화 능력.
• 비즈니스 요구 사항을 기술 솔루션으로 변환할 수 있는 탁월한 분석 및 문제 해결 능력. 구조화된, 반구조화된 및 비구조화된 데이터를 포함한 다양한 데이터 소스 및 형식 작업 경험.
• 데이터 거버넌스, 보안 및 준수 표준에 대한 강력한 이해. 데이터 무결성, 개인 정보 보호 및 규정 준수를 보장하는 데이터 액세스 정책 설계 능력.
• Python, Java 또는 Scala와 같은 프로그래밍 언어에 능숙. 데이터 저장 및 검색을 위한 SQL 및 NoSQL 데이터베이스(예: MySQL, PostgreSQL, MongoDB) 경험.
• 빠르고 역동적인 환경에서 긴박한 마감 시간 내에 작업할 수 있는 능력. 여러 프로젝트 및 우선 순위를 조정하기 위한 강력한 조직 및 시간 관리 기술.
• 데이터 과학자, 제품 관리자 및 DevOps 엔지니어를 포함한 크로스 기능 팀과 협업할 수 있는 탁월한 커뮤니케이션 및 협업 기술. 비기술적 이해관계자에게 기술 개념을 명확하고 간결하게 제시할 수 있는 능력.
• 컴퓨터 과학, 데이터 과학 또는 관련 분야의 학사 또는 석사 학위가 우대 사항입니다. 애자일 방법론 및 CI/CD 파이프라인 경험이 유리합니다.