직무 설명
우리는 대규모 분산 크롤링 시스템의 개발 및 유지보수를 주도할 고도로 숙련된 전문가를 찾고 있습니다. 이상적인 후보자는 복잡한 반크롤링 메커니즘을 해결하면서도 핵심 비즈니스 요구사항을 위한 안정적인 데이터 수집을 보장할 수 있는 분이어야 합니다.
주요 책임
- 다양한 반크롤링 메커니즘을 극복하고 대규모 분산 크롤링 시스템을 유지보수하여 핵심 데이터 소스의 안정적인 공급을 보장
- 퀀트 트레이딩 로직을 깊이 이해하고 팀과 협력하여 비즈니스 요구사항을 효율적인 기술 솔루션으로 전환
- 제품, 디자인 및 프론트엔드 팀과 협력하여 고품질의 결과물을 제공
- 구조화 및 비구조화 데이터를 위한 견고한 데이터 처리 파이프라인 설계 및 구현
- 고동시 시나리오에서 시스템 성능과 안정성을 지속적으로 최적화
자격 요건
- 견고한 엔지니어링 기반:
- 3년 이상의 Python 개발 경험과 강력한 컴퓨터 과학 기초(자료 구조, 알고리즘, 네트워킹, 운영 체제)
- Python 내부 구조(GIL, 메모리 관리)에 대한 깊은 이해와 고성능 동시성 설계를 위한 프로세스/스레드/코루틴 모델 숙련
- FastAPI, Django 및 기타 웹 프레임워크에 능숙; MySQL/Redis 전문가로서 강력한 데이터베이스 설계 및 최적화 기술 보유
- Docker 경험과 k8s에 익숙하며 독립적인 배포 가능
- 크롤링 및 리버스 엔지니어링 기술:
- Scrapy 및 Playwright와 같은 프레임워크를 사용한 2년 이상의 대규모 데이터 수집 경험
- 코드 디버깅 및 난독화 해제를 위한 강력한 JS 리버스 엔지니어링 능력; 반크롤링에서의 암호화 알고리즘(RSA/AES/DES)에 익숙
- 캡차, IP 차단, 요청 서명, 행동 감지 등 반크롤링 메커니즘에 대한 철저한 이해와 검증된 대응책 보유
- 데이터 클렌징(결측값/이상값) 경험과 적절한 저장 솔루션(RDBMS/NoSQL/시계열 데이터베이스) 설계 경험
- 우대 사항:
- 실전 트레이딩 경험과 시장 동향 및 지표에 대한 이해
- 캔들스틱 패턴 인식, 로보어드바이저 또는 스마트 전략에 ML/DL 적용 경험
- 디지털 통화, 선물 또는 증권 시장에 대한 친숙함
- 강력한 제품 설계 사고
- AI/ML 구현 경험
- Golang 숙련도
혜택
상세한 보상 및 혜택 정보는 Telegram을 통해 HR 팀에 직접 문의해 주시기 바랍니다.
