職務内容
大規模分散型クローリングシステムの開発・保守をリードする高度なスキルを持つプロフェッショナルを募集しています。理想的な候補者は、複雑なアンチクローリングメカニズムに対処しながら、コアビジネスニーズに応じた安定したデータ収集を確保します。
主な責任
- 様々なアンチクローリングメカニズムの突破をリードし、大規模分散型クローリングシステムを維持してコアデータソースの安定供給を確保
- 定量取引ロジックを深く理解し、チームと緊密に連携して業務要件を効率的な技術ソリューションに変換
- 製品、デザイン、フロントエンドチームと協力して高品質の成果物を確保
- 構造化データと非構造化データのための堅牢なデータ処理パイプラインを設計・実装
- 高同時実行シナリオ下でのシステムパフォーマンスと安定性を継続的に最適化
求めるスキル
- 堅実なエンジニアリング基盤:
- 3年以上のPython開発経験と強固なコンピュータサイエンス基礎（データ構造、アルゴリズム、ネットワーク、オペレーティングシステム）
- Python内部構造（GIL、メモリ管理）の深い理解と、高性能並行設計のためのプロセス/スレッド/コルーチンモデルの習熟
- FastAPI、DjangoなどのWebフレームワークに精通；MySQL/Redisの専門知識と強力なデータベース設計・最適化スキル
- Dockerの実務経験がありk8sに精通；独立したデプロイが可能
- クローリングとリバースエンジニアリングスキル:
- ScrapyやPlaywrightなどのフレームワークを用いた2年以上の大規模データ収集経験
- 強力なJSリバースエンジニアリング能力でコードのデバッグと難読化解除；アンチクローリングにおける暗号化アルゴリズム（RSA/AES/DES）に精通
- CAPTCHA、IP禁止、リクエスト署名、行動検知などのアンチクローリングメカニズムの徹底理解と実証済み対策
- データクリーニング（欠損値/異常値）の経験と適切なストレージソリューション（RDBMS/NoSQL/時系列データベース）の設計
- 歓迎する条件:
- 実践的な取引経験と市場動向・指標の理解
- ローソク足パターン認識、ロボアドバイザー、スマート戦略へのML/DL適用経験
- 仮想通貨、先物、証券市場の知識
- 強力なプロダクトデザイン思考
- AI/ML実装経験
- Golangの習熟度
福利厚生
詳細な報酬・福利厚生情報については、Telegram経由で直接人事部門までお問い合わせください。
