職務内容
複雑なアンチクローリング機構を克服するソリューションの開発を主導し、大規模分散型クローリングシステムの維持管理を行い、コアソースからの安定したデータ取得を確保します。定量取引ロジックを深く理解し、チームと緊密に連携してビジネス要件を効率的な技術的ソリューションに変換します。製品、デザイン、フロントエンドチームと緊密に協力し、高品質の成果物を確保します。
主な責任
- アンチスクレイピングの課題に対処するための堅牢な分散型クローリングシステムの設計と維持
- 定量取引ビジネス要件に沿った技術的ソリューションの開発
- プロダクトマネージャー、デザイナー、フロントエンド開発者とのクロスファンクショナルな協力
- コアデータソースのシステム安定性とデータ品質の確保
- 技術的イノベーションによるクローリングパフォーマンスと効率の最適化
求めるスキル
- 堅実なエンジニアリング基盤：
- 3年以上のPython開発経験と強固なCS基礎（データ構造、アルゴリズム、ネットワーキング、OS）
- Python内部（GIL、メモリ管理）の深い理解、プロセス/スレッド/コルーチンモデルに精通
- FastAPI/Djangoフレームワーク、MySQL/Redis、データベース設計と最適化の経験
- Dockerに精通し、Kubernetesに慣れており、独立したデプロイが可能
- クローリング＆リバースエンジニアリング：
- Scrapy/Playwrightフレームワークを用いた2年以上の大規模データ収集経験
- コードのデバッグと難読化解除のための強力なJSリバースエンジニアリングスキル
- アンチスクレイピングにおける暗号化アルゴリズム（RSA/AES/DES）に精通
- アンチスクレイピング機構（CAPTCHA、IPブロッキング、リクエスト署名、行動検知）の専門知識
- 構造化/非構造化データのためのデータクリーニングとストレージソリューションの経験
歓迎スキル
- 市場動向を理解した実践的な取引経験
- ローソク足パターン認識やアルゴリズム取引におけるML/DLの適用経験
- デジタル通貨、先物、または証券市場に精通
- 強力なプロダクトデザイン思考
- AI/MLの実装経験
- Golangの習熟度
福利厚生
福利厚生に関する議論は、Telegram経由で直接HRにお問い合わせください。
