職務内容
1. 会社のエンドツーエンドデータアーキテクチャ構築を担当し、オフラインバッチ処理とリアルタイムストリーミングパイプラインの両方をカバーします。
2. データ収集、同期、クリーニング、変換のためのETL/ELTプロセスを確立・維持し、システムへの正確で効率的なデータフローを保証します。
3. Flinkを使用したリアルタイムデータ収集、クリーニング、集計、指標計算を実装し、データの即時性と正確性を確保します。
4. 階層化データウェアハウスアーキテクチャを設計・実装し、データモデリング、ディメンション設計、統一指標定義を含む再利用可能で保守性の高いデータ基盤を構築します。
5. データインターフェース、レポート、基本データサービスを開発し、各事業部門（営業、販売、製品）の分析・意思決定・業務ニーズをサポートします。
6. データ品質を監視し、問題をトラブルシューティング、プロセスを最適化することでデータの正確性、完全性、即時性を確保するとともに、基本データガバナンス基準を確立します。
7. 業務データ要求に迅速に対応し、既存のデータワークフローとSQL/スクリプトジョブを最適化してバッチ/リアルタイム処理性能を向上させ、保守コストを削減します。
主要責任
- 履歴分析とリアルタイム分析の両方をサポートするスケーラブルなデータインフラの設計・維持
- 適切なエラー処理と監視メカニズムを備えた堅牢なデータパイプラインの開発
- クロスファンクショナルチームと協力してデータ要件を理解し、ソリューションを提供
- ナレッジ共有のためのデータプロセス、モデル、標準の文書化
- データ能力を強化する新技術の継続的評価と導入
求めるスキル
- コンピュータサイエンス、数学または関連分野の学士号以上、5年以上のデータ開発・データウェアハウス経験
- MySQL、Hive、Paimon、HBaseにおける複雑なクエリやストアドプロシージャを含む高度なSQLスキル
- ETLスクリプティングとデータ処理ジョブ開発のためのJava/Pythonの習熟
- データ同期と処理最適化のためのSpark、Flink、Kafkaの実務経験
- 設計原則を理解した強力なデータウェアハウスモデリングスキル
- データ異常やパフォーマンス問題のトラブルシューティングにおける優れた問題解決能力
- スタートアップと既存企業の両方での経験が望ましく、複数役割責任への適応力
- Alibaba Cloudデータプラットフォーム（MaxCompute、DataWorks等）の知識があれば尚可
- 金融、取引、決済分野での関連データシナリオ経験が望ましい
福利厚生
リモートワーク可能 | 年次有給休暇最低10日 | 有給病欠5日 | ポジティブな職場環境
必須条件: 双一流大学の学位
