職務内容
データエンジニアは、バッチ処理とリアルタイムデータ処理パイプラインの両方をカバーする企業の包括的なデータインフラストラクチャの構築と維持を担当します。この役職では、ビジネスインテリジェンスと意思決定をサポートするためのデータアーキテクチャ、ETL/ELTプロセス、およびデータウェアハウス設計の専門知識が必要です。
主な責任
- オフラインのバッチ処理とリアルタイムストリーミングパイプラインを含むエンドツーエンドのデータシステムの設計と実装
- データ収集、同期、クリーニング、変換のためのETL/ELTプロセスの開発と維持により、正確で効率的なデータフローを確保
- Flinkを使用したリアルタイムデータ処理の実装（収集、クリーニング、集計、指標計算）
- データウェアハウスレイヤーの設計とデータモデリング、ディメンション設計、統一指標基準の実装
- 事業部門（営業、販売、製品）をサポートするためのデータインターフェース、レポート、基本データサービスの開発
- データ品質の監視、問題のトラブルシューティング、プロセスの最適化により、正確性、完全性、適時性を確保
- ビジネスデータニーズへの迅速な対応と既存のデータワークフローおよびSQL/ジョブスクリプトの最適化
求めるスキル
- コンピュータサイエンス、数学または関連分野の学士号以上
- 5年以上のデータ開発およびデータウェアハウス経験
- 複雑なクエリやストアドプロシージャを記述できるSQLの熟練
- MySQL、Hive、Paimon、HBaseなどのデータベース/ウェアハウス経験
- ETLスクリプトおよびデータ処理ジョブのためのJava/Pythonプログラミングスキル
- データ処理と最適化のためのSpark、Flink、Kafkaの知識
- データウェアハウスモデリングの原則と設計の理解
- データ異常やパフォーマンス問題に対する強力な問題解決能力
- Alibaba Cloudデータプラットフォーム（MaxCompute、DataWorksなど）の経験は優遇
- 金融、取引、または支払い分野のバックグラウンドが望ましい
福利厚生
詳細な福利厚生情報については、Telegram経由で人事部までお問い合わせください。
