データエンジニア at Cobo

職務内容

主な責任

• データ収集、ジョブスケジューリング、データ品質、メタデータ管理、指標システム、データクリーニングなどのサブシステムに焦点を当てた統一データプラットフォームの設計と開発を主導します。これには、技術仕様の定義、クロスファンクショナルチームの調整、ビジネス目標との整合性の確保が含まれます。
• ビッグデータプラットフォームのコアサービスコンポーネントの開発とメンテナンスを行い、スケーラビリティ、パフォーマンス、信頼性のために既存の技術フレームワークを最適化します。これには、高可用性、安定性、低遅延を確保するためのソリューションの実装が含まれます。
• データセットに対してビジネス分析を行い、トレンド、パターン、洞察を特定します。Tableau、Power BI、またはカスタムダッシュボードなどの高度な可視化ツールを使用して、ステークホルダー向けの直感的で実用的なレポートを作成します。
• 製品チームと協力してデータアクセス基準を設計および実装し、アプリケーションとサービス全体で一貫性、セキュリティ、効率性を確保します。これには、データガバナンスポリシーと統合プロトコルの定義が含まれます。
• 現実のビジネス問題を解決するための最先端技術と方法論を研究します。これには、ストリーミングデータ処理のためのFlinkなどのツールの評価、ドラッグアンドドロップレポートシステムの開発、データ分析と可視化の革新的なアプローチの探求が含まれます。
• 要件収集から展開、ローンチ後のサポートまでの開発ライフサイクルにおいて技術的なリーダーシップを提供します。これには、ジュニア開発者の指導、プロセスの文書化、業界のベストプラクティスへの準拠の確保が含まれます。
• システムパフォーマンスメトリクスを監視および分析し、ボトルネックと改善領域を特定します。データ処理効率の向上、遅延の削減、シームレスなユーザーエクスペリエンスの確保のためのソリューションを実装します。
• データエンジニアリング、ビッグデータ技術、分析ツールの新興トレンドについて最新の情報を得るために継続的に学習します。チーム内で知識を共有し、イノベーションと技術的成長を促進します。

求めるスキル

• データプラットフォームの設計と開発の実績があり、データ収集、ジョブスケジューリング、データ品質、メタデータ管理、データクリーニングなどのサブシステムに関する強力なバックグラウンドを持っていること。ETLプロセスとデータパイプラインの最適化に精通していることが必須です。
• Hadoop、Spark、Kafka、およびクラウドプラットフォーム（AWS、Azure、GCPなど）を含むビッグデータ技術の専門知識。信頼性とフォールトトレランスに焦点を当てたスケーラブルで高性能なサービスコンポーネントを構築する能力。
• Tableau、Power BI、またはMatplotlibやSeabornなどのPythonライブラリなどのデータ可視化ツールに精通していること。複雑なデータの洞察を効果的に伝えるためのインタラクティブなダッシュボードとレポートを作成する経験。
• 特にストリーミングデータ（Apache Flink、Apache Stormなど）とバッチ処理におけるデータ処理フレームワークとアルゴリズムの深い知識。リアルタイムおよび履歴データシナリオのためのデータワークフローの開発と最適化の能力。
• ビジネス要件を技術的ソリューションに変換する能力を持つ優れた分析および問題解決スキル。構造化、半構造化、非構造化データを含む多様なデータソースと形式での作業経験。
• データガバナンス、セキュリティ、コンプライアンス基準の強力な理解。データ整合性、プライバシー、規制遵守を確保するデータアクセスポリシーを設計する能力。
• Python、Java、またはScalaなどのプログラミング言語に精通していること。データストレージと検索のためのSQLおよびNoSQLデータベース（MySQL、PostgreSQL、MongoDBなど）の経験。
• 締め切りが厳しい高速で動的な環境で働く能力。複数のプロジェクトと優先順位をバランスさせるための強力な組織力と時間管理スキル。
• データサイエンティスト、プロダクトマネージャー、DevOpsエンジニアを含むクロスファンクショナルチームと協力するための優れたコミュニケーションとコラボレーションスキル。非技術的なステークホルダーに技術的概念を明確かつ簡潔に提示する能力。
• コンピュータサイエンス、データサイエンス、または関連分野の学士号または修士号を保有していることが望ましい。アジャイル方法論とCI/CDパイプラインの経験が有利です。