Mô Tả Công Việc
Vai trò này tập trung vào thiết kế, phát triển và tối ưu hóa các hệ thống và kiến trúc xử lý dữ liệu. Ứng viên sẽ dẫn dắt việc tạo ra các đường ống dữ liệu thời gian thực và ngoại tuyến, đảm bảo phù hợp với mục tiêu kinh doanh và yêu cầu kỹ thuật. Trách nhiệm chính bao gồm xác định chiến lược mô hình hóa dữ liệu, triển khai các quy trình ETL hiệu suất cao và độ trễ thấp, đồng thời thiết lập các tiêu chuẩn kỹ thuật toàn diện cho nền tảng dữ liệu. Vị trí yêu cầu chuyên môn trong việc phát triển các giải pháp có thể mở rộng để hỗ trợ quản trị dữ liệu, đảm bảo chất lượng và các giao thức bảo mật. Ứng viên cũng sẽ chịu trách nhiệm duy trì tài liệu, giám sát hoạt động hệ thống và giải quyết các thách thức kỹ thuật liên quan đến hiệu quả và độ tin cậy của quá trình xử lý dữ liệu.
Trách Nhiệm Chính
- Thiết kế và xây dựng hệ thống xử lý dữ liệu thời gian thực và ngoại tuyến với trọng tâm vào hiệu suất, ổn định và khả năng mở rộng
- Phát triển khung mô hình hóa dữ liệu cho các nguồn dữ liệu có cấu trúc và phi cấu trúc
- Tạo và duy trì các quy trình ETL đảm bảo tính nhất quán của dữ liệu và giảm thiểu độ trễ
- Thiết lập các thông số kỹ thuật cho kỹ thuật nền tảng dữ liệu, bao gồm tiêu chuẩn tài liệu và giao thức giám sát hoạt động
- Triển khai các khung quản trị dữ liệu để đảm bảo tuân thủ các yêu cầu quy định và chính sách bảo mật dữ liệu
- Giám sát các chỉ số chất lượng dữ liệu và phát triển biện pháp khắc phục cho các bất thường về dữ liệu
- Hợp tác với các nhóm chức năng chéo để xác định nhu cầu xử lý dữ liệu và tối ưu hóa hiệu suất hệ thống
- Phân tích nguyên nhân gốc rễ cho các vấn đề xử lý dữ liệu và đề xuất giải pháp kỹ thuật
- Phát triển và duy trì hệ thống quản lý siêu dữ liệu để theo dõi nguồn gốc và phân loại dữ liệu
- Đảm bảo độ tin cậy và bảo mật của nền tảng dữ liệu thông qua các chiến lược cải tiến liên tục và giảm thiểu rủi ro
Yêu Cầu Công Việc
- Có kinh nghiệm được chứng minh trong việc thiết kế và triển khai hệ thống xử lý dữ liệu (tối thiểu 5 năm)
- Chuyên môn về phát triển ETL sử dụng các công cụ như Apache Spark, Kafka hoặc Flink
- Hiểu biết sâu sắc về kỹ thuật mô hình hóa dữ liệu và chiến lược tối ưu hóa cơ sở dữ liệu
- Thành thạo trong việc tạo tài liệu kỹ thuật và duy trì kho lưu trữ mã
- Hiểu biết về các khung quản trị dữ liệu và tiêu chuẩn tuân thủ (ví dụ: GDPR, HIPAA)
- Kinh nghiệm với các công cụ và phương pháp quản lý chất lượng dữ liệu
- Khả năng phát triển giải pháp quản lý siêu dữ liệu để phân loại và theo dõi nguồn gốc dữ liệu
- Kỹ năng giải quyết vấn đề mạnh mẽ với kinh nghiệm trong tối ưu hóa quy trình xử lý dữ liệu
- Thành thạo trong việc giám sát hiệu suất hệ thống và triển khai cơ chế cảnh báo
- Kỹ năng giao tiếp xuất sắc để hợp tác với các bên liên quan và trình bày giải pháp kỹ thuật
- Ưu tiên: Kinh nghiệm với nền tảng dữ liệu dựa trên đám mây (AWS, Azure, GCP) và công nghệ container hóa (Docker, Kubernetes)
- Ưu tiên: Quen thuộc với các giao thức bảo mật dữ liệu và tiêu chuẩn mã hóa
- Ưu tiên: Nền tảng vững chắc về các phương pháp tốt nhất trong kỹ thuật dữ liệu và phương pháp luận DevOps