Mô tả Công việc
Vị trí này chịu trách nhiệm thiết kế, phát triển và tối ưu hóa nền tảng phát triển dữ liệu toàn diện. Công việc bao gồm làm việc trên nhiều hệ thống con như thu thập dữ liệu, lập lịch công việc, quản lý chất lượng dữ liệu, xử lý siêu dữ liệu, hệ thống chỉ số và quy trình làm sạch dữ liệu. Ngoài ra, ứng viên sẽ được giao nhiệm vụ xây dựng và duy trì các thành phần dịch vụ của nền tảng dữ liệu lớn, đảm bảo tính khả dụng cao, ổn định và độ trễ thấp trong cung cấp dịch vụ. Vai trò cũng yêu cầu thực hiện phân tích kinh doanh sâu bằng các công cụ trực quan hóa dữ liệu để trình bày kết quả một cách hiệu quả. Hơn nữa, cá nhân sẽ tham gia phát triển sản phẩm và ứng dụng, thiết lập các tiêu chuẩn và giao thức truy cập dữ liệu. Cuối cùng, vị trí đòi hỏi nghiên cứu liên tục các công nghệ mới để giải quyết thách thức kinh doanh và nâng cao phương pháp xử lý, phân tích và trực quan hóa dữ liệu.
Trách nhiệm Chính
- Dẫn dắt thiết kế và phát triển nền tảng dữ liệu thống nhất, tập trung vào các hệ thống con như thu thập dữ liệu, lập lịch công việc, chất lượng dữ liệu, quản lý siêu dữ liệu, hệ thống chỉ số và làm sạch dữ liệu. Bao gồm xác định thông số kỹ thuật, phối hợp các nhóm chức năng chéo và đảm bảo phù hợp với mục tiêu kinh doanh.
- Phát triển và duy trì các thành phần dịch vụ cốt lõi của nền tảng dữ liệu lớn, bao gồm tối ưu hóa khung công nghệ hiện có để mở rộng quy mô, hiệu suất và độ tin cậy. Điều này liên quan đến việc triển khai các giải pháp đảm bảo tính khả dụng cao, ổn định và độ trễ thấp trong hoạt động dịch vụ.
- Thực hiện phân tích kinh doanh trên các tập dữ liệu để xác định xu hướng, mẫu và thông tin chi tiết. Sử dụng các công cụ trực quan hóa nâng cao (ví dụ: Tableau, Power BI hoặc bảng điều khiển tùy chỉnh) để tạo báo cáo trực quan và có thể hành động cho các bên liên quan.
- Hợp tác với các nhóm sản phẩm để thiết kế và triển khai tiêu chuẩn truy cập dữ liệu, đảm bảo tính nhất quán, bảo mật và hiệu quả trên các ứng dụng và dịch vụ. Bao gồm xác định chính sách quản trị dữ liệu và giao thức tích hợp.
- Nghiên cứu các công nghệ và phương pháp tiên tiến để giải quyết các vấn đề kinh doanh thực tế. Điều này liên quan đến việc đánh giá các công cụ như Flink để xử lý dữ liệu luồng, phát triển hệ thống báo cáo kéo thả và khám phá các phương pháp phân tích và trực quan hóa dữ liệu sáng tạo.
- Cung cấp lãnh đạo kỹ thuật trong vòng đời phát triển, từ thu thập yêu cầu đến triển khai và hỗ trợ sau khi ra mắt. Bao gồm hướng dẫn các nhà phát triển cấp dưới, ghi chép quy trình và đảm bảo tuân thủ các phương pháp tốt nhất trong ngành.
- Giám sát và phân tích các chỉ số hiệu suất hệ thống để xác định điểm nghẽn và các khu vực cần cải thiện. Triển khai các giải pháp để nâng cao hiệu quả xử lý dữ liệu, giảm độ trễ và đảm bảo trải nghiệm người dùng liền mạch.
- Tham gia học tập liên tục để cập nhật các xu hướng mới trong kỹ thuật dữ liệu, công nghệ dữ liệu lớn và công cụ phân tích. Chia sẻ kiến thức trong nhóm để thúc đẩy đổi mới và phát triển kỹ thuật.
Yêu cầu Công việc
- Kinh nghiệm đã được chứng minh trong việc thiết kế và phát triển nền tảng dữ liệu, với nền tảng vững chắc về các hệ thống con như thu thập dữ liệu, lập lịch công việc, chất lượng dữ liệu, quản lý siêu dữ liệu và làm sạch dữ liệu. Quen thuộc với quy trình ETL và tối ưu hóa đường ống dữ liệu là cần thiết.
- Chuyên môn về công nghệ dữ liệu lớn bao gồm Hadoop, Spark, Kafka và nền tảng đám mây (ví dụ: AWS, Azure hoặc GCP). Khả năng xây dựng các thành phần dịch vụ có thể mở rộng và hiệu suất cao với trọng tâm vào độ tin cậy và khả năng chịu lỗi.
- Thành thạo các công cụ trực quan hóa dữ liệu (ví dụ: Tableau, Power BI hoặc các thư viện Python như Matplotlib và Seaborn). Kinh nghiệm tạo bảng điều khiển tương tác và báo cáo để truyền đạt thông tin chi tiết dữ liệu phức tạp một cách hiệu quả.
- Hiểu biết sâu về khung xử lý dữ liệu và thuật toán, đặc biệt trong dữ liệu luồng (ví dụ: Apache Flink, Apache Storm) và xử lý hàng loạt. Khả năng phát triển và tối ưu hóa quy trình làm việc dữ liệu cho các kịch bản dữ liệu thời gian thực và lịch sử.
- Kỹ năng phân tích và giải quyết vấn đề xuất sắc, với khả năng chuyển đổi yêu cầu kinh doanh thành giải pháp kỹ thuật. Kinh nghiệm làm việc với các nguồn và định dạng dữ liệu đa dạng, bao gồm dữ liệu có cấu trúc, bán cấu trúc và không cấu trúc.
- Hiểu biết vững chắc về quản trị dữ liệu, bảo mật và tiêu chuẩn tuân thủ. Khả năng thiết kế chính sách truy cập dữ liệu đảm bảo tính toàn vẹn, quyền riêng tư và tuân thủ quy định.
- Thành thạo các ngôn ngữ lập trình như Python, Java hoặc Scala. Kinh nghiệm với cơ sở dữ liệu SQL và NoSQL (ví dụ: MySQL, PostgreSQL, MongoDB) để lưu trữ và truy xuất dữ liệu.
- Khả năng làm việc trong môi trường nhanh, động với thời hạn chặt chẽ. Kỹ năng tổ chức và quản lý thời gian mạnh mẽ để cân bằng nhiều dự án và ưu tiên.
- Kỹ năng giao tiếp và hợp tác xuất sắc để làm việc với các nhóm chức năng chéo, bao gồm nhà khoa học dữ liệu, quản lý sản phẩm và kỹ sư DevOps. Khả năng trình bày khái niệm kỹ thuật cho các bên liên quan không chuyên một cách rõ ràng và ngắn gọn.
- Yêu cầu ưu tiên bao gồm bằng cử nhân hoặc thạc sĩ về khoa học máy tính, khoa học dữ liệu hoặc lĩnh vực liên quan. Kinh nghiệm với phương pháp luận agile và đường ống CI/CD là một lợi thế.