Mô Tả Công Việc
1. Chịu trách nhiệm xây dựng kiến trúc dữ liệu end-to-end của công ty, bao gồm cả xử lý hàng loạt offline và đường ống dữ liệu thời gian thực.
2. Thiết lập và duy trì quy trình ETL/ELT cho thu thập, đồng bộ hóa, làm sạch và chuyển đổi dữ liệu để đảm bảo luồng dữ liệu chính xác và hiệu quả vào hệ thống.
3. Triển khai thu thập, làm sạch, tổng hợp và tính toán số liệu dữ liệu thời gian thực bằng Flink để đảm bảo tính kịp thời và chính xác của dữ liệu.
4. Thiết kế và triển khai kiến trúc kho dữ liệu phân tầng, bao gồm mô hình hóa dữ liệu, thiết kế chiều và định nghĩa số liệu thống nhất để tạo nền tảng dữ liệu có thể tái sử dụng và bảo trì.
5. Phát triển giao diện dữ liệu, báo cáo và dịch vụ dữ liệu cơ bản để hỗ trợ nhu cầu phân tích, ra quyết định và vận hành của các bộ phận kinh doanh (vận hành, bán hàng, sản phẩm).
6. Giám sát chất lượng dữ liệu, xử lý sự cố và tối ưu hóa quy trình để đảm bảo tính chính xác, đầy đủ và kịp thời của dữ liệu đồng thời thiết lập các tiêu chuẩn quản trị dữ liệu cơ bản.
7. Phản ứng nhanh với yêu cầu dữ liệu kinh doanh, tối ưu hóa quy trình dữ liệu hiện có và công việc SQL/scripting để cải thiện hiệu suất xử lý hàng loạt và thời gian thực đồng thời giảm chi phí bảo trì.
Trách Nhiệm Chính
- Thiết kế và duy trì cơ sở hạ tầng dữ liệu có thể mở rộng hỗ trợ phân tích lịch sử và thời gian thực
- Phát triển đường ống dữ liệu mạnh mẽ với cơ chế xử lý lỗi và giám sát phù hợp
- Hợp tác với các nhóm chức năng chéo để hiểu yêu cầu dữ liệu và cung cấp giải pháp
- Tài liệu hóa quy trình dữ liệu, mô hình và tiêu chuẩn để chia sẻ kiến thức
- Liên tục đánh giá và triển khai công nghệ mới để nâng cao khả năng dữ liệu
Yêu Cầu Công Việc
- Bằng cử nhân trở lên về Khoa học Máy tính, Toán học hoặc lĩnh vực liên quan với 5+ năm kinh nghiệm phát triển dữ liệu và kho dữ liệu
- Kỹ năng SQL chuyên sâu bao gồm các truy vấn phức tạp và thủ tục lưu trữ trên MySQL, Hive, Paimon, HBase
- Thành thạo Java/Python để phát triển script ETL và công việc xử lý dữ liệu
- Kinh nghiệm thực tế với Spark, Flink, Kafka để đồng bộ hóa dữ liệu và tối ưu hóa xử lý
- Kỹ năng mô hình hóa kho dữ liệu mạnh mẽ với hiểu biết về nguyên tắc thiết kế
- Khả năng giải quyết vấn đề xuất sắc để xử lý sự cố dữ liệu bất thường và vấn đề hiệu suất
- Ưu tiên ứng viên có kinh nghiệm ở cả startup và công ty lớn, với khả năng thích ứng với nhiều trách nhiệm đa vai trò
- Quen thuộc với nền tảng dữ liệu Alibaba Cloud (MaxCompute, DataWorks, v.v.) là một lợi thế
- Ưu tiên ứng viên có nền tảng trong lĩnh vực tài chính, giao dịch hoặc thanh toán với các kịch bản dữ liệu liên quan
Phúc Lợi
Tùy chọn làm việc từ xa | Tối thiểu 10 ngày nghỉ phép hàng năm | 5 ngày nghỉ ốm có lương | Môi trường làm việc tích cực
Yêu cầu bắt buộc: Bằng đại học thuộc hệ thống trường Song Bằng
