Mô Tả Công Việc
Chúng tôi đang tìm kiếm một Kỹ sư Vận hành Dữ liệu Lớn có tay nghề để gia nhập đội ngũ. Ứng viên lý tưởng sẽ chịu trách nhiệm quản lý toàn diện cơ sở hạ tầng dữ liệu lớn của chúng tôi, đảm bảo hiệu suất tối ưu, bảo mật và khả năng mở rộng.
Trách Nhiệm Chính
- Xây dựng, vận hành, quản lý và khắc phục sự cố các nền tảng dữ liệu lớn để đảm bảo hoạt động liền mạch
- Đảm bảo hoạt động hiệu quả, ổn định và bảo mật của nền tảng dữ liệu lớn đồng thời cung cấp giải pháp cho nâng cấp và mở rộng cụm
- Cấu hình và tối ưu hóa các thành phần nền tảng bao gồm Hadoop, Yarn, Kafka, Flink, Doris, MySQL và PostgreSQL
- Khởi chạy và triển khai các tác vụ dữ liệu lớn đồng thời nắm rõ các vấn đề thực thi phổ biến và xây dựng kế hoạch dự phòng
- Giám sát hiệu suất hệ thống và thực hiện cải tiến để nâng cao hiệu quả
- Hợp tác với các nhóm phát triển để triển khai các phương pháp tốt nhất cho xử lý và lưu trữ dữ liệu
- Tài liệu hóa cấu hình hệ thống, quy trình và thủ tục để chia sẻ kiến thức
Yêu Cầu Công Việc
- Bằng cử nhân về Khoa học Máy tính, Kỹ thuật hoặc lĩnh vực liên quan
- 3+ năm kinh nghiệm vận hành và quản lý dữ liệu lớn
- Chuyên môn vững về các thành phần hệ sinh thái Hadoop (HDFS, YARN, MapReduce)
- Thành thạo các framework xử lý luồng (Kafka, Flink)
- Kinh nghiệm với cơ sở dữ liệu quan hệ (MySQL, PostgreSQL) và cơ sở dữ liệu phân tích (Doris)
- Hiểu biết về quản trị hệ thống Linux và lập trình shell
- Nắm vững nguyên tắc hệ thống phân tán và các phương pháp tốt nhất
- Khả năng khắc phục sự cố hệ thống phức tạp và triển khai giải pháp
- Kỹ năng giải quyết vấn đề xuất sắc và chú ý đến chi tiết
- Kỹ năng giao tiếp và hợp tác mạnh mẽ
Yêu Cầu Ưu Tiên
- Kinh nghiệm với giải pháp dữ liệu lớn dựa trên đám mây (AWS EMR, Azure HDInsight, GCP Dataproc)
- Hiểu biết về công nghệ container hóa (Docker, Kubernetes)
- Quen thuộc với các công cụ infrastructure as code (Terraform, Ansible)
- Hiểu biết về yêu cầu bảo mật và tuân thủ dữ liệu
- Chứng chỉ về các công nghệ dữ liệu lớn liên quan
