Bản mẫu:Databases

Quản lý xử lý dữ liệu quy mô lớn có thể phức tạp và tốn kém nếu không có kiến trúc serverless đúng. Chương trình học dựa trên văn bản này dạy bạn cách thiết kế và chạy các đường ống dữ liệu hiệu quả mà không cần phải quản lý cơ sở hạ tầng. Bạn sẽ tiến triển từ việc hiểu các khái niệm không có máy chủ cốt lõi đến viết, kiểm tra và tối ưu hóa các đường ống dữ liệu của riêng bạn cho cả dữ kiện theo lô và thời gian thực. Bạn sẽ học được: - Hiểu các khái niệm cơ bản của xử lý dữ liệu không máy chủ và kiến trúc Apache Beam - Tạo các đường ống dữ liệu mạnh để trích xuất, chuyển đổi, và tải các tập dữ kiện có kích thước bất kỳ - Thực hiện các phương pháp kiểm tra ống dẫn hiện đại để đảm bảo chất lượng dữ liệu và độ tin cậy mã - Cấu hình tự động phóng to và tối ưu hóa tài nguyên để kiểm soát chi phí xử lý dữ liệu đám mây - Quản lý trạng thái đường ống, cửa sổ, và khởi động cho nguồn dữ liệu phát trực tiếp - Thiết lập và giám sát các đường ống sẵn sàng sản xuất sử dụng các phương pháp hiện đại Chúng tôi bắt đầu với thuật ngữ chính và cơ chế nền tảng của Apache Beam và Dataflow. Từ đó, bạn sẽ đọc qua các mô hình xây dựng đường ống từng bước, khám phá các kịch bản chuyển đổi thế giới thực, và học cách gỡ lỗi và giám sát việc triển khai của bạn bằng cách sử dụng các giải thích dựa trên văn bản và đoạn mã chi tiết. Lớp học này được thiết kế cho các kỹ sư dữ liệu, nhà phát triển và nhà phân tích tham vọng muốn học xử lý dữ kiện không có máy chủ từ đầu. Không cần kinh nghiệm phát triển đường ống trước đó. Bắt đầu xây dựng các đường ống dữ liệu không cần bảo trì.