Phát triển đường ống dữ liệu không máy chủ với Dataflow

Xử lý lượng dữ liệu lớn một cách hiệu quả đòi hỏi cơ sở hạ tầng có thể mở rộng mà không yêu cầu quản lý máy chủ thủ công liên tục. Lớp học dựa trên văn bản toàn diện này hướng dẫn bạn qua thiết kế, viết và thực hiện các đường ống xử lý dữ liệu không có máy chủ bằng Dataflow và Apache Beam. Thông qua các giải thích bằng văn bản và các ví dụ mã rõ ràng, bạn sẽ nắm vững các khái niệm cần thiết để xây dựng các đường ống dữ liệu sẵn sàng sản xuất. Bạn sẽ học được: - Hiểu các khái niệm xử lý dữ liệu serverless cơ bản, chu kỳ đời ống dẫn, và thuật ngữ cốt lõi. - Viết các đường ống hàng loạt và truyền trực tuyến mạnh mẽ bằng Apache Beam SDK. - Thiết lập và thực hiện các đường ống có thể mở rộng trên kiến trúc không quản lý hoàn toàn. - Thực hiện các mô hình đường ống hiện đại bao gồm xử lý sơ đồ, hàng đợi thư chết, và xử lí trạng thái. - Theo dõi, gỡ lỗi và tối ưu hóa hiệu suất đường ống bằng cách sử dụng chẩn đoán đám mây tích hợp. - Ứng dụng các phương pháp hiện đại nhất cho việc thử nghiệm, xác nhận và triển khai an toàn. Bạn sẽ bắt đầu với các định nghĩa chính và các khái niệm cơ bản trước khi tiến hành giải thích chi tiết về mã đường ống, cơ chế thực hiện và chiến lược khắc phục sự cố. Được thiết kế cho các kỹ sư dữ liệu và nhà phát triển phần mềm, khóa học này không yêu cầu kinh nghiệm phát triển đường ống trước đó. Bắt đầu xây dựng các đường ống dữ liệu không cần bảo trì.