Xử lý dữ liệu Serverless với Dataflow

Kỹ thuật dữ liệu hiện đại đòi hỏi xử lý các tập dữ liệu khổng lồ một cách nhanh chóng và đáng tin cậy mà không tốn chi phí quản lý cơ sở hạ tầng phức tạp. Khóa học dựa trên văn bản này giới thiệu cho bạn sức mạnh của xử lý dữ liệu serverless bằng Dataflow. Bạn sẽ học cách thiết kế, viết và triển khai các pipeline dữ liệu có thể mở rộng, xử lý cả dữ liệu batch lịch sử và dữ liệu streaming thời gian thực. Bằng cách hiểu mô hình lập trình Apache Beam cơ bản, bạn sẽ chuyển từ xử lý dữ liệu thủ công sang các quy trình làm việc dữ liệu tự động, đạt chuẩn sản xuất. Bạn sẽ học được: - Hiểu các khái niệm cơ bản về xử lý dữ liệu serverless và kiến trúc pipeline. - Xây dựng các pipeline batch để làm sạch, chuyển đổi và tải các tập dữ liệu lịch sử quy mô lớn. - Thiết kế các pipeline streaming để xử lý các luồng dữ liệu thời gian thực bằng cách sử dụng windowing và triggers. - Viết mã pipeline có thể tái sử dụng bằng Apache Beam SDK. - Cấu hình và giám sát việc thực thi pipeline, khả năng mở rộng và phân bổ tài nguyên. - Áp dụng các phương pháp tốt nhất để xử lý lỗi, gỡ lỗi và tối ưu hóa hiệu suất pipeline. Khóa học bắt đầu với các định nghĩa cốt lõi và các nguyên tắc cơ bản của thiết kế pipeline trước khi chuyển sang xây dựng pipeline thực tế cho cả hai kịch bản batch và streaming thời gian thực. Bạn sẽ tiến bộ thông qua các giải thích bằng văn bản, phân tích kiến trúc và các bài tập mã có cấu trúc. Khóa học này được thiết kế cho các kỹ sư dữ liệu, nhà phân tích và nhà phát triển mới bắt đầu muốn học các quy trình làm việc dữ liệu serverless; không yêu cầu kinh nghiệm trước đó với Dataflow. Bắt đầu xây dựng các pipeline dữ liệu serverless có thể mở rộng ngay hôm nay.