Thiết kế phân tích luồng và đường ống dữ liệu thời gian thực

Trong bối cảnh số nhanh chóng ngày nay, các tổ chức dựa trên những hiểu biết tức thời để đưa ra quyết định quan trọng. Quá trình xử lý hàng loạt tiêu chuẩn không còn đủ; làm chủ dòng dữ liệu thời gian thực là cần thiết cho các chuyên gia dữ kiện hiện đại. Lớp học viết này hướng dẫn bạn qua các nguyên tắc cốt lõi của phân tích streaming, cho bạn thấy cách hấp thụ, xử lý và phân tích các luồng dữ liệu liên tục. Bạn sẽ chuyển từ việc hiểu kiến trúc cơ bản dẫn dắt sự kiện đến thiết kế các thành phần đường ống mạnh mẽ trên đám mây. Bạn sẽ học được: - Hiểu các khái niệm cơ bản của các nhà môi giới tin nhắn, hệ thống Pub / Sub và kiến trúc điều khiển sự kiện. - Cấu hình các đường ống hấp thụ dữ liệu thời gian thực để xử lý các dòng sự kiện tốc độ cao. - Apply windowing techniques and stateful processing to calculate real-time analytics. - Hợp nhất các đường ống truyền với kho dữ liệu đám mây như BigQuery cho khả năng truy vấn ngay lập tức. - Thực hiện các mô hình đăng ký sơ đồ hiện đại và kiểm tra chất lượng dữ liệu để ngăn chặn sự cố đường ống. - Thực hành khắc phục sự cố và giám sát các đường ống truyền để đảm bảo độ trễ thấp và khả năng sử dụng cao. Chương trình bắt đầu với thuật ngữ chính và định nghĩa cơ bản của dữ liệu truyền trước khi khám phá các dịch vụ đám mây cụ thể như Pub / Sub và Dataflow. Thông qua các giải thích rõ ràng, kiến trúc đi bộ, và các đoạn mã thực tế, bạn sẽ học cách thiết kế các giải pháp phát trực tuyến từ đầu đến cuối. Lớp học này được thiết kế cho kỹ sư dữ liệu mới bắt đầu, kiến trúc sư đám mây và các nhà phân tích tìm kiếm sự chuyển đổi từ xử lý dữ kiện theo loạt sang thời gian thực. Không cần kinh nghiệm trước với các hệ thống truyền tải. Bắt đầu xây dựng kiến thức cơ bản của bạn về các đường ống dữ liệu đám mây thời gian thực hôm nay.