Xây dựng đường ống dữ liệu trực tuyến với Kafka và Spark

Trong thế giới ngày nay, xử lý dữ liệu khi nó đến là quan trọng để đưa ra quyết định đúng thời điểm. Bạn sẽ chuyển từ hiểu các khái niệm cơ bản về dữ liệu sang xây dựng các đường ống truyền đầy đủ chức năng. Bằng cách kết hợp sức mạnh truyền thông của Kafka với sức mạnh phân tích của Spark Structured Streaming, bạn sẽ học cách hấp thụ, xử lý, và lưu trữ các luồng dữ kiện liên tục một cách hiệu quả và đáng tin cậy. Bạn sẽ học được: - Hiểu kiến trúc cơ bản của các luồng dữ liệu thời gian thực và hệ thống điều khiển sự kiện. - Cấu hình các chủ đề Kafka, nhà sản xuất và người tiêu dùng để quản lý các nguồn dữ liệu tốc độ cao. - Apply Kafka Connect to seamlessly ingest web logs and external data sources. - Xây dựng các ứng dụng Spark Structured Streaming để xử lý và chuyển đổi dữ liệu trực tiếp trên máy bay. - Hợp nhất Kafka với Spark để xử lý dữ liệu tăng dần và biến đổi trạng thái. - Ghi các luồng xử lý vào các lớp lưu trữ hiện đại như Delta Lake và hệ thống file phân tán. Chương trình bắt đầu với các định nghĩa cốt lõi và cài đặt môi trường địa phương sử dụng các luồng công việc chứa hiện đại. Sau đó bạn sẽ tiến hành từng bước từ việc gửi tin nhắn Kafka cơ bản đến tích hợp Spark nâng cao, kết thúc bằng việc xây dựng đường ống từ đầu đến cuối thông qua các giải thích bằng văn bản và các đoạn mã rõ ràng. Được thiết kế cho các kỹ sư và nhà phát triển dữ liệu, khóa học này không yêu cầu kinh nghiệm trước đó. Chúng ta bắt đầu với những điều cơ bản và thuật ngữ quan trọng trước khi chuyển sang cấu hình thực tế và mã có cấu trúc. Bắt đầu đọc hôm nay để làm chủ các công nghệ cốt lõi cung cấp kỹ thuật dữ liệu thời gian thực hiện đại.