Cơ sở của Data Pipelines, ETL, và Spark

Trong thế giới ngày nay, chuyển động và chuyển đổi hiệu quả lượng thông tin khổng lồ là điều quan trọng để đưa ra quyết định thông tin. Bạn sẽ học cách xây dựng các đường ống dữ liệu mạnh mẽ, áp dụng các nguyên tắc ETL cơ bản (rút ra, biến đổi, tải) và tận dụng Spark để xử lý dữ kiện có thể mở rộng, chuẩn bị cho bạn các nhiệm vụ kỹ thuật dữ lượng cấp độ nhập. Bạn sẽ học được: * Hiểu các thành phần cốt lõi và kiến trúc của một hệ sinh thái dữ liệu. * Apply ETL cơ bản (Extract, Transform, Load) nguyên tắc cho việc chuyển đổi dữ liệu. * Sử dụng Spark để xử lý và phân tích hiệu quả các tập dữ liệu lớn. * Thiết kế và triển khai các đường ống dữ liệu cơ bản cho dòng dữ kiện tự động. * Tìm hiểu các khái niệm cơ bản về chất lượng dữ liệu và giám sát trong đường ống. * Nắm bắt các nguyên tắc của dàn dựng dữ liệu để quản lý các luồng công việc phức tạp. Chương trình bắt đầu với một giới thiệu về các khái niệm và loại dữ liệu của hệ sinh thái dữ kiện, tiến hành qua các giai đoạn của ETL và ứng dụng thực tế của Spark để thao tác dữ liêu. Sau đó bạn sẽ học cách xây dựng các đường ống dữ lý đơn giản và khám phá các vấn đề quan trọng cho chất lượng dữ lí và quản lý luồng công việc. Chương trình này được thiết kế cho người mới bắt đầu, không có kinh nghiệm trước đó trong kỹ thuật dữ liệu hay lập trình, cung cấp một con đường rõ ràng vào lĩnh vực này. Bắt đầu hành trình của bạn vào kỹ nghệ dữ kiện bằng cách nắm vững những kỹ năng cơ bản này.