Quản lý dữ liệu với Delta Lake

Kỹ thuật dữ liệu hiện đại đòi hỏi các lớp lưu trữ đáng tin cậy, nhanh chóng và có tổ chức. Nếu bạn muốn vượt qua các data lake lộn xộn và xây dựng các đường ống dữ liệu mạnh mẽ, việc thành thạo Delta Lake là bước tiếp theo cần thiết. Khóa học dựa trên văn bản này hướng dẫn bạn từ các khái niệm cơ bản về định dạng lưu trữ đến việc triển khai các mẫu quản lý dữ liệu nâng cao. Bạn sẽ học cách mang lại độ tin cậy cho data lake của mình bằng cách sử dụng các giao dịch ACID, thực thi lược đồ và kiểm soát phiên bản. Bạn sẽ học: - Hiểu kiến trúc cốt lõi của Delta Lake và cách nó cải thiện so với các data lake truyền thống - Triển khai các giao dịch ACID để đảm bảo tính nhất quán của dữ liệu trong quá trình ghi đồng thời - Áp dụng thực thi và tiến hóa lược đồ để ngăn chặn hỏng dữ liệu trong môi trường sản xuất - Truy vấn dữ liệu lịch sử bằng cách du hành thời gian để kiểm toán các thay đổi và hoàn tác lỗi - Tối ưu hóa hiệu suất bảng bằng cách sử dụng kỹ thuật nén và lập chỉ mục hiện đại - Thiết kế các đường ống dữ liệu sạch bằng cách sử dụng kiến trúc medallion Bạn sẽ bắt đầu bằng cách học thuật ngữ nền tảng và cơ chế của nhật ký giao dịch. Sau đó, bạn sẽ tiến hành thông qua các kịch bản thực tế bằng văn bản, học cách ghi, cập nhật, xóa và tối ưu hóa dữ liệu bằng API Delta Lake. Khóa học này được thiết kế cho các kỹ sư dữ liệu, nhà phân tích và quản trị viên cơ sở dữ liệu mới bắt đầu muốn chuyển đổi sang kiến trúc lakehouse. Không yêu cầu kinh nghiệm trước đó với Delta Lake, mặc dù hiểu biết cơ bản về SQL và các khái niệm dữ liệu là hữu ích. Bắt đầu đọc ngay hôm nay để xây dựng các hệ thống lưu trữ dữ liệu đáng tin cậy, hiệu suất cao với Delta Lake.