Thiết kế thuật toán I/O hiệu quả cho dữ liệu quy mô lớn

Khi các tập dữ liệu tăng theo cấp số nhân, các thuật toán trong bộ nhớ truyền thống gặp khó khăn khi dữ liệu không còn vừa với RAM. Để xây dựng các hệ thống hiệu năng cao, các kỹ sư phần mềm và chuyên gia dữ liệu phải hiểu cách giảm thiểu truy cập lưu trữ chậm và tối ưu hóa việc di chuyển dữ liệu. Khóa học này hướng dẫn bạn các nguyên tắc của thuật toán external memory và cache-oblivious. Bạn sẽ chuyển từ việc viết các thuật toán tiêu chuẩn sang thiết kế các hệ thống tối ưu hóa truyền dữ liệu qua hệ thống phân cấp bộ nhớ hiện đại, cải thiện đáng kể hiệu năng cho cơ sở dữ liệu quy mô lớn, hệ thống tệp và các quy trình dữ liệu. Bạn sẽ học được: - Hiểu các giới hạn cơ bản của hệ thống phân cấp bộ nhớ, bao gồm sự khác biệt giữa RAM, SSD và bộ nhớ NVMe hiện đại. - Phân tích thuật toán bằng mô hình external memory để đo lường và giảm thiểu các thao tác I/O đĩa. - Thiết kế các cấu trúc dữ liệu external memory nền tảng, như B-trees và buffer pools, để truy xuất dữ liệu hiệu quả. - Áp dụng các nguyên tắc thiết kế cache-oblivious để viết các thuật toán chạy hiệu quả trên các kích thước cache khác nhau mà không cần tinh chỉnh thủ công. - So sánh các mô hình lưu trữ hiện đại, bao gồm Log-Structured Merge (LSM) trees và B-trees truyền thống, được sử dụng trong các engine cơ sở dữ liệu hiện đại. Bạn sẽ bắt đầu với các khái niệm nền tảng về hệ thống phân cấp bộ nhớ và chi phí I/O trước khi chuyển sang các cấu trúc dữ liệu external memory cốt lõi, các kỹ thuật sắp xếp ngoài (external sorting) và các kiến trúc lưu trữ cơ sở dữ liệu hiện đại. Thông qua các giải thích bằng văn bản chi tiết và các bước đi thuật toán, bạn sẽ học cách suy nghĩ về tính toán theo khía cạnh truyền dữ liệu thay vì chỉ chu kỳ CPU. Khóa học này được thiết kế cho các nhà phát triển phần mềm, sinh viên khoa học máy tính và kỹ sư dữ liệu muốn hiểu về xử lý dữ liệu hiệu năng cao. Không yêu cầu kinh nghiệm trước đó về thuật toán external memory, vì chúng tôi bắt đầu với những điều cơ bản nhất. Bắt đầu làm chủ các thuật toán cung cấp năng lượng cho các hệ thống dữ liệu quy mô lớn hiện đại ngay hôm nay.