Cơ sở của xử lý dữ liệu lớn với Spark và Hadoop

Trong thời đại dữ liệu tăng trưởng theo hàm mũ, các công cụ xử lý truyền thống thường không đủ để trích xuất những thông tin có ý nghĩa. Chương trình này cung cấp một giới thiệu toàn diện về các công nghệ và chiến lược được sử dụng để quản lý và phân tích các tập dữ kiện quá lớn hoặc phức tạp cho các cơ sở dữ liêu tiêu chuẩn. Bạn sẽ tiến triển từ việc học các định nghĩa cơ bản để hiểu cách hệ thống phân phối xử lý thông tin qua các cụm máy tính. Bạn sẽ hiểu rõ về môi trường dữ liệu hiện đại, vượt qua những khái niệm lý thuyết để thấy cách các công cụ tiêu chuẩn của ngành giải quyết các vấn đề quy mô thế giới thực. Cuối khóa học, bạn sẽ có thể định hướng các lựa chọn kiến trúc cần thiết cho môi trường số lượng dữ kiện lớn. Bạn sẽ học được: - Hiểu được đặc điểm cốt lõi của dữ liệu lớn và vai trò của nó trong phân tích hiện đại - Tìm hiểu các thành phần hệ sinh thái Hadoop bao gồm HDFS và quản lý tài nguyên - Luyện tập xử lý và biến đổi dữ liệu bằng động cơ Spark - Apply SQL-based analysis to massive dataset for efficient querying - Hiểu về các định dạng lưu trữ dữ liệu hiện đại như Parquet cho việc lấy lại hiệu suất cao - Học sự khác biệt giữa kho dữ liệu truyền thống và hồ dữ kiện hiện đại dựa trên đám mây Chương trình này được thiết kế cho người mới bắt đầu và không yêu cầu kinh nghiệm trước đó với các công cụ dữ liệu lớn hoặc tính toán phân tán. Bắt đầu hành trình của bạn vào thế giới của kỹ thuật dữ liệu quy mô lớn hôm nay.