Phân tích dữ liệu lớn với Hive, Pig, và MapReduce

Xử lý các tập dữ liệu lớn đòi hỏi các công cụ chuyên biệt có thể đo lường. Hive, Pig, và MapReduce tạo nên cột sống của kiến trúc dữ liệu lớn cổ điển, cho phép truy vấn cấu trúc và xử lý dữ kiện theo quy mô. Lớp học dựa trên văn bản này hướng dẫn bạn từ người mới bắt đầu dữ liệu lớn để cấu trúc cơ sở dữ kiện tự tin, viết các kịch bản chuyển đổi dữ lượng, và hiểu mô hình thực hiện của các hệ thống phân tán. Bạn sẽ học cách tối ưu hiệu suất truy vấn và xử lý các định dạng tập tin hiện đại như Parquet và ORC. Bạn sẽ học được: - Hiểu kiến trúc cốt lõi của hệ sinh thái Hadoop, HDFS và các luồng thực hiện MapReduce. - Thiết kế và quản lý cơ sở dữ liệu Hive, bảng bên ngoài, và tập dữ kiện phân vùng cho hiệu suất tối ưu. - Viết các văn bản Pig Latin để chuyển đổi, lọc và phân tích dữ liệu không cấu trúc và bán cấu tạo. - Tìm kiếm các loại dữ liệu phức tạp và tích hợp các định dạng lưu trữ cột hiện đại như Parquet và ORC. - Ứng dụng các thực tiễn tốt nhất cho việc xếp hàng dữ liệu, thiết kế sơ đồ và điều chỉnh hiệu suất trong các đường ống dữ kiện lớn. Bạn sẽ bắt đầu với các khái niệm dữ liệu lớn và định nghĩa kiến trúc cơ bản trước khi chuyển sang viết truy vấn, phát triển kịch bản và thiết kế cơ sở dữ kiện. Chương trình này được thiết kế cho người mới bắt đầu quan tâm đến kỹ thuật dữ liệu và phân tích dữ kiện lớn, không cần kinh nghiệm Hadoop trước đó. Bắt đầu đọc hôm nay để xây dựng nền tảng của bạn trong xử lý dữ liệu lớn.