การประมวลผล Big Data ด้วย Hadoop และ Spark

องค์กรในปัจจุบันสร้างข้อมูลจำนวนมหาศาลที่ฐานข้อมูลแบบดั้งเดิมไม่สามารถรองรับได้ การทำความเข้าใจวิธีการจัดเก็บ ประมวลผล และวิเคราะห์ข้อมูลเหล่านี้ในระดับสเกลใหญ่เป็นทักษะที่สำคัญสำหรับผู้เชี่ยวชาญด้านข้อมูลในยุคปัจจุบัน หลักสูตรแบบเน้นเนื้อหานี้จะนำคุณจากมือใหม่ด้าน Big Data ไปสู่การเป็นผู้ปฏิบัติงานที่มั่นใจในการจัดการชุดข้อมูลขนาดใหญ่ คุณจะได้เรียนรู้วิธีการออกแบบ Data Pipeline การเขียน Distributed Query และการใช้ประโยชน์จากสถาปัตยกรรมข้อมูลที่พร้อมสำหรับระบบ Cloud สิ่งที่คุณจะได้เรียนรู้: - เข้าใจแนวคิดหลักของการจัดเก็บและการประมวลผลแบบกระจาย (Distributed Storage and Computing) โดยเริ่มจาก Hadoop HDFS และ MapReduce - ประมวลผลชุดข้อมูลขนาดใหญ่อย่างมีประสิทธิภาพโดยใช้ Spark RDDs และ Spark SQL - ประยุกต์ใช้ PySpark สำหรับการเขียนสคริปต์ประมวลผลข้อมูลที่ปรับขยายได้ด้วย Python - นำแนวคิด Structured Streaming มาใช้เพื่อจัดการกับข้อมูลแบบ Real-time - สำรวจรูปแบบ Data Lakehouse สมัยใหม่และรูปแบบการจัดเก็บข้อมูลแบบ Delta Lake เพื่อสร้าง Data Pipeline ที่เชื่อถือได้ - สืบค้นและวิเคราะห์ข้อมูลแบบกระจายโดยใช้ Hive และ Spark SQL คุณจะเริ่มต้นด้วยคำศัพท์พื้นฐานของระบบกระจาย (Distributed Systems) ก่อนที่จะก้าวไปสู่แบบฝึกหัดภาคปฏิบัติที่คุณจะได้อ่านตัวอย่างโค้ด เขียน Query และสร้างตรรกะการประมวลผลข้อมูล หลักสูตรจะสรุปด้วยรูปแบบการจัดเก็บข้อมูลสมัยใหม่และกระบวนทัศน์การสตรีมแบบ Real-time ที่ใช้ในอุตสาหกรรมปัจจุบัน หลักสูตรนี้ออกแบบมาสำหรับผู้เริ่มต้น โดยไม่จำเป็นต้องมีประสบการณ์ด้านระบบ Big Data มาก่อน การมีความเข้าใจพื้นฐานเกี่ยวกับแนวคิดการเขียนโปรแกรมและ SQL จะเป็นประโยชน์แต่ไม่จำเป็น เริ่มต้นเส้นทางสู่วิศวกรรม Big Data ของคุณได้ตั้งแต่วันนี้