การสร้าง Data Pipelines ด้วย Shell, Airflow และ Kafka

ในโลกที่ขับเคลื่อนด้วยข้อมูลปัจจุบัน ความสามารถในการย้ายและแปลงข้อมูลอย่างมีประสิทธิภาพคือทักษะสำคัญสำหรับนักพัฒนาหรือผู้เชี่ยวชาญด้านข้อมูลทุกคน หลักสูตรในรูปแบบข้อความนี้จะแนะนำคุณผ่านแนวคิดพื้นฐานของ ETL และ ELT พร้อมแสดงวิธีสร้าง data pipelines ที่เชื่อถือได้ตั้งแต่เริ่มต้น คุณจะได้พัฒนาความรู้ตั้งแต่การทำความเข้าใจทฤษฎีการรวมข้อมูลพื้นฐาน ไปจนถึงการสร้าง pipelines ที่ใช้งานได้จริง คุณจะได้เรียนรู้วิธีการทำงานอัตโนมัติด้วย Shell scripting การจัดการเวิร์กโฟลว์ที่ซับซ้อนโดยใช้ Airflow (รวมถึงรูปแบบ TaskFlow API สมัยใหม่) และการจัดการสตรีมข้อมูลแบบเรียลไทม์ด้วย Kafka สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจความแตกต่างหลักระหว่างสถาปัตยกรรม ETL และ ELT รวมถึงเวลาที่ควรใช้งานแต่ละแบบ - เขียน Shell scripts เพื่อทำให้กระบวนการดึงข้อมูล แปลงข้อมูล และโหลดข้อมูลพื้นฐานเป็นแบบอัตโนมัติ - จัดการเวิร์กโฟลว์ข้อมูลหลายขั้นตอนโดยใช้ Airflow DAGs และรูปแบบ TaskFlow API สมัยใหม่ - กำหนดค่า Kafka เพื่อนำเข้า ประมวลผล และสตรีมข้อมูลเหตุการณ์แบบเรียลไทม์ - ประยุกต์ใช้แนวปฏิบัติของ pipeline สมัยใหม่ ซึ่งรวมถึงการรันในคอนเทนเนอร์และการตรวจสอบความถูกต้องของข้อมูลพื้นฐาน หลักสูตรเริ่มต้นด้วยคำศัพท์ที่จำเป็นและแนวคิดทางสถาปัตยกรรม ก่อนจะเข้าสู่คู่มือแบบทีละขั้นตอนและแบบฝึกหัดการกำหนดค่า คุณจะได้สำรวจสถานการณ์จริงสำหรับการประมวลผลแบบแบตช์และการสตรีมแบบเรียลไทม์เพื่อสร้างชุดทักษะที่รอบด้าน หลักสูตรนี้ออกแบบมาสำหรับผู้เริ่มต้นด้าน data engineering โดยต้องการเพียงความคุ้นเคยกับการเขียนโปรแกรมเบื้องต้นและไม่ต้องมีประสบการณ์ด้าน pipeline มาก่อน เริ่มอ่านวันนี้เพื่อเชี่ยวชาญเครื่องมือที่ขับเคลื่อนโครงสร้างพื้นฐานข้อมูลสมัยใหม่