การสร้าง Batch Data Pipelines ด้วย BigQuery และ Dataproc

องค์กรยุคใหม่พึ่งพาการไหลของข้อมูลที่มั่นคงและน่าเชื่อถือเพื่อใช้ในการตัดสินใจทางธุรกิจที่สำคัญ การเข้าใจวิธีสกัด แปลง และโหลด batch data อย่างมีประสิทธิภาพถือเป็นทักษะพื้นฐานสำหรับผู้ที่ทำงานด้านข้อมูลทุกคน คอร์สเรียนแบบเนื้อหาอ่านนี้จะนำคุณไปสูู่กรอบความคิดหลักของการประมวลผลข้อมูล ช่วยให้คุณเลือกและนำสถาปัตยกรรม pipeline ที่ถูกต้องไปปรับใช้กับโปรเจกต์ของคุณ คุณจะได้เปลี่ยนจากการเข้าใจแนวคิดข้อมูลพื้นฐานไปสู่การออกแบบ batch pipelines ที่พร้อมสำหรับการใช้งานจริงในระดับ production โดยใช้เทคโนโลยีคลาวด์ที่เป็นมาตรฐานในอุตสาหกรรม สิ่งที่คุณจะได้เรียนรู้: * เข้าใจความแตกต่างที่สำคัญระหว่างแนวคิด ETL, ELT และ EL เพื่อเลือกวิธีการที่ดีที่สุดสำหรับข้อมูลของคุณ * สร้างคลังข้อมูลที่รองรับการขยายตัวและรันคำสั่งประมวลผลเชิงวิเคราะห์โดยใช้ BigQuery * ประมวลผลชุดข้อมูลขนาดใหญ่โดยการรัน Spark jobs บน Dataproc clusters แบบจัดการสำเร็จรูปและสภาวะแวดล้อมแบบ serverless * ออกแบบขั้นตอนการทำงานของ pipeline ในรูปแบบ visual ที่ไม่ต้องเขียนโค้ดโดยใช้ Cloud Data Fusion * ประยุกต์ใช้การธรรมาภิบาลข้อมูลยุคใหม่และการจัดการ schema เพื่อให้มั่นใจในความน่าเชื่อถือของ pipeline คุณจะได้เริ่มต้นจากแนวคิดหลักและคำศัพท์ด้านวิศวกรรมข้อมูล ก่อนที่จะก้าวไปสู่การออกแบบ pipeline ผ่านคำอธิบายรูปแบบบทความที่มีโครงสร้างชัดเจน พร้อมสถานการณ์ตัวอย่างการเขียนโค้ด SQL และ Spark คุณจะได้สำรวจวิธีการจัดลำดับการทำงานของเครื่องมือข้อมูลที่หลากหลายเพื่อสร้างระบบประมวลผลแบบ batch ที่ทำงานร่วมกันได้อย่างราบรื่น คอร์สนี้ออกแบบมาสำหรับผู้เริ่มต้น ผู้ที่ต้องการเป็น data engineer และผู้ดูแลระบบฐานข้อมูลที่ต้องการเปลี่ยนผ่านไปสู่การทำงานกับข้อมูลบนระบบคลาวด์ ไม่จำเป็นต้องมีประสบการณ์ด้านวิศวกรรมคลาวด์มาก่อน เริ่มสร้าง data pipelines ที่น่าเชื่อถือและทำงานแบบอัตโนมัติได้แล้ววันนี้