เจาะลึก LLM Output Layer: จาก Vector สู่การทำนาย Next-Token

เคยสงสัยไหมว่า Large Language Model ตัดสินใจเลือกคำที่จะเขียนถัดไปได้อย่างไร? เบื้องหลังทุกๆ ประโยคที่ถูกสร้างขึ้น คือ Pipeline ทางคณิตศาสตร์ที่แม่นยำ ซึ่งทำหน้าที่แปลง Vector ตัวเลขดิบให้ออกมาเป็นภาษามนุษย์ คอร์สเรียนรูปแบบข้อความนี้จะช่วยไขความกระจ่างในขั้นตอนสุดท้ายของกระบวนการสร้างข้อความของ LLM โดยพาคุณไล่เรียงตั้งแต่ Hidden States ของ Neural Network ไปจนถึงการเลือก Token ในขั้นตอนสุดท้าย คุณจะได้เข้าใจกลไกหลักของการทำ Vocabulary Projection, Probability Distribution รวมถึง Decoding Parameters ที่ใช้ควบคุมความคิดสร้างสรรค์และความสมเหตุสมผลของเนื้อหา สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจว่า Hidden States สุดท้ายของ LLM ถูก Project กลับไปยัง Vocabulary Space ได้อย่างไร - ประยุกต์ใช้ฟังก์ชัน Softmax เพื่อแปลง Logits ดิบให้เป็น Probability Distributions ที่ถูกต้อง - กำหนดค่า Decoding Parameters เช่น Temperature เพื่อควบคุมความสุ่มของ Output ที่โมเดลสร้างขึ้น - วิเคราะห์ความแตกต่างระหว่าง Greedy Search, Top-k และ Top-p (Nucleus) Sampling - ฝึกฝนการปรับแต่ง Generation Parameters เพื่อป้องกันการพูดซ้ำและปรับปรุงคุณภาพของ Output ให้ดีขึ้น เราจะเริ่มต้นจากแนวคิดพื้นฐานของ Token Vocabularies และ Projection Matrices จากนั้นจะพาคุณไปเรียนรู้คณิตศาสตร์เชิงความน่าจำเป็นลำดับถัดไป และปิดท้ายด้วยกลยุทธ์เชิงปฏิบัติในการกำหนดค่า Inference Engines สมัยใหม่ คอร์สนี้ออกแบบมาสำหรับผู้ที่มุ่งสู่การเป็น AI Engineer, Developer และผู้ที่สนใจในเทคโนโลยีที่ต้องการเข้าใจการทำงานภายในของ Language Model โดยไม่จำเป็นต้องมีพื้นฐานคณิตศาสตร์ขั้นสูง เริ่มอ่านแต่วันนี้เพื่อเชี่ยวชาญกลไกเบื้องหลังการสร้างข้อความของ LLM