Membangun LLM Transformer dari Awal menggunakan PyTorch Tingkat Rendah

Kerumitan Large Language Models (LLMs) modern bisa terasa seperti kotak hitam, sehingga sulit untuk benar-benar memahami bagaimana mereka bekerja. Kursus ini menghilangkan kerangka kerja tingkat tinggi untuk mengungkapkan mekanisme dasar yang menggerakkan model seperti GPT. Pada akhir kursus ini, Anda akan telah mengimplementasikan seluruh inti arsitektur Transformer dari awal, mendapatkan pemahaman yang mendalam, praktis dari setiap lapisan, dari input teks mentah untuk menghasilkan keluaran. Apa yang akan kau pelajari: * Mengerti dasar-dasar matematika dari mekanisme perhatian diri, perhatian multi-kepala, dan enkoding posisi. * Implementasi Byte Pair Encoding (BPE) untuk tokenisasi teks yang efisien dan manajemen kosakata dari data mentah. * Bangun penuh Decoder-hanya Transformer tumpukan (seperti GPT) hanya menggunakan tingkat rendah PyTorch primitive dan modul. * Praktik konvensi Python dan PyTorch modern, termasuk manajemen perangkat yang efektif dan implementasi yang kuat menggunakan hinting tipe statis. * Terapkan teknik untuk penciptaan teks, termasuk sampling dan decoding greedy, untuk melakukan inferensi dengan model custom Anda. * Konfigurasi dasar latihan loop dan memahami penting gradien aliran yang diperlukan untuk mengoptimalkan model bahasa besar. Kursus ini dimulai dengan konsep dasar dari model urutan dan perhatian, lalu secara sistematis memandu Anda melalui implementasi setiap komponen dari Transformer lapisan-demi-lapisan dalam Python dan PyTorch. Anda akan menghubungkan bagian-bagian ini untuk membentuk fungsional, LLM arsitektur siap untuk eksperimen. Kursus ini dirancang untuk pengembang pemula dan menengah yang akrab dengan sintaks Python dasar yang ingin bertransisi ke pembelajaran mendalam dan rekayasa AI. Tidak diperlukan pengalaman sebelumnya dengan PyTorch atau arsitektur jaringan saraf. Mulai membangun pengetahuan dasar Anda dalam AI generatif hari ini.