بناء نموذج لغة كبير Transformer من الصفر باستخدام PyTorch منخفض المستوى

قد تبدو تعقيدات نماذج اللغة الكبيرة الحديثة (LLMs) كصندوق أسود، مما يجعل من الصعب فهم كيفية عملها حقًا. تزيل هذه الدورة الأطر عالية المستوى للكشف عن الآليات الأساسية التي تشغل نماذج مثل GPT. بحلول نهاية هذه الدورة، ستكون قد قمت بتطبيق بنية Transformer الأساسية بأكملها من الصفر، مكتسبًا فهمًا عميقًا وعمليًا لكل طبقة، من إدخال النص الخام إلى الإخراج المُنشأ. يضمن هذا النهج العملي ومنخفض المستوى اكتسابك المعرفة المعمارية اللازمة لتصحيح الأخطاء وتحسين النماذج المستقبلية وابتكارها. ما ستتعلمه: * فهم الأسس الرياضية لآلية الانتباه الذاتي، والانتباه متعدد الرؤوس، والترميز الموضعي. * تطبيق ترميز زوج البايت (BPE) لترميز النص الفعال وإدارة المفردات من البيانات الخام. * بناء مكدس Transformer الكامل المعتمد على وحدة فك التشفير فقط (مثل GPT) باستخدام بدائيات ووحدات PyTorch منخفضة المستوى فقط. * ممارسة اتفاقيات Python و PyTorch الحديثة، بما في ذلك الإدارة الفعالة للأجهزة والتطبيق القوي باستخدام تلميحات النوع الثابتة. * تطبيق تقنيات لتوليد النص، بما في ذلك أخذ العينات وفك التشفير الجشع، لإجراء الاستدلال باستخدام نموذجك المخصص. * تكوين حلقات تدريب أساسية وفهم تدفق التدرج الحاسم اللازم لتحسين نماذج اللغة الكبيرة. تبدأ الدورة بمفاهيم أساسية لنمذجة التسلسل والانتباه، ثم ترشدك بشكل منهجي خلال تطبيق كل مكون من مكونات Transformer طبقة تلو الأخرى في Python و PyTorch. ستقوم بربط هذه الأجزاء لتشكيل بنية LLM وظيفية وقابلة للتدريب جاهزة للتجربة. تم تصميم هذه الدورة للمطورين المبتدئين والمتوسطين الملمين ببنية Python الأساسية الذين يرغبون في الانتقال إلى التعلم العميق وهندسة الذكاء الاصطناعي. لا يلزم وجود خبرة سابقة في PyTorch أو بنيات الشبكات العصبية. ابدأ في بناء معرفتك الأساسية في الذكاء الاصطناعي التوليدي اليوم.