Quantization Fundamentals with Hugging Face and Quanto

Büyük dil modellerini verimli çalıştırmak, performanstan ödün vermeden boyutlarını optimize etmeyi gerektirir. Bu yalnızca metin tabanlı kurs, model nicelemesinin temel ilkelerini tanıtarak, modelleri sınırlı kaynaklara sahip donanımlarda çalıştırmanızı sağlar. Sıkıştırmanın arkasındaki temel matematiksel temelleri anlamakla başlayacak, ardından pratik uygulamaya geçeceksiniz. Hugging Face Transformers ve Quanto kütüphanesini kullanarak modelleri yüklemeyi, analiz etmeyi ve nicelemeyi öğrenin. Öğrenecekleriniz: Eğitim sonrası niceleme, kalibrasyon ve hassasiyet kaybının temel kavramlarını anlayın; 8-bit ve 4-bit niceleme tekniklerinin uygulamasında ustalaşın; Açık kaynaklı modelleri sıkıştırmak için Quanto kütüphanesini uygulayın; Nicelemeye alınmış ağırlıkları verimli bir şekilde yüklemek için Hugging Face Transformers'ı yapılandırın; Yaygın niceleme darboğazlarını ve doğruluk düşüşünü giderme alıştırması yapın. Bu kurs, hassasiyet eşlemesinin temel terminolojisi ve matematiksel temelleriyle başlar, ardından adım adım yazılı kod incelemeleriyle size rehberlik eder. Pahalı donanıma ihtiyaç duymadan modelleri optimize etmek isteyen yazılım mühendisleri, veri bilimcileri ve makine öğrenimi yeni başlayanları için tasarlanmıştır. Bugün öğrenmeye başlayın ve makine öğrenimi modellerinizi daha hızlı ve daha hafif hale getirin.