Teoria informacji i podstawy kodowania prefiksowego

Teoria informacji stanowi matematyczny fundament kompresji danych, nowoczesnych systemów komunikacyjnych oraz uczenia maszynowego. Ten kurs rozkłada istotne pojęcia z zakresu teorii informacji na przystępne, pisemne wyjaśnienia krok po kroku oraz praktyczne ćwiczenia. Zaczniesz od podstawowych definicji rozkładów prawdopodobieństwa i miar informacji, przechodząc przez optymalne techniki kodowania binarnego, granice entropii oraz metryki dywergencji stosowane we współczesnych systemach informatycznych. Czego się nauczysz: - Zrozumieć główne zasady binarnego kodowania prefiksowego oraz kodów jednoznacznie dekoowalnych - Obliczać entropię Shannona i określać teoretyczne dolne granice średniej długości kodu - Analizować nierówność Krafta i jej rolę w konstrukcji kodów prefiksowych - Mierzyć entropię względną oraz dywergencję Kullbacka-Leiblera między rozkładami prawdopodobieństwa - Oceniać odległość statystyczną (odległość całkowitej wariacji) i stosować nierówność Pinskera - Poznać współczesne powiązania między miarami informacji, kompresją danych a uczeniem maszynowym Kurs rozpoczyna się od podstawowej terminologii i pojęć z zakresu prawdopodobieństwa, zanim przejdzie do szczegółowych dowodów, technik konstrukcji kodów oraz analitycznych zestawów zadań. Ten kurs jest przeznaczony dla ciekawskich początkujących, studentów informatyki oraz programistów zainteresowanych informatyką teoretyczną. Nie jest wymagane wcześniejsze zaawansowane przygotowanie z teorii informacji. Zacznij czytać już dzisiaj, aby zbudować rygorystyczne podstawy pojęciowe w zakresie teorii informacji.