Podstawy inżynierii danych: potoki, SQL i orkiestracja

Inżynieria danych jest podstawą nowoczesnej nauki o danych i analityki, ale opanowanie podstaw przepływu danych i infrastruktury może być złożone. Ten kurs zapewnia uporządkowaną podstawę w podstawowych narzędziach i wzorcach architektonicznych wymaganych do projektowania, budowania i utrzymywania niezawodnych potoków pobierania i transformacji danych. Ten kurs koncentruje się na praktycznej, podstawowej wiedzy, przygotowując Cię do sprostania wyzwaniom inżyniera danych na poziomie podstawowym i przeglądom technicznym. Czego się nauczysz: * Zrozumienie zasad modelowania danych, w tym modelowania wymiarowego, i zarządzanie danymi relacyjnymi za pomocą PostgreSQL. * Ćwicz pisanie wydajnych zapytań SQL i stosowanie Pythona do złożonego przetwarzania danych i logiki transformacji. * Zaprojektuj niezawodne architektury danych wsadowych i strumieniowych przy użyciu koncepcji Apache Kafka i rozproszonych systemów pamięci masowej. * Konfigurowanie i monitorowanie powtarzalnych przepływów danych przy użyciu podstawowych funkcji Apache Airflow. * Zastosuj podstawowe wzorce magazynowania danych, w tym koncepcje związane z kolumnowymi sklepami, takimi jak ClickHouse i optymalizacja zapytań analitycznych. * Poznaj podstawowe najlepsze praktyki w zakresie efektywnego strukturyzowania, testowania i wdrażania zadań inżynierii danych. Kurs zaczyna się od podstawowej terminologii i teorii modelowania danych, przechodzi przez praktyczne zastosowanie za pomocą Pythona i SQL do manipulacji danymi, a kończy się lekcjami na temat struktury złożonych przepływów pracy i integracji różnych technologii przechowywania i przesyłania strumieniowego. Ten kurs jest przeznaczony specjalnie dla absolutnych początkujących zainteresowanych zostaniem inżynierami danych. Nie jest wymagane wcześniejsze doświadczenie z infrastrukturą danych lub złożonym kodowaniem, wystarczy podstawowa wiedza programistyczna. Zacznij budować swoją podstawową wiedzę z zakresu inżynierii danych już dziś.