Budowanie potoków danych za pomocą Shell, Airflow i Kafka

W dzisiejszym świecie opartym na danych, umiejętność efektywnego przenoszenia i przekształcania danych jest podstawową umiejątkością dla każdego programisty lub specjalisty od danych.Ten kurs tekstowy przeprowadzi Cię przez podstawowe koncepcje ETL i ELT, pokazując, jak budować niezawodne potoki danych od podstaw. Nauczysz się automatyzować zadania za pomocą skryptów Shell, organizować złożone przepływy pracy za pomoca Airflow (w tym nowoczesne wzorce interfejsu API TaskFlow) i obsługiwać strumienie danych w czasie rzeczywistym za pomocę Kafka. Czego się nauczysz: - Zrozum podstawowe różnice między architekturami ETL i ELT oraz kiedy zastosować każdy z nich. - Napisz skrypty powłoki, aby zautomatyzować podstawowe zadania ekstrakcji, transformacji i ładowania danych. - Orkiestruj wieloetapowe przepływy danych za pomocą Airflow DAG i nowoczesnych konwencji TaskFlow API. - Skonfiguruj Kafkę, aby pobierać, przetwarzać i przesyłać strumieniowo dane zdarzeń w czasie rzeczywistym. - Zastosuj nowoczesne praktyki rurociągowe, w tym konteneryzowane wykonanie i podstawową walidację danych. Kurs zaczyna się od podstawowej terminologii i koncepcji architektonicznych, a następnie przechodzi do przewodników krok po kroku i ćwiczeń konfiguracyjnych.Zbadasz praktyczne scenariusze przetwarzania wsadowego i przesyłania strumieniowego w czasie rzeczywistym, aby zbudować dobrze zaokrąglony zestaw umiejętności. Ten kurs jest przeznaczony dla początkujących inżynierów danych, wymagających tylko podstawowej znajomości programowania i bez wcześniejszego doświadczenia w rurociągach. Zacznij czytać już dziś, aby opanować narzędzia, które napędzają nowoczesną infrastrukturę danych.