Strumieniowanie strukturalne Apache Spark z podstawami Scala

Potrzebujesz przetwarzać i analizować ogromne ilości danych w czasie rzeczywistym? Strumieniowanie strukturalne Apache Spark zapewnia wydajne, odporne na błędy rozwiązanie dla nowoczesnych wyzwań związanych z inżynierią danych. Ten kurs poprowadzi Cię przez opanowanie podstawowych koncepcji przetwarzania strumieniowego za pomocą Scala, umożliwiając projektowanie, wdrażanie i wdražanie gotowych do produkcji aplikacji strumienia, które niezawodnie obsługują stan, okna i złożone połączenia. Czego się nauczysz: * Zrozum podstawową architekturę Structured Streaming, w tym źródła, pochłaniacze, wyzwalacze i tryby wykonywania. * Zastosuj zaawansowane techniki okien oparte na czasie, aby skutecznie agregować i analizować strumienie danych. * Konfiguruj zarządzanie stanem i niezawodne strategie punktów kontrolnych dla tolerancji błędów i odzyskiwania. * Wdrożyć złożone połączenia strumieniowe i strumienne do statycznych w celu wzbogacenia przepływu danych w czasie rzeczywistym. * Ćwicz integrację aplikacji strumieniowych z zewnętrznymi systemami danych, takimi jak bazy danych i kolejki wiadomości. * Projektuj gotowe do produkcji wzorce rurociągów, koncentrując się na podstawowych standardach monitorowania i rejestrowania stabilności operacyjnej. Zaczynamy od podstawowych pojęć i terminologii przetwarzania strumieniowego Spark, zanim przejdziemy do praktycznej konfiguracji i implementacji podstawowych funkcji, takich jak zarządzanie stanem i tworzenie okien. Kurs kończy się najlepszymi praktykami wdrażania i utrzymywania długotrwałych zadań strumieniowych. Ten kurs podstawowy jest przeznaczony dla początkujących inżynierów danych, naukowców zajmujących się danymi i programistów, którzy chcą rozpocząć tworzenie aplikacji danych w czasie rzeczywistym przy użyciu Apache Spark i Scala. Nie jest wymagane wcześniejsze doświadczenie w przesyłaniu strumieniowym. Zacznij budować swoją wiedzę na temat danych w czasie rzeczywistym już dziś.