Apache Spark Structured Streaming con Scala Fundamentals

Apache Spark Structured Streaming proporciona una solución potente y tolerante a errores para los desafíos de ingeniería de datos modernos, y es una de las mejores soluciones de streaming estructurado para aplicaciones de datos. Este curso lo guía a través del dominio de los conceptos básicos del procesamiento de flujos con Scala, lo que le permite diseñar, implementar e implementar aplicaciones de flujo listas para la producción que manejan estados, ventanas y combinaciones complejas de manera confiable. Lo que aprenderás: * Comprender la arquitectura central de Structured Streaming, incluidas las fuentes, los sumideros, los disparadores y los modos de ejecución. * Aplicar técnicas sofisticadas de ventanas basadas en el tiempo para agregar y analizar flujos de datos de manera efectiva. * Configurar la gestión de estado y estrategias de puntos de control confiables para la tolerancia a fallas y recuperación. * Implementar complejas uniones de flujo a flujo y de flujo-a-estático para enriquecer el flujo de datos en tiempo real. * Practicar la integración de aplicaciones de transmisión con sistemas de datos externos como bases de datos y colas de mensajes. * Diseñar patrones de tubería listos para la producción, centrándose en los estándares básicos de monitoreo y registro para la estabilidad operativa. Comenzamos con los conceptos y la terminología fundamentales del procesamiento de flujos de Spark antes de pasar a la configuración práctica y la implementación de las características principales, como la gestión de estados y las ventanas.El curso concluye con las mejores prácticas para la implementacion y el mantenimiento de trabajos de streaming de larga duración. Este curso básico está diseñado para ingenieros de datos principiantes, científicos de datos y desarrolladores que desean comenzar a crear aplicaciones de datos en tiempo real utilizando Apache Spark y Scala.No se requiere experiencia previa en transmisión. Comience a desarrollar su experiencia en datos en tiempo real hoy mismo.