Основы инженерии данных в облаке

Поскольку организации генерируют огромное количество информации, способность создавать надежные системы, которые собирают, хранят и анализируют эти данные, имеет решающее значение. Этот курс познакомит вас с основными принципами инженерии данных на современной облачной инфраструктуре. Вы перейдете от понимания основных концепций данных к проектированию масштабируемых конвейеров, которые обеспечивают бизнес-аналитику и машинное обучение. С помощью четких письменных объяснений и структурированных примеров вы узнаете, как выбрать правильное решение для хранения, обрабатывать потоковые и пакетные данные и поддерживать чистые архитектуры данных. Что вы узнаете: 1. Понимание основных концепций, терминологии и ролей в облачной инженерии данных. 2. Сравните и выберите подходящие варианты облачного хранения, от озер данных до реляционных баз данных. 3. Проектирование пакетных и потоковых конвейеров данных с использованием Pub/Sub и Dataflow. 4. Запрос и управление крупномасштабными аналитическими наборами данных с помощью BigQuery. 5. Интеграция современных моделей хранилищ данных и концепций dbt для эффективного преобразования данных. 6. Внедрение основных механизмов управления данными, контроля доступа и наблюдения за процессом. Курс начинается с основной терминологии и основных концепций архитектуры, прежде чем перейти к практическому проектированию трубопровода. Вы пройдете пошаговый путь от сбора данных и выбора хранилища до обработки, преобразования и аналитических запросов. Этот курс предназначен для начинающих инженеров данных, администраторов баз данных и энтузиастов технологий, которые хотят получить простое введение в облачные системы данных. Не требуется предыдущий опыт работы в облаке или в области обработки данных. Начните создавать основу для облачного анализа данных уже сегодня.