클라우드 데이터 엔지니어링: 빅 데이터에서 머신러닝까지

대규모 데이터 처리의 세계로 들어갈 준비가 되었지만 어디서부터 시작해야 할지 모르시나요? 이 과정은 주요 클라우드 플랫폼에서 최신 데이터 시스템이 어떻게 구축되고 관리되는지 이해하는 명확한 경로를 제공합니다. 방대한 데이터 세트를 수집, 처리 및 분석하는 데 필요한 기본 기술을 습득하게 됩니다. 과정이 끝나면 견고한 데이터 파이프라인을 설계하고, 페타바이트 규모의 데이터 웨어하우스를 쿼리하며, 첫 번째 machine learning 모델을 훈련하여 원시 데이터를 가치 있는 통찰력으로 전환할 수 있게 될 것입니다. 학습 내용: - data lake부터 BigQuery와 같은 data warehouse에 이르는 data engineering의 핵심 개념을 이해합니다. - Dataflow 및 Pub/Sub과 같은 서비스를 사용하여 스트리밍 및 배치 데이터 파이프라인을 구축합니다. - Cloud Composer로 복잡한 데이터 워크플로우를 오케스트레이션하는 연습을 합니다. - 클라우드 데이터 웨어하우스에서 SQL을 사용하여 대규모 데이터 세트를 쿼리하고 분석하는 데 능숙해집니다. - 통합 Vertex AI 플랫폼을 사용하여 machine learning 모델을 생성하고 배포합니다. - 최신 생성형 AI 모델에 기본적인 prompt engineering 기술을 적용합니다. - 반복 가능한 데이터 설정을 위한 infrastructure as code 관리의 기초를 배웁니다. 이 과정은 기본적인 클라우드 데이터 용어부터 시작하여 데이터 수집, 변환, 저장 및 분석에 대한 실용적인 수업으로 이어지며, 실제 machine learning 애플리케이션으로 마무리됩니다. 이 과정은 완전 초보자를 위해 설계되었습니다. 시작하는 데 data engineering 또는 클라우드 플랫폼에 대한 사전 경험이 필요하지 않습니다. 오늘 클라우드 데이터의 세계로 여정을 시작하세요.