프로덕션 데이터 파이프라인을 위한 중급 dbt

데이터 변환을 확장하려면 기본적인 SQL 쿼리를 작성하는 것 이상이 필요합니다. 신뢰할 수 있는 프로덕션 수준의 데이터 파이프라인을 구축하려면 강력한 테스트, 자동화 및 이력 추적을 구현해야 합니다. 이 텍스트 기반 과정은 데이터 분석 엔지니어링을 향상시키기 위한 중급 dbt 기술을 안내합니다. 간단한 모델 작성에서 조직과 함께 확장되는 탄력적이고 자동화되며 완벽하게 문서화된 데이터 워크플로우를 구성하는 것으로 전환하게 될 것입니다. 학습 내용: - 사용자 정의 스키마 테스트 및 소스와 seeds에 대한 유효성 검사 규칙을 포함한 고급 테스트 전략 구성. - Slowly Changing Dimensions (SCD Type 2)를 사용하여 이력 데이터 변경 사항을 추적하기 위한 dbt snapshots 구현. - dbt build를 사용하여 모델, 테스트 및 스냅샷 실행을 간소화하여 파이프라인 실행 최적화. - dbt seeds를 사용하여 정적 데이터셋을 효과적으로 관리하고 더 나은 거버넌스를 위해 데이터 lineage 문서화. - dbt 프로젝트를 깔끔하고 유지보수 가능하게 유지하기 위한 현대적인 프로젝트 구조화 및 모듈식 설계 원칙 적용. - dbt 변경 사항을 안전하게 배포하기 위한 CI (Continuous Integration) 워크플로우의 기본 이해. 필수 용어 및 기본적인 프로젝트 구조를 검토하는 것으로 시작하여 고급 구성, 코드 스니펫 및 실용적인 설계 패턴에 대한 단계별 서면 설명으로 들어갑니다. 이 과정은 SQL 및 기본적인 dbt 개념을 이해하고 있으며 프로덕션 준비가 된 파이프라인을 구축할 준비가 된 데이터 분석가, 분석 엔지니어 및 개발자를 위해 설계되었습니다. 오늘부터 읽기를 시작하여 더 깔끔하고 신뢰할 수 있는 데이터 변환 워크플로우를 구축하세요.