Kỹ thuật dữ liệu với Apache Beam và Dataflow: xây dựng các đường ống hàng loạt

Apache Beam cung cấp một mô hình mạnh mẽ, thống nhất để xác định các đường ống dữ liệu mà bạn có thể chạy dễ dàng trên các dịch vụ đám mây quản lý như Dataflow. Chương trình này hướng dẫn bạn qua các khái niệm cơ bản của xử lý dữ liệu, đưa bạn từ phát triển đường ống địa phương đến triển khai quy mô đám mây. Bạn sẽ học cách viết mã đường ống sạch, có thể duy trì bằng Apache Beam Python SDK, áp dụng các biến đổi, và dàn dựng các luồng dữ kiện của bạn trong môi trường đám mờ. Bạn sẽ học được: - Hiểu các khái niệm cốt lõi của các đường ống dữ liệu, bao gồm PCollections, Transforms, Pipeline Runners và I / O connectors. - Cấu hình một môi trường phát triển Python địa phương sử dụng môi trường ảo hiện đại và phụ thuộc SDK. - Apply transformations to extract, clean, and format data using Apache Beam's built-in functions. - Thực hiện gợi ý kiểu Python để đảm bảo an toàn đường ống, mã dễ đọc, và các sơ đồ dữ liệu mạnh mẽ. - Thiết lập các đường ống xử lý hàng loạt cho Dataflow trên đám mây để quản lý đầy đủ, thực hiện tự động. - Kiểm tra và gỡ lỗi mã đường ống của bạn trong vùng trước khi chuyển nó sang môi trường sản xuất. Bạn sẽ bắt đầu bằng cách nắm vững các thuật ngữ cơ bản và thực hiện đường ống địa phương, dần dần chuyển sang logic chuyển đổi cao cấp. Cuối cùng, bạn sẽ khám phá sự tích hợp đám mây, học cách cấu hình quyền và triển khai mã của bạn để chạy trên cơ sở hạ tầng đám mờ được quản lý. Chương trình này được thiết kế cho các kỹ sư dữ liệu, nhà phát triển phần mềm, và nhà phân tích dữ kiện có kiến thức cơ bản về Python và muốn học cách xử lý dữ liêu gốc đám mây. Không cần kinh nghiệm trước đó với Apache Beam hay các đường ống dữ tờ mờ. Bắt đầu đọc hôm nay để xây dựng đường ống dữ liệu có thể mở rộng đầu tiên của bạn từ đầu.