Projetando algoritmos eficientes em I/O para dados de grande escala

Para criar sistemas de alto desempenho, os engenheiros de software e os especialistas em dados devem entender como minimizar o acesso lento ao armazenamento e otimizar o movimento de dados. Este curso orienta você através dos princípios de memória externa e algoritmos esquecidos de cache.Você fará a transição de escrever algoritmo padrão para projetar sistemas que otimizam a transferência de dados através da hierarquia de memóri moderna, melhorando drasticamente o desempenho para bancos de dados de grande escala, sistemas de arquivos e pipelines de dados. O que você vai aprender: - Entenda os limites fundamentais da hierarquia de memória, incluindo as diferenças entre RAM, SSDs e armazenamento NVMe moderno. - Analise algoritmos usando o modelo de memória externa para medir e minimizar as operações de E / S do disco. - Projete estruturas de dados de memória externa fundamentais, como árvores B e pools de buffer, para recuperação eficiente de dados. - Aplique princípios de design esquecidos de cache para escrever algoritmos que sejam executados de forma eficiente em vários tamanhos de cache sem ajuste manual. - Compare paradigmas de armazenamento modernos, incluindo árvores Log-Structured Merge (LSM) e árvore B tradicionais, usadas em mecanismos de banco de dados modernos. Você começará com conceitos fundamentais de hierarquias de memória e custos de E/S antes de avançar para estruturas de dados de memóri externa, técnicas de classificação externa e arquiteturas modernas de armazenamento de banco de dados. Através de explicações escritas detalhadas e passo a passo algorítmicos, você aprenderá a pensar em computação em termos de transferência de dados, em vez de apenas ciclos de CPU. Este curso é projetado para desenvolvedores de software, estudantes de ciência da computação e engenheiros de dados que desejam entender o processamento de dados de alto desempenho.Não é necessária experiência prévia com algoritmos de memória externa, pois começamos com o básico absoluto. Comece a dominar os algoritmos que impulsionam os sistemas de dados modernos e de grande escala hoje mesmo.