Wprowadzenie do multimodalnych agentów AI i korzystania z narzędzi

Kolejna ewolucja sztucznej inteligencji wykracza poza tekst. Multimodalni agenci mogą teraz analizować obrazy, czytać złożone dokumenty i podejmować działania przy użyciu zewnętrznych narzędzi. W tym podstawowym kursie pisemnym dowiesz się, jak projektować i budować agentów AI, którzy jednocześnie przetwarzają dane wizualne i tekstowe. Zaczniesz od podstawowych koncepcji agentowego AI i modeli vision-language, a następnie przejdziesz do praktycznych strategii wdrażania ekstrakcji dokumentów, analizy zrzutów ekranu i dynamicznego wywoływania narzędzi (tool calling). Czego się nauczysz: - Zrozumienie podstawowej terminologii multimodalnego AI i przepływów pracy agentów (agentic workflows). - Przetwarzanie i wyodrębnianie ustrukturyzowanych danych z obrazów, zrzutów ekranu i złożonych dokumentów. - Implementowanie nowoczesnych wzorców tool calling, aby umożliwić agentom interakcję z zewnętrznymi systemami. - Stosowanie technik prompt engineering zaprojektowanych specjalnie dla zadań vision-language. - Poznaj podstawowe koncepcje Retrieval-Augmented Generation (RAG) w zakresie obsługi danych multimodalnych. - Projektowanie solidnych architektur agentów, które sprawnie zarządzają wieloetapowym rozumowaniem. Kurs rozpoczyna się od ustalenia kluczowych definicji i podstawowej architektury systemów multimodalnych. Następnie zapoznasz się z pisemnymi samouczkami krok po kroku i fragmentami kodu, aby zbudować własnych agentów do przetwarzania dokumentów i obrazów. Kurs ten jest przeznaczony dla początkujących i programistów stawiających pierwsze kroki w dziedzinie agentów AI; nie jest wymagane wcześniejsze doświadczenie w uczeniu maszynowym. Zacznij budować nową generację inteligentnych, zorientowanych na działanie agentów AI już dziś.