Inférence d'un LLM local avec ONNX et C#

Déployer de grands modèles de langage localement sans infrastructure GPU dédiée est une compétence essentielle pour les développeurs et ingénieurs IA modernes. Ce cours écrit vous guide à travers la configuration, le chargement et l'exécution de modèles quantifiés directement sur CPU en utilisant C# et ONNX Runtime. Vous développerez une compréhension claire des fondamentaux des LLMOps, des techniques de quantification de modèles et de la gestion des tokens pour construire des applications d'IA locales réactives. Ce que vous apprendrez : - Comprendre les concepts clés des LLMOps, les bases de l'architecture des modèles et le vocabulaire - Configurer ONNX Runtime pour l'exécution sur CPU dans des environnements C# - Charger et exécuter des modèles Phi-3 quantifiés en 4 bits localement - Gérer efficacement la tokenisation, le templating de prompts et les fenêtres de contexte - Appliquer des techniques d'optimisation de l'inférence pour des performances CPU fiables - Implémenter l'analyse de sorties structurées et des schémas de gestion d'erreurs de base La lecture commence par la terminologie fondamentale du machine learning et les principes de l'environnement d'exécution avant de passer aux pipelines d'inférence pilotés par le code et aux stratégies d'optimisation. Ce cours est conçu pour les développeurs et les débutants techniques intéressés par l'exécution de modèles de langage localement avec C#, ne nécessitant aucune expérience préalable en machine learning. Commencez à lire dès aujourd'hui pour intégrer l'exécution de modèles de langage locaux dans vos applications C#.