Formation Grands Modèles de Langue
La formation est complète, nous ne pouvons plus accepter de participation supplémentaire.
L'IXXI organise le 21 juin 2024 à l'ENS de Lyon une formation sur les Grands Modèles de Langue (LLM). Au cours de cette formation, nous nous pencherons les architectures à base de transformers pour comprendre le fonctionnement des modèles qui sous-tendent les agents conversationnels tels ChatGPT.
Après un rapide retour sur le fonctionnement des réseaux de neurones, nous nous intéresserons aux mécanismes d'entraînement des LLM puis nous rentrerons dans le détail de l'architecture de GPT2, un modèle suffisamment petit pour être manipulable directement, mais suffisamment complexe pour présenter les aspects fondamentaux des LLM.
Cette formation durera toute la journée et est destinée à des personnes ayant une expérience de programmation en Python.