Skip to content. | Skip to navigation

Personal tools

Sections

Consider the world interacting

  • Logo CNRS
  • Logo ENSL
  • logo-enssib.jpg
You are here: Home / Teaching / Formation Grands Modèles de Langue

Formation Grands Modèles de Langue

When Jun 21, 2024
from 09:00 to 05:30
Add event to calendar vCal
iCal

La formation est complète, nous ne pouvons plus accepter de participation supplémentaire. 


L'IXXI organise le 21 juin 2024 à l'ENS de Lyon une formation sur les Grands Modèles de Langue (LLM). Au cours de cette formation, nous nous pencherons les architectures à base de transformers pour comprendre le fonctionnement des modèles qui sous-tendent les agents conversationnels tels ChatGPT. 

Après un rapide retour sur le fonctionnement des réseaux de neurones, nous nous intéresserons aux mécanismes d'entraînement des LLM puis nous rentrerons dans le détail de l'architecture de GPT2, un modèle suffisamment petit pour être manipulable directement, mais suffisamment complexe pour présenter les aspects fondamentaux des LLM.

Cette formation durera toute la journée et est destinée à des personnes ayant une expérience de programmation en Python.

Actualités
Apr 04, 2024
Feb 15, 2024
Oct 05, 2023
Oct 05, 2023 Certains projets entrent particulièrement bien en résonance avec le contrat naturel et les priorités de l’institut Michel Serres. Certains de ces projets impliquent des membres de l’institut, à des degrés divers. D’autres sont indépendants, mais nous estimons qu’ils méritent d’être mentionnés ici (avec l’accord des porteurs) comme autant de sources d’inspiration.