CSC 8614 – Modèles de langage

Dans ce cours, nous allons aborder ce que sont les modèles de langage. Nous parlerons de comment ils sont conçus et entraînés, ainsi que diverses applications.

• Sujet
  Contenu
  Notions clefs
• CI1
  Introduction aux modèles de langage
  • Cours
    – 1h30min
  • Exercices
    – 1h30
  • Modélisation du langage avec des probabilités
  • Word2Vec
  • Transformers
  • Génération de texte
• CI2
  Training Large Language Models
  • Cours
    – 1h30min
  • Exercices
    – 1h30
  • Pre-processing
  • Pre-training
  • Fine-tuning for Classification
  • Knowledge Distillation
• CI3
  Post-training and Evaluation
  • Cours
    – 1h30min
  • Exercices
    – 1h30
  • Préparation CC1
  • Post-training (SFT and alignment)
  • Evaluating LLMs
  • Parameter-Efficient Fine-tuning (PEFT)
• CI4
  RAG
  • Cours
    – 1h30min
  • Exercices
    – 1h30
  • Retrieval-Augmented Generation (RAG)
  • Embeddings & recherche vectorielle
  • Chunking & indexation (Chroma)
  • Prompting “grounded” avec citations
  • Évaluation : Recall@k et groundedness
• CI5
  Agents
  • Cours
    – 1h30min
  • Exercices
    – 1h30
  • Préparation CC2