CSC 8614 – Modèles de langage
Portail informatique
Liens utiles
Présentation
Notation
Supports
CI1
Introduction aux modèles de langage
Cours
– 1h30min
Exercices
– 1h30
Modélisation du langage avec des probabilités
Word2Vec
Transformers
Génération de texte
CI2
Training Large Language Models
Cours
– 1h30min
Exercices
– 1h30
Pre-processing
Pre-training
Fine-tuning for Classification
Knowledge Distillation
CI3
Post-training and Evaluation
Cours
– 1h30min
Exercices
– 1h30
Préparation CC1
Post-training (SFT and alignment)
Evaluating LLMs
Parameter-Efficient Fine-tuning (PEFT)
CI4
RAG
Cours
– 1h30min
Exercices
– 1h30
Retrieval-Augmented Generation (RAG)
Embeddings & recherche vectorielle
Chunking & indexation (Chroma)
Prompting “grounded” avec citations
Évaluation : Recall@k et groundedness
CI5
Agents
Cours
– 1h30min
Exercices
– 1h30
Préparation CC2
Modalités du contrôle
Modalités.
Bon courage !