Le fine-tuning (ajustement précis) consiste à partir d'un modèle déjà entraîné de manière générale et à le réentraîner avec un jeu de données plus réduit et spécifique, afin qu'il se spécialise dans une tâche ou un domaine concrets. Au lieu d'un entraînement à partir de zéro, les connaissances préalables du modèle de base sont exploitées et ses paramètres sont adaptés aux besoins particuliers.
Cette technique est importante car elle permet d'obtenir des modèles spécialisés avec moins de données, moins de temps et un coût computationnel réduit par rapport à un entraînement complet. Elle s'avère particulièrement utile pour :
- Adapter le langage à un secteur (juridique, médical, financier).
- Ajuster le style ou le ton des réponses.
- Améliorer les performances sur des tâches très concrètes.
Une nuance pratique : il existe des variantes plus légères comme LoRA ou QLoRA, qui ne modifient qu'une petite partie des paramètres et réduisent encore davantage les ressources nécessaires. Il convient de distinguer le fine-tuning d'autres alternatives, telles que le prompt engineering ou la RAG, qui ne modifient pas les poids du modèle et suffisent parfois à résoudre le problème.