datapero-finetuning-llm

Dat’apéro - 21/03/2024, Angers

Ce dépôt contient les fichiers de :

• la présentation “Fine-tuning d’un LLM”
  • Présentation en HTML
  • Présentation en PDF
• les notebooks du TP
  • fine-tuning
  • inférence
• le code source de l’outil dataforge pour créer un dataset sur mesure à partir de documents : code source

Les modèles générés sont disponibles sur Huggingface :

• kuhess/hermes-2-pro-mistral-7b-metropole-4bit-gguf
• kuhess/hermes-2-pro-mistral-7b-metropole

Sources des données

J’ai utilisé quelques numéros du journal Métropole (janvier 2023 -> mars 2024) pour générer un dataset de quelques milliers de question/réponse au sujet d’Angers Loire Métropole.

J’ai également utilisé le dernier rapport du GIEC (AR6 Full Report) pour tester dataforge.