📖 Cours Jour 17 · Analyser des textes avec un LLM · 30 min

Fiabilité, coût et sécurité

Mesurer la fiabilité : l'échantillon de contrôle

Un LLM ne se croit pas sur parole. On fait classer à la main un échantillon (40 avis chez Verdel, par Romain), puis on compare :

comp = controle.merge(classes, on="id_avis", suffixes=("_humain", "_llm"))
accord_theme = (comp["theme_humain"] == comp["theme_llm"]).mean() * 100
desaccords = comp[comp["theme_humain"] != comp["theme_llm"]]

Chez Verdel : 98 % d'accord sur le thème, 100 % sur le sentiment. Un seul désaccord : « Colis arrivé le lendemain, très bien emballé. », classé en prix par le LLM alors qu'il parle de livraison. Une vraie erreur, rare, mais qui rappelle qu'aucun classement automatique n'est parfait.

Taux d'accord Usage raisonnable
> 90 % Tendances, tableaux de bord, tri des avis à traiter
75 à 90 % Tendances seulement, avec prudence
< 75 % Revoir la consigne, ou le modèle

Même à 98 %, on ne laisse pas le LLM répondre seul à un client mécontent : on l'utilise pour trier, l'humain répond.

Cette leçon est réservée aux abonnés

Accédez à l'ensemble des cours, vidéos, ateliers, corrections et au certificat pour 29 € par mois sans engagement, ou 199 € par an.

Créer un compte J'ai déjà un compte