CAS DOCUMENTÉÉchec ou reversDocumenté
DPD — Couper un chatbot qui insultait la marque
Après une mise à jour, l’assistant de DPD a juré et dénigré l’entreprise à la demande d’un client ; la partie IA a été désactivée.
Ouvrir la fiche →← Le glossaire
GLOSSAIRE · LA MISE EN ŒUVRE
Évaluation (evals)
Mesurer la qualité d’un système d’IA sur des cas tests représentatifs, avant et après chaque changement.
4 cas
du catalogue illustrent ce terme, avec 2 outils de la carte.
Aussi : evals · tests · benchmarkDéfinition
Évaluer, c’est constituer un jeu de cas avec les réponses attendues et mesurer régulièrement ce que fait le système : exactitude, sources correctes, refus quand il le faut, cas limites. On parle d’« evals ».
Sans évaluation, on ne sait pas si un changement de modèle ou de prompt améliore ou dégrade le système.
En pratique
- Partir de vrais cas, y compris les erreurs déjà constatées.
- Relancer l’évaluation à chaque changement de modèle, de prompt ou de sources.
Outils liés
DANS LE CATALOGUE
Des cas pour le voir à l’œuvre
Les cas documentés d’abord.
CAS DOCUMENTÉDocumenté
Hello bank! — Diviser par trois les renvois vers un conseiller
La banque en ligne passe d’un chatbot fiable mais limité à un assistant d’IA générative pour son million de clients.
Ouvrir la fiche →CAS DOCUMENTÉDocumenté
Nous Research — Améliorer automatiquement les consignes d’un agent
Une boucle de test compare des variantes des consignes et des compétences de l’agent Hermes, et retient celles qui donnent de meilleurs résultats.
Ouvrir la fiche →CAS DOCUMENTÉÉchec ou reversDocumenté
Ville de New York — Un chatbot public qui conseille d’enfreindre la loi
L’assistant MyCity destiné aux entreprises donnait des réponses contraires au droit du travail et du logement ; il est resté en ligne avec un avertissement.
Ouvrir la fiche →ET CHEZ VOUS ?
Passer du mot au cas d’usage
Comprendre le vocabulaire est un début. HOCUS part de vos données et de vos équipes pour identifier ce qui a du sens chez vous.