Un assistant affirme que vous avez trente jours pour demander un remboursement. Il cite une procédure et sa réponse paraît fiable. Mais la procédure citée était-elle applicable à votre commande ? Cet exercice vous donne les pièces pour le vérifier. Le problème ne se résout pas en demandant simplement à l’IA d’être plus prudente.
Cas pratique pédagogique. Documents, transactions et traces synthétiques. Les réponses présentées sont préparées pour l’exercice ; elles ne sont pas les résultats d’un test de modèle réel.
Trois exercices courts, chacun avec ses pièces, sa question, son corrigé et ses limites. Ils servent à repérer l’écart entre une démonstration réussie et un usage qu’on peut déployer.
Convention : borne de début incluse, borne de fin exclue ; champ valid_to vide = aucune fin fixée. Dans ce corpus pédagogique, la version applicable est celle en vigueur à la date de commande pour le produit et la juridiction indiqués. Cette convention n’est pas une règle juridique générale.
| document_id | version_id | status | product | jurisdiction | valid_from | valid_to | refund_window_days | approval_date |
|---|---|---|---|---|---|---|---|---|
| CG-A | V1 | approved | ABO-PRO | FR | 2026-01-01 | 2026-07-01 | 30 | 2025-12-15 |
| CG-A | V2 | approved | ABO-PRO | FR | 2026-07-01 | 2026-11-01 | 14 | 2026-06-20 |
| CG-A | V3 | approved | ABO-PRO | FR | 2026-11-01 | vide | 21 | 2026-09-20 |
| CG-B | V1 | approved | ABO-PRO | BE | 2026-07-01 | vide | 30 | 2026-06-20 |
| CG-C | V1 | draft | ABO-PRO | FR | 2026-07-01 | vide | 45 | vide |
Chaque version contient la même clause, avec son délai N : « Pour une commande relevant de cette version, la demande de remboursement doit être enregistrée au plus tard N jours calendaires après la date de commande. La date limite est la date de commande augmentée de N jours. Une demande enregistrée le jour de la date limite est recevable dans cet exercice. »
{
"_mention": "Données synthétiques — cas pratique pédagogique. Ne décrit aucune mission client ni aucun test de modèle réel.",
"transaction_id": "PED-A-001",
"order_date": "2026-09-15",
"request_date": "2026-10-05",
"product": "ABO-PRO",
"jurisdiction": "FR",
"question": "Ma commande du 15 septembre peut-elle être remboursée si je demande le 5 octobre ?",
"reponse_proposee_avant_examen": "Oui. Vous disposez de trente jours après la commande pour demander un remboursement. Votre demande du 5 octobre est donc dans le délai. Source : CG-A, version V1."
}
Trace synthétique préparée pour l’exercice : aucun score de similarité, identifiant de modèle ou durée d’exécution n’y figure.
{
"_mention": "Trace synthétique préparée pour l'exercice. Données synthétiques — cas pratique pédagogique. Ne décrit aucune mission client ni aucun test de modèle réel.",
"trace_type": "synthetic_pedagogical_fixture",
"request_id": "PED-A-001",
"retrieval_filters": {
"product": "ABO-PRO",
"jurisdiction": "FR"
},
"temporal_filter_applied": false,
"status_filter_applied": false,
"candidates_in_rank_order": [
"CG-A-V1",
"CG-A-V2",
"CG-A-V3",
"CG-C-V1"
],
"context_passages_transmitted": [
{
"version_id": "CG-A-V1",
"refund_window_days": 30
}
],
"prepared_output_citation": "CG-A-V1",
"prepared_output_refund_eligible": true
}
La version applicable est CG-A V2 : produit ABO-PRO, France, statut approuvé et date de commande comprise entre le 1er juillet et le 1er novembre. Son délai est de quatorze jours. La date limite est le 29 septembre ; la demande du 5 octobre est hors délai selon les règles de cet exercice.
La trace synthétique indique que V2 figurait parmi les candidats, mais que seul le passage de V1 a été transmis. La réponse est soutenue par ce passage, qui n’est pas applicable à la commande. L’exercice met donc en évidence une mauvaise sélection du contexte applicable ; il n’établit pas une invention du modèle. Il ne permet pas de savoir pourquoi V1 a été classée en premier.
Ajouter un filtre de date et de statut est une correction à tester. Cela ne suffit pas à prouver qu’un système complet est fiable. Il reste à contrôler les dates limites, les commandes historiques, les versions futures, les périmètres et les questions incomplètes. Dans le cas d’une commande réelle, les pièces contractuelles et le droit applicable doivent aussi être examinés.
Ce sélecteur déterministe applique les règles de l’exercice à n’importe quelle commande. Ce n’est pas un test de fiabilité d’une IA. Il refuse les dates invalides et une demande antérieure à la commande ; si deux versions applicables se chevauchent, il signale l’ambiguïté au lieu de prendre la plus récente.
Jeu de recette : tests-A.csv (neuf cas, résultats attendus dérivés des règles, pas des observations d’un modèle).
| test_id | order_date | request_date | product | jurisdiction | expected_version | expected_eligible |
|---|---|---|---|---|---|---|
| A01 | 2026-09-15 | 2026-10-05 | ABO-PRO | FR | CG-A-V2 | false |
| A02 | 2026-06-15 | 2026-07-10 | ABO-PRO | FR | CG-A-V1 | true |
| A03 | 2026-07-01 | 2026-07-15 | ABO-PRO | FR | CG-A-V2 | true |
| A04 | 2026-07-01 | 2026-07-16 | ABO-PRO | FR | CG-A-V2 | false |
| A05 | 2026-11-01 | 2026-11-22 | ABO-PRO | FR | CG-A-V3 | true |
| A06 | 2026-11-01 | 2026-11-23 | ABO-PRO | FR | CG-A-V3 | false |
| A07 | 2026-09-15 | 2026-10-05 | ABO-PRO | BE | CG-B-V1 | true |
| A08 | 2026-09-15 | 2026-10-05 | OTHER | FR | NONE | UNDETERMINED |
| A09 | vide | 2026-10-05 | ABO-PRO | FR | NEEDS_ORDER_DATE | UNDETERMINED |
Sans formulaire. Licence CC BY 4.0. Empreintes dans SHA256SUMS.txt ; elles authentifient les fichiers distribués, pas une exécution réelle.
Toutes les pièces, le README et la licence
Trois décisions possibles : informations insuffisantes ; test complémentaire nécessaire ; critères de l’exercice satisfaits. La troisième ne signifie jamais « système prêt pour toute production ».
Vous souhaitez aborder ces questions avec vos dirigeants ou vos équipes ? Présentez le public, le format et l’objectif de votre événement.
Préparer un événement sur l’IA