Mesurer qu'un assistant documentaire fonctionne

Le constat

Un prestataire vous montre un assistant qui répond parfaitement à cinq questions sur vos documents. C'est impressionnant, et ça ne prouve rien : les cinq questions ont été choisies après avoir vu ce que le système savait faire. Le problème n'est pas la mauvaise foi, il est structurel — quand on prépare une démonstration, on écarte naturellement les cas qui ne passent pas, souvent sans même s'en rendre compte. Vous découvrez les vrais résultats trois mois plus tard, quand vos équipes ont cessé d'utiliser l'outil parce qu'« il ne trouve jamais rien ». Personne n'a menti, personne n'a mesuré non plus.

Le second piège est plus subtil : croire qu'il suffit de fournir vos questions au prestataire. Donner vingt questions réelles est utile, mais insuffisant — car il faudra bien que quelqu'un décide si les réponses obtenues sont bonnes. Et ce quelqu'un, ce n'est ni le prestataire, ni le logiciel. C'est vous.

La solution

Le protocole tient en une phrase : votre référent métier juge lui-même une vingtaine de réponses réelles, et ces verdicts deviennent la référence. On soumet au système des questions que votre équipe se pose vraiment, on note ce qu'il répond, et le référent tranche cas par cas — cette réponse est pertinente, celle-là ne l'est pas. Une à deux heures suffisent.

Ce que produit cette séance n'est pas une impression, c'est un jeu de verdicts écrits. À partir de là, deux chiffres deviennent calculables. Le premier : sur tout ce que le référent a jugé pertinent, quelle proportion le système a-t-il effectivement retrouvée ? C'est le chiffre qui compte le plus, parce qu'un document qu'on ne retrouve pas est un document perdu. Le second : sur tout ce que le système a proposé, quelle proportion était juste ? Une réponse fausse coûte moins cher qu'un document manquant — on l'écarte d'un coup d'œil — mais trop de bruit décourage l'usage.

Ces deux chiffres ne s'optimisent pas ensemble : élargir la recherche pour ne rien rater fait remonter du bruit, et l'inverse aussi. C'est un arbitrage, et c'est le vôtre. Sur un fonds d'appels d'offres, mieux vaut trois propositions dont une inutile que de rater le mémoire qu'on cherchait. Sur un corpus réglementaire consulté par un technicien pressé, l'arbitrage penche dans l'autre sens.

Le gain

Le premier gain est un droit de sortie. Si la mesure conclut que la pertinence est insuffisante, on s'arrête là : vous aurez dépensé un cadrage, pas un projet. C'est très exactement ce qu'une démonstration réussie vous empêche de savoir à temps.

Le second est durable. Le jeu de verdicts ne sert pas qu'une fois : il reste votre référence. Chaque fois que le fonds grossit, que le modèle change ou qu'un réglage est modifié, on rejoue les mêmes cas et on compare. Sans cette référence, personne ne peut dire si une évolution a amélioré ou dégradé le système — on en est réduit à demander aux utilisateurs s'ils « trouvent que ça marche mieux ».

Le troisième est contractuel. Un critère d'acceptation devient formulable, du type « sur les cas jugés pertinents pendant le cadrage, le système en retrouve au moins 90 % dans ses trois premiers résultats ». Un tel seuil ne peut pas figurer dans une proposition commerciale : un chiffre annoncé avant d'avoir mesuré ne veut rien dire. Il se fixe à l'issue de la séance de jugement, une fois qu'on sait ce que le fonds permet.

Comment ça se met en place

Ce protocole fait partie du cadrage de tout projet d'assistant documentaire — voir Assistant documentaire, et sa première déclinaison, la réponse aux appels d'offres.