GuidesBanc de test
Assistant documentaire : ce que j'ai mesuré sur 395 pages de PDF
J'ai fait passer 55 questions de référence à un assistant documentaire, avec deux modèles, cinq fois chacun. Il répond juste avec la bonne source dans 58 à 59 % des cas. Le texte passe, les tableaux et les schémas non, et le modèle n'y change presque rien.
Ivan SommavillaFondateur de Nexus Core
- Catégorie
- Banc de test
- Temps de lecture
- 6 min
- Publication
- 17 octobre 2026
Sommaire
Pourquoi ce test
Un assistant documentaire (on parle aussi de RAG) cherche dans vos documents les passages utiles, puis un modèle d'IA rédige la réponse à partir d'eux. Les démonstrations portent presque toujours sur du texte courant, le cas facile. Or les documents d'une PME sont faits de grilles, de tableaux, de schémas et de comptes rendus de réunion. J'ai voulu savoir ce que devient la qualité des réponses quand on sort du cas facile, avec la méthode décrite dans Mesurer qu'un assistant documentaire fonctionne.
Le dispositif
| Élément | Ce que j'ai utilisé |
|---|---|
| Documents | 5 PDF publics, 395 pages : recommandations de l'ANSSI sur l'IA générative, guide d'hygiène informatique, cybersécurité des TPE/PME en 13 questions, Top 10 de l'OWASP pour les applications à base de LLM (en anglais), règlement européen sur l'IA |
| Enregistrements | 10 notes vocales de 3 minutes environ (conseils et réunion fictive avec une PME), lues par une voix de synthèse puis dégradées comme un enregistrement au téléphone |
| Questions | 60 questions de référence, chacune avec sa réponse et sa page : 31 sur du texte, 6 sur des tableaux, 8 sur des schémas, 10 sur les notes vocales, et 5 dont la réponse n'est pas dans les documents |
| Chaîne | Conversion des PDF par MinerU, transcription par Voxtral, recherche des 5 passages les plus proches, réponse par Claude Opus 5.5 ou Mistral Large |
| Notation | La source citée est vérifiée par un programme. La justesse est notée par un juge IA, que j'ai d'abord contrôlé en notant moi-même 10 réponses à l'aveugle : 10 verdicts identiques sur 10 |
| Répétition | Chaque modèle a répondu 5 fois à chaque question : les chiffres sont des moyennes, avec leur écart |
Le seuil que je m'étais fixé avant de commencer : 85 % de réponses justes avec la bonne source sur les 55 questions qui ont une réponse dans les documents, et un refus correct sur les 5 autres.
Le résultat : 58 à 59 %, loin des 85 %
| Modèle | Réponse juste et bonne source | Bonne source citée | Refus quand la réponse n'est pas dans les documents | Temps de réponse médian |
|---|---|---|---|---|
| Claude Opus 5.5 | 57,8 % (± 2,0) | 74,9 % | 25 sur 25 | 4,9 s |
| Mistral Large | 59,3 % (± 3,0) | 69,8 % | 25 sur 25 | 2,2 s |
Les deux modèles font jeu égal : l'écart entre eux est du même ordre que l'écart d'un passage à l'autre pour un même modèle. Le détail par type de question dit où se perd la qualité.
| Type de question | Questions | Claude Opus 5.5 | Mistral Large |
|---|---|---|---|
| Texte courant | 31 | 81 % | 79 % |
| Notes vocales (voix de synthèse) | 10 | 52 % | 60 % |
| Tableaux | 6 | 27 % | 33 % |
| Schémas | 8 | 0 % | 3 % |
Ce qui casse, et pourquoi
Les tableaux perdent leur information à la conversion. La grille d'auto-évaluation du guide d'hygiène indique par des cases hachurées à quel niveau chaque mesure s'applique. Une fois le PDF converti en texte, ces cases deviennent des cases vides. L'assistant retrouve la bonne page, mais la réponse n'y est plus : il dit honnêtement qu'il ne peut pas conclure, ou il se trompe.
Les schémas se réduisent à leur légende. Quand la réponse est dans le dessin (les composants d'une architecture, les menaces qui pèsent sur chaque étape de la diffusion d'un modèle), il ne reste du schéma que son titre. Aucun des deux modèles n'a la réponse sous les yeux.
La transcription déforme des faits. Sur 10 phrases clés, 3 sont sorties fausses de la transcription, alors que la voix de synthèse est bien plus nette qu'une vraie réunion : « une vingtaine de personnes » est devenu « centaines de personnes », « le faux RIB » est devenu « le pourri », et une troisième phrase est devenue illisible. Sur un enregistrement réel, il faut s'attendre à pire.
La recherche fixe un plafond. La bonne page ne figure parmi les 5 passages transmis au modèle que pour 45 questions sur 55. Même un modèle parfait ne dépasserait donc pas 82 %, sous le seuil de 85 %.
La contre-épreuve : la conversion compte-t-elle vraiment ?
Pour le vérifier, j'ai rejoué la recherche avec une extraction brute du texte des PDF, sans reconnaissance des titres ni des tableaux, et comparé la proportion de questions dont la bonne page arrive dans les 5 premiers passages.
| Conversion des PDF | Questions sur les PDF | Tableaux |
|---|---|---|
| MinerU (reconnaissance de la mise en page) | 78 % | 67 % |
| Extraction brute, passages de même taille | 71 % | 33 % |
La conversion compte, surtout pour les tableaux : la bonne grille est retrouvée deux fois plus souvent. Sur le texte courant, l'écart est plus faible et dépend du moteur de recherche utilisé ; avec un autre moteur, il disparaît. Je ne l'étends donc pas au-delà de ce que j'ai mesuré.
Ce que ça change pour vous
- Ne choisissez pas un assistant sur le nom du modèle. Deux modèles de premier plan ont donné le même résultat. Ce qui a fait la différence se passe avant eux.
- Testez sur vos documents les plus difficiles. Si vos procédures tiennent dans des grilles, vos notices dans des schémas et vos décisions dans des réunions enregistrées, c'est là qu'il faut poser les questions de test, pas sur une page de texte.
- Exigez un taux mesuré, par type de document. Une moyenne globale cache un 0 % sur les schémas. Un chiffre par type dit ce que l'outil sait faire, et ce qu'il faudra traiter à part.
- Vérifiez qu'il sait dire « je ne sais pas ». Posez des questions dont la réponse n'est pas dans vos documents : un assistant qui complète de mémoire est plus dangereux qu'un assistant qui se tait.
Les limites de ce test
Les notes vocales sont lues par une voix de synthèse, et les questions sur les tableaux et les schémas sont peu nombreuses (6 et 8), dont 4 sur une même grille : un écart de 33 points sur les tableaux correspond à 2 questions sur 6. Le juge IA appartient à la même famille que l'un des deux modèles notés ; il a été contrôlé à l'aveugle sur 10 réponses, 5 de chaque modèle. Les temps de réponse ont été mesurés depuis un ordinateur de bureau, en appelant les modèles en ligne, pas sur un serveur de production.
Tester votre propre assistant
Choisir des documents représentatifs
Pas seulement du texte : les grilles, tableaux, schémas et enregistrements que vos équipes consultent vraiment.
Écrire les questions et leurs réponses avant le test
Chaque question avec sa réponse attendue et sa page, validées par votre référent métier. Ajoutez quelques questions dont la réponse n'est pas dans les documents.
Répéter et noter
Plusieurs passages par question, la source vérifiée automatiquement, la justesse notée par une personne ou par un juge IA contrôlé à l'aveugle.
Lire les résultats par type de document
Le taux global ne suffit pas : c'est le détail qui dit où intervenir, sur la conversion, la transcription ou la recherche.