1. Le chiffre qui compte : 25 %

La règle de notation retenue par Harvey est stricte, et c'est ce qui rend le benchmark intéressant. Une tâche est comptée comme résolue seulement si l'intégralité des critères est satisfaite. Pas 9 sur 10. Tous.

Avec cette règle, le meilleur agent du classement public tourne autour de 25 % de tâches complètes. Un quart.

Or les mêmes agents satisfont environ 90 % des critères pris un par un. Cet écart entre 90 % et 25 % est la description la plus exacte que j'aie lue de ce que vit un juriste qui délègue une tâche à un agent : le travail rendu est presque bon. Le presque coûte une relecture intégrale.

Harvey emploie le terme d'intelligence « en dents de scie » : la performance varie fortement selon les domaines de pratique, sans qu'on puisse toujours anticiper où elle décroche. C'est un aveu remarquable de la part d'un éditeur valorisé à onze milliards de dollars, et c'est plus honnête que la plupart des démonstrations commerciales du secteur.

2. Ce que les benchmarks disent de la conception des agents

Deux résultats sont directement transposables à votre organisation, indépendamment de l'outil utilisé.

Un agent qui rédige puis vérifie et corrige fait nettement mieux qu'un agent qui rédige. Dans les mesures de Harvey, les agents qui bouclent une boucle de révision après contrôle gagnent en moyenne 1,5 point de tâches complètes. Ceux qui produisent sans validation ultérieure en perdent 1,2.

Un agent qui calcule et vérifie par des outils fait mieux qu'un agent qui raisonne en langage naturel. Quand l'agent transforme une partie de la tâche en analyse systématique, compter, recouper, extraire, le résultat s'améliore.

Traduit en organisation : ce n'est pas le modèle qui fait la différence, c'est le processus dans lequel on l'insère. Un GPT métier bien construit, avec une étape de vérification explicite, battra un modèle plus puissant utilisé en conversation libre. C'est exactement ce que l'on observe en formation, et c'est une bonne nouvelle : cette variable là est sous votre contrôle.

3. Le cas Legora : là où les agents fonctionnent vraiment bien

L'exemple mis en avant par Legora mérite l'attention parce qu'il délimite précisément la zone de compétence actuelle.

Un rapprochement d'états financiers : vérifier chaque chiffre de comptes provisoires contre les balances, un tableau de consolidation et les comptes de l'exercice précédent, jusqu'à ce que tout concorde. L'agent l'a mené sur 41 documents en une exécution, avec un relevé ligne à ligne remis au professionnel pour contrôle.

C'est une tâche massive, répétitive, exhaustive, à critère de réussite objectif, un chiffre concorde ou ne concorde pas. Aucune qualification juridique, aucun arbitrage, aucune ambiguïté d'interprétation. C'est là que les agents sont excellents, et c'est là qu'il faut les mettre en premier.

À l'inverse, les mesures indépendantes du marché montrent que la restitution et l'explication du droit restent le point faible commun de toutes ces plateformes. Le recoupement exhaustif fonctionne ; le raisonnement juridique reste à vous.

4. Ce que ça veut dire pour votre feuille de route

Trois conséquences pratiques.

Choisir les tâches par leur forme, pas par leur difficulté apparente. Volumineux, répétitif, critère de réussite objectif : bon candidat. Peu de documents, forte qualification juridique, enjeu d'interprétation : mauvais candidat, même si la tâche paraît simple.

Budgéter la relecture. Un agent qui termine un quart des tâches sans reprise ne supprime pas la revue humaine, il la déplace. Le gain est réel, mais il est dans l'exhaustivité et la vitesse du premier jet, pas dans la suppression du contrôle.

Ne pas acheter sur la démonstration. Les deux plateformes ne publient pas leurs prix et se vendent en direct. Demandez les mesures sur vos types de dossiers, dans votre juridiction, et méfiez-vous des benchmarks publiés par un éditeur qui se classe premier dans toutes les catégories.