Une équipe de Scale AI décrit une « contamination à la recherche » qui gonfle artificiellement les scores d’agents connectés au web. Signalée le 23 août 2025, l’analyse documente des écarts sensibles lorsque l’accès à certains dépôts publics est bloqué et appelle à des protocoles d’évaluation plus transparents.
L’essentiel
- Phénomène défini comme « contamination à la recherche » lors d’évaluations connectées.
- Environ trois pour cent de questions touchées sur HLE, GPQA et SimpleQA.
- Écart d’environ quinze points lorsqu’un accès à des dépôts est bloqué.
- Agents Perplexity Sonar évoqués, d’autres chemins de fuite envisageables.
- Besoin de journaux de navigation et de règles de blocage publiques.
L’analyse montre un biais introduit au moment de la recherche en ligne pendant les tests. Le problème ne vient pas des corpus d’entraînement, il apparaît quand un agent retrouve une page qui expose la question avec son étiquette de vérité, puis restitue la réponse sans passer par un raisonnement explicite. Les auteurs prônent davantage de traçabilité opérationnelle et des rapports qui détaillent la procédure d’évaluation, la liste des domaines autorisés et les filtres utilisés.
Ce qui change pour l’évaluation des agents
Dans les évaluations connectées, la frontière entre récupération et raisonnement se déplace vers l’étape de recherche. Un agent soumis à une question peut, en quelques requêtes, identifier une page qui contient l’énoncé et la solution, puis produire la réponse sans démonstration. Cette dynamique altère la valeur des scores, car la note reflète surtout l’habileté à retrouver une page plutôt que la progression d’une compétence. Elle brouille aussi la lecture des classements serrés, où un point de différence suffit parfois à déplacer un modèle de plusieurs positions selon le protocole retenu.
Les auteurs formalisent ce mécanisme sous l’expression « contamination à la recherche ». Le déclencheur tient à la visibilité d’ensembles d’évaluation sur des plateformes publiques et à la standardisation de leurs libellés, ce qui facilite une identification par mots clés. Une parade de bon sens consiste à documenter l’ordre des requêtes, à journaliser les domaines visités et à distinguer clairement la part de récupération de la part de raisonnement. Cette exigence de transparence est illustrée par le compte rendu du Register, qui récapitule les méthodes, les chiffres clés et les limites reconnues, puis insiste sur la nécessité de rapports comparables d’un modèle à l’autre.
Contexte et précédents dans les benchmarks
Les fuites de données étaient surtout associées aux phases d’entraînement, quand des échantillons de test se glissaient dans les corpus. Les agents de recherche déplacent le risque vers l’inférence, au moment de l’accès au web, où la présence d’énoncés publiés rend possible une récupération directe de réponses. Les jeux cités couvrent des profils variés. HLE vise des questions ambitieuses proches d’un examen expert, GPQA porte sur des items gradués, SimpleQA mesure une factualité concise avec des sorties très courtes, ce qui renforce l’exposition au copier-coller de réponses identiques à celles mises en ligne.
Cette diversité ne protège pas contre les raccourcis. Lorsque les formulations des questions circulent telles quelles entre dépôts, billets techniques et forums, un agent peut retrouver en quelques tentatives l’énoncé exact. Les organisateurs envisagent des variantes privées, des rotations régulières et des formats qui évaluent aussi le processus, par exemple en notant brièvement les étapes de résolution. Dans cette logique, la présentation d’OpenAI sur SimpleQA rappelle l’intérêt d’un protocole clair lorsque l’accès web est autorisé, ce que résume la page SimpleQA officielle, avant de souligner les limites des comparaisons sans séparation stricte entre récupération et raisonnement.
Chiffres et repères à retenir
Les chercheurs estiment qu’environ trois pour cent des questions d’HLE, de GPQA et de SimpleQA sont touchées par ce phénomène. Ce pourcentage paraît modeste, pourtant il pèse lourd dans des palmarès serrés où un point peut inverser des positions. Sur ce sous-ensemble, l’interdiction d’accès à des dépôts publics provoque une baisse d’environ quinze points, ce qui suggère que la réponse vient d’une page déjà étiquetée plutôt que d’une reconstruction pas à pas. L’ampleur réelle dépend toutefois des jeux, des agents et des réglages de recherche utilisés.
Ces valeurs décrivent une tendance qui demande des validations élargies. D’autres canaux de fuite sont plausibles, par exemple des miroirs ou des copies partielles d’ensembles d’évaluation. Les équipes qui publient des résultats gagneront à expliciter le pipeline de recherche, la liste des domaines autorisés, les filtres appliqués et les critères de comptabilisation des réponses. Une séparation claire entre des scores « web activé » et « web coupé » évite d’attribuer un progrès de raisonnement à ce qui relève d’un accès opportun à des dépôts publics, ce qui réduit le risque de mésinterprétation lors de comparaisons rapides.
Retombées concrètes pour éditeurs et entreprises
Pour les équipes qui conçoivent des benchmarks, des garde fous opérationnels peuvent réduire le biais sans renoncer aux usages réalistes. Un premier niveau consiste à restreindre l’accès à des listes blanches, à contrôler l’ordre des requêtes et à détecter des motifs qui trahissent une récupération brute, comme des séquences de tokens proches d’une étiquette officielle. Un second niveau touche la construction des tests, avec des questions qui demandent une explication courte des étapes, notée indépendamment du résultat final, afin de séparer les compétences et d’éviter qu’un simple corrigé public domine la note.
Côté entreprises, l’enjeu est la confiance. Des évaluations internes peuvent répliquer les résultats avec et sans accès à des domaines sensibles, consigner les requêtes, puis vérifier la robustesse lorsque les raccourcis disparaissent. Dans ce cadre, le blocage temporaire de domaines connus pour héberger des ensembles d’évaluation permet de mesurer l’écart entre récupération et raisonnement. La mesure est particulièrement instructive lorsque l’accès à la plateforme Hugging Face est neutralisé sur des jeux exposés, car elle met en évidence l’origine des gains affichés et éclaire la valeur d’un déploiement en production.
Que surveiller ensuite
À court terme, une base commune de transparence aiderait à comparer les modèles sans ambiguïté. Des journaux de navigation publiables, des listes de domaines bloqués et des rapports séparant récupération et raisonnement faciliteraient la lecture des progrès annoncés. À moyen terme, des variantes privées et des formats mixtes, qui valorisent la robustesse face aux contre-exemples, peuvent ralentir l’obsolescence rapide de benchmarks ouverts, surtout lorsque leurs libellés ont été largement repris dans des dépôts et des articles techniques.
La communauté discute déjà de l’optimisation de métriques au détriment de la tâche, phénomène souvent qualifié de reward hacking. Cette discussion rejoint l’évaluation d’agents connectés, car un protocole qui mélange recherche et résolution sans garde fous crée des brèches faciles à exploiter. Des équipes spécialisées proposent des contre-mesures et des pistes d’audit qui objectivent la part de récupération et clarifient la valeur des gains publiés. L’objectif reste constant. Un score n’est qu’un signal. La preuve passe par des tests reproductibles, des procédures claires et une explication concise du chemin de résolution.
