Appel à benchmarks

Auditez nos détecteurs. Nous payons les crédits.

Un détecteur devrait être jugé par des gens qui ne le vendent pas. Nous finançons des évaluations indépendantes de notre détection de texte, d’image et de vidéo avec des crédits API gratuits.

Pourquoi nous le demandons

Nous publions nos propres chiffres, avec les données qui les sous-tendent. Mais ces tests, nous les menons nous-mêmes, sur des jeux que nous avons choisis, et de nouveaux modèles sortent toutes les quelques semaines. Un détecteur qui semblait solide au printemps peut décrocher à l’automne sans que personne ne s’en aperçoive.

Un simple score IA ou humain masque en outre l’essentiel de ce qui compte en pratique : qui est signalé à tort, combien de retouches il faut pour qu’un texte ne soit plus détecté, ce qui survit à un transfert WhatsApp. Enseignants, éditeurs, équipes antifraude et enquêteurs prennent des décisions sur la base de ces résultats. Ils méritent des preuves venant d’un autre que nous.

Les questions auxquelles nous voulons des réponses

Une étude peut s’attaquer à une ou plusieurs d’entre elles. Les propositions hors liste sont aussi les bienvenues.

Texte

Modèles de pointe et productions longues et agentiques

Les détecteurs repèrent-ils bien les textes des modèles les plus récents, et que se passe-t-il quand ce texte sort d’une session de deep research, d’un environnement d’agents ou d’une longue conversation à plusieurs tours plutôt que d’un seul prompt ?

Texte

Paternité mixte

Les vrais documents sont rarement entièrement humains ou entièrement IA. Nous voulons des études couvrant tout le spectre : une correction grammaticale, un paragraphe réécrit, un plan complété par un modèle, une co-écriture complète et des textes passés par des humaniseurs.

Texte

Équité entre les auteurs

Des résultats ventilés par langue, écriture non native, région, dialecte, niveau d’études ou discipline. Une étude qui ne trouve aucun biais nous est aussi utile qu’une étude qui en trouve.

Image et vidéo

Les générateurs actuels en conditions réelles

La détection des derniers modèles d’image et de vidéo après ce que la diffusion réelle fait subir à un fichier : recompression par les messageries, captures d’écran, recadrages, republications et blanchiment délibéré.

Image et vidéo

Faux positifs sur des médias authentiques

À quelle fréquence de vraies photos et vidéos sont signalées : appareils de téléphone, photographie professionnelle et retouchée, scans, archives, visages de toutes origines.

Image et vidéo

Visages et identité

Face swaps, génération préservant l’identité et photos d’identité ou de profil synthétiques : les cas à l’origine de l’usurpation d’identité et de la fraude.

Ce qui fait un bon benchmark

  • Des étiquettes fiables. Vous savez comment chaque échantillon a été produit et pouvez le montrer : prompts, modèles, dates et, pour les données humaines, leur provenance et la raison pour laquelle vous vous y fiez.
  • Des modèles actuels. Des productions des générateurs réellement utilisés aujourd’hui, pas ceux de l’an dernier.
  • Assez difficile. Un jeu sur lequel tous les détecteurs obtiennent 99 % n’apprend rien à personne.
  • Reproductible. Les données, ou un moyen de les reconstituer, et les scores obtenus, pour que d’autres puissent vérifier votre travail.

Ce que vous obtenez

  • Des crédits API gratuits dimensionnés pour votre étude, pour la détection de texte, d’image et de vidéo.
  • Des scores bruts, pas seulement des verdicts, pour tracer vos propres courbes.
  • Un contact direct pour vos questions sur l’API et les seuils.
  • Comparez-nous à n’importe quel autre détecteur.
  • Les études solides peuvent être mises en avant sur notre page rechercheEN.

Comment candidater

Envoyez un court e-mail. Quelques paragraphes suffisent ; nous répondons sous une semaine. Indiquez-nous :

  • qui vous êtes, avec votre affiliation ou un lien vers vos travaux
  • la question à laquelle répond votre benchmark
  • texte, image ou vidéo, et le jeu de données : sources, taille, mode d’établissement des étiquettes
  • les détecteurs que vous comptez comparer et le volume approximatif nécessaire
  • où et quand vous comptez publier
Demander des crédits