Trois jours après la sortie de GPT-6 Astra par OpenAI, Originality.ai a publié un benchmark portant sur 1 000 réponses, avec 99,9 % de détection. Nous avons reconstruit leur protocole et l'avons soumis à tropa-2. Le résultat principal se résume vite, et c'est la partie la moins intéressante de cette page.
Le 5 septembre, un jour après avoir généré les échantillons, Originality.ai a annoncé que son détecteur avait classé comme probablement IA 999 des 1 000 réponses de GPT-6 Astra en anglais, soit 200 dans chacune de cinq catégories : blog, conversationnel, explicatif, actualité et avis. Le seul échec concernait une réponse conversationnelle.
L'étude énonce elle-même sa limite, en ces termes : “English, known-AI text only; no human control group or false-positive measurement.” (uniquement des textes en anglais dont l'origine IA est connue ; ni groupe témoin humain, ni mesure des faux positifs). Nous tenons à être précis sur ce point, car il serait facile, et injuste, de le présenter comme quelque chose qu'ils auraient caché. Ils l'ont dit clairement. C'est un choix de périmètre, pas une omission, et nous avons fait le même ici.
Plutôt que d'inventer notre propre protocole, nous avons calqué le leur afin que les deux résultats soient directement comparables : 200 nouvelles générations de GPT-6 Astra dans chacune des cinq mêmes catégories, issues d'une matrice fixe de 40 sujets croisés avec 5 angles, si bien qu'aucun prompt ne se répète au sein d'une catégorie. Chaque réponse a été évaluée une seule fois par tropa-2.
Originality considérait une réponse comme détectée à partir de 0,50 sur son échelle. tropa-2 note de 0 à 100 : 50 est donc l'équivalent. Mais 50 est plus sensible que ce que nous utilisons en production : wasitaigenerated.com affiche « AI-generated » à partir de 90.
Mélanger les deux serait le moyen le plus simple de nous flatter ; nous publions donc les deux. Le résultat est identique à chaque seuil, c'est pourquoi le chiffre mis en avant ci-dessus utilise le plus strict.
Deux remarques encore, pour que les chiffres soient lus pour ce qu'ils sont. Astra ajoute un titre Markdown en tête de la plupart de ses réponses ; nous l'avons laissé, car c'est ainsi que se présente un texte réellement copié-collé, et Originality ne précise pas s'ils l'ont supprimé : c'est une source plausible de petits écarts entre les deux études. Par ailleurs, 4 des 1 000 générations prévues ont échoué côté API et ont été exclues plutôt que relancées, ce qui laisse n = 996.
Une dernière, parce que ce n'est pas le genre de chose qu'un lecteur devrait découvrir seul : 7 des générations « actualité » ne sont pas des articles. Quand on lui demandait un court article sur un fait récent, Astra répondait parfois par une question de clarification, “Which city or region should the article cover? Please share a recent news link” (quelle ville ou région l'article doit-il couvrir ? Merci de partager un lien vers une actualité récente), plutôt que d'inventer une histoire sans source. Nous les avons gardées dans le jeu et évaluées comme du texte généré, ce qu'elles sont ; les 7 ont été détectées, les totaux ci-dessus restent donc valables dans tous les cas. Le comportement mérite d'être relevé en soi : le modèle refuse de fabriquer de l'information.
| Catégorie | Détectés (≥ 90) | Effectifs | IC à 95 % |
|---|---|---|---|
| Blog | 100,0 % | 200/200 | 98,1–100,0 % |
| Conversationnel | 100,0 % | 200/200 | 98,1–100,0 % |
| Explicatif | 100,0 % | 200/200 | 98,1–100,0 % |
| Actualité | 100,0 % | 196/196 | 98,1–100,0 % |
| Avis | 100,0 % | 200/200 | 98,1–100,0 % |
| Toutes catégories | 100,0 % | 996/996 | 99,6–100,0 % |
Aucune catégorie ne présente de faille : pas de point faible parmi les cinq styles d'écriture. Nous publions les effectifs et les intervalles plutôt qu'un simple pourcentage, afin que le résultat puisse être vérifié plutôt que cru sur parole.
Cette étude mesure une seule chose : la détectabilité des textes de GPT-6 Astra. Par construction, elle ne porte que sur des textes dont on sait qu'ils ont été écrits par une machine ; elle produit donc un taux de détection, et rien d'autre.
La question complémentaire, à savoir comment un détecteur se comporte face à des textes écrits par de vraies personnes, nous la traitons à part, car elle ne change pas à chaque sortie de modèle. Dans notre benchmark publié, tropa-2 a signalé à tort 1 texte humain sur 251, avec des comparaisons outil par outil face à GPTZero et ZeroGPT sur le même corpus.
Ces chiffres, la taille des échantillons et la méthodologie figurent dans notre benchmark des détecteurs d'août 2026. Les taux de faux positifs actuels de tropa-3 se trouvent dans le benchmark de septembre 2026.
Le résultat intéressant n'est pas notre score de 100 %. C'est que deux détecteurs conçus par des concurrents, avec des modèles et des données d'entraînement différents, soient arrivés chacun de leur côté à la même conclusion sur un modèle de pointe trois jours après sa sortie. Un nouveau modèle n'offre plus de fenêtre pendant laquelle il passe inaperçu.
Cela en dit long aussi sur la vitesse à laquelle la détection s'adapte désormais. Un modèle tout juste sorti ouvrait autrefois une période d'incertitude, le temps que les détecteurs rattrapent leur retard. À en juger par ces données, ce délai se compte désormais en jours.
Un principe à garder en tête face à tout chiffre de détection, y compris les nôtres : un score est un indice, pas une preuve. Un score élevé sur un document isolé est une raison de poser une question, jamais un verdict sur une personne. Si vous prenez une décision qui concerne quelqu'un, le chiffre a sa place dans la discussion, il ne la remplace pas.
Le banc d'essai qui a généré et évalué ces échantillons tient en un seul script de notre dépôt, la matrice de prompts y est figée et documentée, et les effectifs agrégés derrière chaque chiffre de cette page sont publiés en JSON : la page les lit directement, le texte ne peut donc pas s'écarter des données. tropa-2, le modèle à l'origine de ces scores, est hébergé : reproduire exactement les chiffres ci-dessus suppose donc d'appeler l'API. Si vous préférez examiner le fonctionnement de ce type de scoring sans passer par nous, notre petit modèle frère tropa-mini est publié en open weights sous licence Apache-2.0 sur Hugging Face. C'est un modèle différent et plus petit, qui ne reproduira pas les chiffres de cette page.
Dans ce test, oui, et sans ambiguïté. tropa-2 a signalé comme générées par IA 996 des 996 réponses de GPT-6 Astra à notre seuil réel, sur cinq catégories d’écriture. Originality.ai a obtenu 99,9 % avec le même protocole. Que deux détecteurs indépendants aboutissent pratiquement au même résultat trois jours après le lancement laisse penser que les textes d’Astra portent la même signature statistique que les modèles de pointe précédents.
Il porte sur des textes bruts, non retouchés, de GPT-6 Astra, dans cinq catégories d’écriture, évalués à notre seuil réel. Un taux de détection ne se mesure que sur des textes dont on sait qu’ils ont été écrits par une IA : il indique donc si ce modèle est détectable, pas comment un détecteur se comporte face à des textes humains. Ce point-là, nous le publions à part, dans notre benchmark permanent des détecteurs.
Parce que nous les publions séparément. Cette étude est volontairement ciblée : elle répond à la question de savoir si un modèle sorti trois jours plus tôt est détectable. Le comportement face aux faux positifs ne change pas à chaque nouveau modèle ; nous le documentons donc dans notre benchmark permanent des détecteurs, où tropa-2 a signalé à tort 1 texte humain sur 251, avec des comparaisons face à GPTZero et ZeroGPT.
Nous avons volontairement calqué leur protocole : 200 réponses dans chacune des cinq mêmes catégories, générées pour l’occasion et évaluées au seuil qu’ils indiquent. Ils ont obtenu 999 sur 1 000. Nous obtenons 996 sur 996 à ce même seuil. C’est une réplication, pas une réfutation : leur étude et la nôtre concordent.
Les deux. Originality.ai considérait une réponse comme détectée à partir de 0,50 sur son échelle ; tropa-2 note de 0 à 100, l’équivalent est donc 50. Nous donnons aussi les résultats à 90, le seuil réellement utilisé par wasitaigenerated.com pour afficher « AI-generated ». Le résultat est identique aux deux seuils, c’est pourquoi nous mettons en avant le plus strict.
Pour la partie génération, oui : le banc d’essai tient en un seul script, la matrice de prompts y est figée et documentée, et les effectifs agrégés sont publiés en JSON. La partie évaluation nécessite tropa-2, un modèle hébergé : reproduire exactement ces chiffres suppose donc d’appeler l’API. Le modèle que nous publions en open weights sur Hugging Face est tropa-mini, un modèle plus petit : utile pour comprendre comment fonctionne le scoring, mais il ne reproduira pas les chiffres de cette page.
Des résultats phrase par phrase en quelques secondes, pour le texte, l'image, l'audio et la vidéo, avec des taux d'erreur publiés, pas cachés.