La plupart des benchmarks d’images IA reposent sur des générateurs vieux de deux ans. Les détecteurs calibrés sur eux brillent sur le papier mais passent à côté de ce qui se publie aujourd’hui. Nous avons donc constitué un nouveau jeu en octobre 2026 : des images IA issues de 19 générateurs récents, des clips IA de 12 modèles vidéo, ainsi que de vraies photos et vidéos sous licence libre.
Chaque image existe aussi en copie WhatsApp, Instagram et repartagée, et chaque clip en copie de messagerie, car c’est sous cette forme que les contenus parviennent aux équipes trust & safety ou OSINT. 60 % du jeu est public sur Hugging Face ; les 40 % restants sont gardés de côté, et tous les chiffres de cette page proviennent de cette partie cachée.
L’essentiel
- Images : WasItAI V3 a détecté 99,5 % des images IA pour 1 % de faux positifs (AUROC 1,000). ZeroGPT (moteur TruthScan) en a détecté 97,2 %, le meilleur détecteur open weights 48,1 %.
- Copies réseaux sociaux : après compression WhatsApp, Instagram et repartage, V3 en détectait encore 96,2 %. Le meilleur détecteur ouvert est tombé à 37,3 %.
- Vidéo : AUROC de 0,987 sur les clips originaux et de 0,964 sur les copies de messagerie. Avec les réglages de production, 60 clips IA sur 63 détectés et 1 clip réel sur 60 signalé.
- Réserve avant toute citation : nous avons constitué ce jeu nous-mêmes et notre modèle a vu des contenus similaires pendant l’entraînement. Nos chiffres sont un résultat obtenu à domicile.
Images
L’AUROC mesure la capacité d’un détecteur à séparer l’IA du réel sur l’ensemble des seuils (1,0 est parfait, 0,5 équivaut à pile ou face). « Détecté @ 1 % FP » est la part d’images IA détectées lorsque le seuil est fixé de sorte qu’une vraie photo sur 100 soit signalée : c’est le point de fonctionnement qui compte lorsque vous analysez des millions de fichiers.
| Détecteur | AUROC | Détecté @ 1 % FP | AUROC, copies sociales | Détecté @ 1 % FP, sociales |
|---|---|---|---|---|
| WasItAI V3 | 1,000 | 99,5 % | 0,998 | 96,2 % |
| ZeroGPT (moteur TruthScan) * | 0,992 | 97,2 % | – | – |
| haywoodsloan/ai-image-detector-deploy | 0,911 | 48,1 % | 0,875 | 37,3 % |
| OmniAID (CLIP) | 0,840 | 34,6 % | 0,710 | 9,8 % |
| Smogy/SMOGY-Ai-images-detector | 0,802 | 11,1 % | 0,768 | 6,2 % |
| Ateeqq/ai-vs-human-image-detector | 0,789 | 4,8 % | 0,785 | 5,9 % |
| WasItAI V2 (notre modèle précédent) | 0,787 | 23,1 % | 0,742 | 9,1 % |
| DDA (NeurIPS 2025) | 0,742 | 14,4 % | 0,677 | 8,5 % |
| Organika/sdxl-detector | 0,673 | 0,5 % | 0,653 | 0,8 % |
| dima806/ai_vs_human_generated_image_detection | 0,617 | 0,0 % | 0,627 | 0,0 % |
| Cyberdon360/ai-vs-real-image-detector | 0,599 | 2,4 % | 0,604 | 2,2 % |
| umm-maybe/AI-image-detector | 0,466 | 1,0 % | 0,451 | 0,5 % |
Partie cachée : 208 originaux IA et 314 réels ; 3 copies sociales par image (624 IA, 933 réelles). * ZeroGPT, qui s’appuie sur TruthScan pour la détection d’images et de vidéos, n’a été testé que sur les originaux et n’a renvoyé aucun score pour 65 fichiers (blocage de modération ou erreur) ; sa ligne couvre les 457 fichiers évalués. Sur ces 457, WasItAI V3 : AUROC 0,9995, 99,5 % détectés à 1 % FP.
Par générateur, V3 a détecté à son seuil par défaut tous les originaux cachés de 18 des 19 générateurs, dont GPT-Image-2, Nano Banana 2.1 et Pro, FLUX.3 et Qwen-Image 3. Seedream 5 Pro plafonnait à 90 %.
Vidéo
63 clips IA issus de 12 modèles face à 60 clips réels. Les détecteurs ouverts étant des modèles d’image, nous leur avons soumis les mêmes images de chaque clip et avons fait la moyenne.
| Détecteur | AUROC, original | AUROC, copie messagerie |
|---|---|---|
| WasItAI V3 (modèle vidéo) | 0,987 | 0,964 |
| WasItAI V2 (notre modèle précédent) | 0,869 | 0,666 |
| DDA (NeurIPS 2025) | 0,839 | 0,623 |
| OmniAID (CLIP) | 0,813 | 0,618 |
| haywoodsloan/ai-image-detector-deploy | 0,770 | 0,658 |
| Smogy/SMOGY-Ai-images-detector | 0,677 | 0,596 |
Au seuil que nous utilisons en production, notre modèle vidéo a signalé 60 clips IA sur 63 et 1 clip réel sur 60.
Comment le jeu a été constitué
- Images IA : 469 nouvelles images issues de GPT-Image-2, Nano Banana 2.1, Nano Banana Pro, Meta Muse Image, Microsoft MAI-Image 2.5, Grok Imagine 2, Seedream 5 Pro, Qwen-Image 3, Qwen-Image 2512, Ideogram 4.5, FLUX.3, FLUX.2 Pro, FLUX.2 dev, Kling Image 3, Recraft 4.1, Luma Uni-1, Z-Image Turbo, HiDream O1, Krea 2.
- Vidéos IA : 164 clips issus de Veo 3 Fast, Kling 3, Seedance 2.0, Hailuo 02, MiniMax H3, Wan 2.6, LTX 2.3, HunyuanVideo 1.5, Luma Ray 3.2, Grok Imagine Video 1.5, Vidu Q3, PixVerse 6.
- Réel : 800 photos et 160 clips sous licences libres (CC0, domaine public, CC BY, CC BY-SA), avec auteur et source pour chaque fichier.
- Jamais utilisé pour l’entraînement : aucun fichier du jeu n’a servi à entraîner nos modèles.
- Métadonnées supprimées : les générateurs intègrent des identifiants C2PA (« créé par … »). Nous avons supprimé toutes les métadonnées pour qu’aucun détecteur ne puisse lire la réponse dans l’en-tête du fichier. Les pixels sont inchangés.
- Répartition : 60 % public, 40 % caché, attribués par hachage.
À propos de ce benchmark
Nous avons conçu et exécuté ce benchmark nous-mêmes, et nos modèles ont vu des contenus similaires pendant l’entraînement : considérez donc nos chiffres comme un résultat obtenu à domicile. C’est précisément pour cela que 60 % des fichiers sont publics : chacun peut refaire le test, et les éditeurs peuvent soumettre leur détecteur pour la partie cachée.
Téléchargez-le et soumettez votre détecteur
Les 60 % publics sont sur Hugging Face : images, copies sociales, vidéos et un fichier metadata.csv indiquant étiquette, générateur, licence et source de chaque fichier. Les scripts d’évaluation qui téléchargent la partie publique, exécutent n’importe quel détecteur et calculent les mêmes métriques sont sur GitHub pour les images et la vidéo. Les 40 % cachés restent privés, mais le SHA-256 de chaque fichier caché est publié dans ces dépôts : chacun pourra ainsi vérifier plus tard que la partie cachée n’a pas été modifiée.
Vous développez un détecteur ? Faites-le tourner sur la partie publique et écrivez à patrick@wasitaigenerated.com. Nous évaluons les détecteurs soumis sur les 40 % cachés et les publions ici, y compris ceux qui font mieux que le nôtre.
FAQ
Quel est le détecteur d’images IA le plus précis en 2026 ?
Sur ce jeu de test, WasItAI V3 a séparé presque parfaitement les images IA des images réelles (AUROC 1,000) et a détecté 99,5 % des images IA en signalant 1 % des vraies photos. Le meilleur détecteur open weights en a détecté 48 % au même taux de faux positifs. Nous avons constitué ce jeu nous-mêmes : lisez donc nos chiffres comme un résultat obtenu à domicile.
La compression de WhatsApp ou d’Instagram met-elle en échec la détection d’images IA ?
Elle pénalise tous les détecteurs. Après compression WhatsApp, Instagram et repartage, WasItAI V3 est passé de 99,5 % à 96,2 % d’images détectées pour 1 % de faux positifs. Les détecteurs ouverts ont perdu davantage : le meilleur est tombé de 48 % à 37 %.
Peut-on détecter les vidéos générées par IA ?
Oui, mais la vidéo compressée reste le cas difficile. Notre modèle vidéo a atteint un AUROC de 0,987 sur les clips originaux et de 0,964 sur les copies compressées par messagerie. Au seuil que nous utilisons en production, il a signalé 60 clips IA sur 63 et 1 clip réel sur 60.
Puis-je tester mon propre détecteur sur ce jeu ?
Oui. 60 % du jeu est public sur Hugging Face. Faites tourner votre détecteur dessus et écrivez à patrick@wasitaigenerated.com ; nous évaluons les détecteurs soumis sur les 40 % cachés et les ajoutons à cette page.
Vérifiez vous-même une image ou une vidéo
Importez-la sur WasItAIGenerated : le même détecteur que celui utilisé dans ce benchmark.
Essayer gratuitement