Die meisten Benchmarks für KI-Bilder basieren auf Generatoren, die zwei Jahre alt sind. Detektoren, die darauf abgestimmt wurden, sehen auf dem Papier hervorragend aus und übersehen, was heute gepostet wird. Deshalb haben wir im Oktober 2026 ein neues Set erstellt: KI-Bilder von 19 aktuellen Generatoren, KI-Clips von 12 Videomodellen sowie frei lizenzierte echte Fotos und Clips.
Jedes Bild liegt zusätzlich als WhatsApp-, Instagram- und weitergeteilte Kopie vor, jeder Clip als Messenger-Kopie – denn in genau dieser Form landen Inhalte bei Trust-&-Safety- oder OSINT-Teams. 60 % des Sets sind öffentlich auf Hugging Face; die übrigen 40 % halten wir zurück, und jede Zahl auf dieser Seite stammt aus diesem verborgenen Teil.
Das Wichtigste in Kürze
- Bilder: WasItAI V3 erkannte 99,5 % der KI-Bilder bei 1 % Falsch-positiv-Rate (AUROC 1,000). ZeroGPT (TruthScan-Engine) erkannte 97,2 %, der beste Open-Weights-Detektor 48,1 %.
- Social-Media-Kopien: Nach WhatsApp-, Instagram- und Re-Share-Komprimierung erkannte V3 noch 96,2 %. Der beste offene Detektor fiel auf 37,3 %.
- Video: AUROC 0,987 auf Original-Clips und 0,964 auf Messenger-Kopien. Mit den Produktiveinstellungen wurden 60 von 63 KI-Clips erkannt und 1 von 60 echten Clips markiert.
- Vorbehalt, bevor Sie etwas zitieren: Wir haben das Set selbst erstellt, und unser Modell hat im Training ähnliche Inhalte gesehen. Unsere Zahlen sind ein Heimspiel-Ergebnis.
Bilder
AUROC misst, wie gut ein Detektor KI und Echt über alle Schwellenwerte hinweg trennt (1,0 ist perfekt, 0,5 ein Münzwurf). „Erkannt @ 1 % FP“ ist der Anteil erkannter KI-Bilder, wenn der Schwellenwert so gesetzt ist, dass 1 von 100 echten Fotos markiert wird – der Arbeitspunkt, auf den es ankommt, wenn Sie Millionen von Dateien prüfen.
| Detektor | AUROC | Erkannt @ 1 % FP | AUROC, Social-Kopien | Erkannt @ 1 % FP, Social |
|---|---|---|---|---|
| WasItAI V3 | 1,000 | 99,5 % | 0,998 | 96,2 % |
| ZeroGPT (TruthScan-Engine) * | 0,992 | 97,2 % | – | – |
| haywoodsloan/ai-image-detector-deploy | 0,911 | 48,1 % | 0,875 | 37,3 % |
| OmniAID (CLIP) | 0,840 | 34,6 % | 0,710 | 9,8 % |
| Smogy/SMOGY-Ai-images-detector | 0,802 | 11,1 % | 0,768 | 6,2 % |
| Ateeqq/ai-vs-human-image-detector | 0,789 | 4,8 % | 0,785 | 5,9 % |
| WasItAI V2 (unser Vorgängermodell) | 0,787 | 23,1 % | 0,742 | 9,1 % |
| DDA (NeurIPS 2025) | 0,742 | 14,4 % | 0,677 | 8,5 % |
| Organika/sdxl-detector | 0,673 | 0,5 % | 0,653 | 0,8 % |
| dima806/ai_vs_human_generated_image_detection | 0,617 | 0,0 % | 0,627 | 0,0 % |
| Cyberdon360/ai-vs-real-image-detector | 0,599 | 2,4 % | 0,604 | 2,2 % |
| umm-maybe/AI-image-detector | 0,466 | 1,0 % | 0,451 | 0,5 % |
Verborgener Split: 208 KI- und 314 echte Originale; Social-Kopien sind 3 pro Bild (624 KI, 933 echt). * ZeroGPT, das für die Bild- und Videoerkennung TruthScan nutzt, lief nur auf den Originalen und lieferte für 65 Dateien keinen Score (Moderationssperre oder Fehler); die Zeile umfasst die 457 bewerteten Dateien. Auf diesen 457 erreichte WasItAI V3: AUROC 0,9995, 99,5 % erkannt bei 1 % FP.
Pro Generator erkannte V3 mit seinem Standard-Schwellenwert jedes verborgene Original von 18 der 19 Generatoren, darunter GPT-Image-2, Nano Banana 2.1 und Pro, FLUX.3 und Qwen-Image 3. Bei Seedream 5 Pro lag die Quote bei 90 %.
Video
63 KI-Clips von 12 Modellen gegen 60 echte Clips. Die offenen Detektoren sind Bildmodelle; wir haben daher mit ihnen dieselben Frames jedes Clips bewertet und den Mittelwert gebildet.
| Detektor | AUROC, Original | AUROC, Messenger-Kopie |
|---|---|---|
| WasItAI V3 (Videomodell) | 0,987 | 0,964 |
| WasItAI V2 (unser Vorgängermodell) | 0,869 | 0,666 |
| DDA (NeurIPS 2025) | 0,839 | 0,623 |
| OmniAID (CLIP) | 0,813 | 0,618 |
| haywoodsloan/ai-image-detector-deploy | 0,770 | 0,658 |
| Smogy/SMOGY-Ai-images-detector | 0,677 | 0,596 |
Mit dem Schwellenwert, den wir im Produktivbetrieb nutzen, markierte unser Videomodell 60 von 63 KI-Clips und 1 von 60 echten Clips.
So wurde das Set erstellt
- KI-Bilder: 469 neue Bilder von GPT-Image-2, Nano Banana 2.1, Nano Banana Pro, Meta Muse Image, Microsoft MAI-Image 2.5, Grok Imagine 2, Seedream 5 Pro, Qwen-Image 3, Qwen-Image 2512, Ideogram 4.5, FLUX.3, FLUX.2 Pro, FLUX.2 dev, Kling Image 3, Recraft 4.1, Luma Uni-1, Z-Image Turbo, HiDream O1, Krea 2.
- KI-Videos: 164 Clips von Veo 3 Fast, Kling 3, Seedance 2.0, Hailuo 02, MiniMax H3, Wan 2.6, LTX 2.3, HunyuanVideo 1.5, Luma Ray 3.2, Grok Imagine Video 1.5, Vidu Q3, PixVerse 6.
- Echt: 800 Fotos und 160 Clips unter freien Lizenzen (CC0, Public Domain, CC BY, CC BY-SA), mit Urheber und Quelle für jede Datei.
- Nie trainiert: Keine Datei des Sets wurde zum Training unserer Modelle verwendet.
- Metadaten entfernt: Generatoren betten C2PA-Nachweise ein („erstellt von …“). Wir haben sämtliche Metadaten entfernt, damit kein Detektor die Antwort aus dem Dateiheader ablesen kann. Die Pixel sind unverändert.
- Split: 60 % öffentlich, 40 % verborgen, per Hash zugewiesen.
Über diesen Benchmark
Wir haben diesen Benchmark selbst erstellt und durchgeführt, und unsere Modelle haben im Training ähnliche Inhalte gesehen – betrachten Sie unsere Zahlen also als Heimspiel-Ergebnis. Genau deshalb sind 60 % der Dateien öffentlich: Jeder kann den Test wiederholen, und Anbieter können ihren Detektor für den verborgenen Split einreichen.
Herunterladen und eigenen Detektor einreichen
Die öffentlichen 60 % liegen auf Hugging Face: Bilder, Social-Kopien, Videos und eine metadata.csv mit Label, Generator, Lizenz und Quelle pro Datei. Evaluationsskripte, die den Split herunterladen, einen beliebigen Detektor ausführen und dieselben Metriken ausgeben, finden Sie auf GitHub für Bilder und Video. Die verborgenen 40 % bleiben privat, aber der SHA-256 jeder verborgenen Datei ist in diesen Repositories veröffentlicht, sodass jeder später prüfen kann, dass der verborgene Split nicht verändert wurde.
Sie entwickeln einen Detektor? Lassen Sie ihn auf dem öffentlichen Split laufen und schreiben Sie an patrick@wasitaigenerated.com. Wir bewerten eingereichte Detektoren auf den verborgenen 40 % und listen sie hier auf – auch Ergebnisse, die besser sind als unsere.
Häufige Fragen
Welcher KI-Bild-Detektor ist 2026 am genauesten?
Auf diesem Testset trennte WasItAI V3 KI-Bilder fast perfekt von echten (AUROC 1,000) und erkannte 99,5 % der KI-Bilder, während 1 % der echten Fotos markiert wurde. Der beste Open-Weights-Detektor erkannte bei derselben Falsch-positiv-Rate 48 %. Wir haben das Testset selbst erstellt – lesen Sie unsere Zahlen also als Heimspiel-Ergebnis.
Macht die Komprimierung von WhatsApp oder Instagram die KI-Bilderkennung unbrauchbar?
Sie schadet jedem Detektor. WasItAI V3 fiel nach WhatsApp-, Instagram- und Re-Share-Komprimierung von 99,5 % auf 96,2 % erkannte KI-Bilder bei 1 % Falsch-positiv-Rate. Die offenen Detektoren verloren mehr, der beste von 48 % auf 37 %.
Lassen sich KI-generierte Videos erkennen?
Ja, aber komprimierte Videos sind der schwierige Fall. Unser Videomodell erreichte AUROC 0,987 auf Original-Clips und 0,964 auf per Messenger komprimierten Kopien. Mit dem Schwellenwert, den wir im Produktivbetrieb nutzen, markierte es 60 von 63 KI-Clips und 1 von 60 echten Clips.
Kann ich meinen eigenen Detektor auf diesem Set testen?
Ja. 60 % des Sets sind öffentlich auf Hugging Face. Lassen Sie Ihren Detektor darauf laufen und schreiben Sie an patrick@wasitaigenerated.com; wir bewerten eingereichte Detektoren auf den verborgenen 40 % und nehmen sie auf dieser Seite auf.
Prüfen Sie ein Bild oder Video selbst
Laden Sie es bei WasItAIGenerated hoch: derselbe Detektor, der in diesem Benchmark verwendet wurde.
Kostenlos testen