Jeder Anbieter eines Detektors sagt, er sei zu 99 % genau. Die Zahl bedeutet nur etwas, wenn sie auf einem Testset gemessen wurde, das jemand anderes gebaut hat.
Deshalb haben wir WasItAIGenerated V3, das Modell hinter unserem Bild-Detektor und unserer API zur Bilderkennung, auf den fünf öffentlichen Benchmarks laufen lassen, die Pangram zum Start von Pangram Image 1.0 verwendet hat. Dieselben Testsets, dieselben Einstellungen. Dazu kommt, was öffentliche Benchmarks nicht abdecken: Bilder aus sozialen Medien und die neuesten Generatoren.
Keines der Testbilder wurde zum Training unseres Modells verwendet.
Kurzfassung
- Öffentliche Benchmarks: V3 liegt auf allen fünf gleichauf mit Pangram Image 1.0 oder davor. Auf Mirage-Test (49.000 Bilder) erreicht V3 99,6 %, Pangram 99,5 %.
- Offene Modelle: V3 erreicht eine AUROC von 0,996. Der beste von neun Open-Weights-Detektoren erreicht 0,914.
- Neue Generatoren: V3 erkannte am Tag der Veröffentlichung 78 von 79 Bildern aus ChatGPT Images 2.6 und 99,5 % der Bilder von 19 aktuellen Generatoren. ZeroGPT (TruthScan) erkannte 97,2 %.
- Komprimierte Kopien: Nach WhatsApp und Instagram erkennt V3 noch 96,2 % der KI-Bilder.
Fünf öffentliche Benchmarks
Das sind die fünf Benchmarks, auf denen Pangram für Pangram Image 1.0 berichtet hat, die stärksten veröffentlichten Ergebnisse eines kommerziellen Detektors. Wir haben V3 jeweils auf dem vollständigen Testset laufen lassen, mit derselben Metrik und derselben Schwelle (0,5). Das Diagramm oben auf der Seite zeigt das Ergebnis, die Tabelle darunter die Details. „Bester akademischer“ ist der beste akademische Detektor auf dem jeweiligen Benchmark, wie von Pangram angegeben.
| Benchmark | Metrik | WasItAIGenerated V3 | Pangram Image 1.0 | Bester akademischer |
|---|---|---|---|---|
Mirage-Test 49.000 Bilder · Bilder aus 5 Themenbereichen (Menschen, Tiere, Objekte, Szenen, Anime) | Genauigkeit | 99,6 % | 99,5 % | 88,4 % OmniAID-Mirage |
X-AIGD 2.419 KI-Bilder · Aktuelle Text-zu-Bild-Generatoren | Recall (erkannte KI-Bilder) | 100 % | 99,96 % | 95 % Gram-Net |
AIGenImages2026 1.118 Bilder · Generatoren von 2026, offizieller Test-Split | Genauigkeit | 99,7 % | 99,6 % | 92,1 % RINE |
Synthbuster + RAISE 2.800 Bilder · Diffusionsbilder gegenüber RAW-Kamerafotos | Balancierte Genauigkeit | 99,7 % | 99,5 % | 94,9 % B-Free |
Community Forensics (eval) 51.836 Bilder · Tausende Generatoren, zurückgehaltenes Eval-Set | Makro-Genauigkeit | 99,3 % | 99,3 % | 89,2 % Community Forensics-384 |
Neun Open-Weights-Detektoren
Wir haben V3 und neun frei verfügbare Detektoren auf 4.480 Bildern aus sechs weiteren öffentlichen Benchmarks laufen lassen. Keiner von ihnen wurde auf diesen Bildern trainiert. Der Wert ist die AUROC: 1,0 heißt, ein Detektor trennt KI und echt perfekt, 0,5 entspricht einem Münzwurf.
Die neuesten Generatoren
Benchmarks hinken hinterher. Bis einer veröffentlicht ist, gibt es schon neuere Generatoren. Deshalb haben wir zwei Tests mit dem gemacht, was gerade gepostet wird.
Am Tag, an dem OpenAI ChatGPT Images 2.6 veröffentlicht hat, erkannte V3 78 von 79 Testbildern, obwohl es trainiert wurde, bevor es 2.6 gab. Und auf unserem eigenen Testset mit 19 aktuellen Generatoren:
Zu den 19 Generatoren gehören GPT-Image-2, Nano Banana 2.1 und Pro, FLUX.3, Qwen-Image 3 und Seedream 5 Pro. 60 % dieses Testsets sind öffentlich. Alle Ergebnisse stehen in unserem Frontier-Benchmark.
Interner Test: 623 Bilder aus dem echten Leben
Benchmark-Bilder sind meist saubere Originale. Die Bilder, die bei einem Betrugs-, Trust-&-Safety- oder OSINT-Team ankommen, sind es nicht: Sie wurden gepostet, komprimiert und zugeschnitten.
Deshalb haben wir zusätzlich intern getestet, mit 623 Bildern, die auf Reddit und in sozialen Medien gepostet wurden: 343 KI-Bilder, die als Foto durchgehen könnten, und 280 echte. V3, Pangram Image 1.0 und ZeroGPT haben dieselben Dateien bekommen. ZeroGPT nutzt für die Bilderkennung TruthScan.
Wo beide ein Urteil abgegeben haben, liegen V3 und Pangram gleichauf, bei den Fehlern (26 und 21 bei 582 Bildern) und bei den Fehlalarmen (11 und 10 von 275 echten Fotos). Gegenüber ZeroGPT machte V3 3,7-mal weniger Fehler: 25 gegenüber 93 bei 547 Bildern.
TruthScan, AI or Not, Sightengine und Winston AI
AI or Not, Sightengine und Winston AI haben wir nicht selbst getestet. Das sind die Werte, die Pangram im Oktober 2026 für sie veröffentlicht hat, gemessen auf Pangrams eigenem Test mit 1.200 KI-Bildern von 12 aktuellen Generatoren und 100 echten Fotos. Für das eigene Modell gibt Pangram 99,96 % an. Dieses Testset ist nicht öffentlich, deshalb konnten wir V3 darauf nicht laufen lassen.
TruthScan haben wir als einzigen davon selbst getestet, über ZeroGPT: siehe die 19 aktuellen Generatoren und den internen Test oben. Für Texte haben wir Pangram, GPTZero und ZeroGPT selbst laufen lassen, in unserem Benchmark für KI-Text-Detektoren.
Nach WhatsApp und Instagram
Die meisten Bilder erreichen eine Redaktion oder ein Faktencheck-Team als komprimierte Kopie, nicht als Original. Auf Kopien unseres Frontier-Sets, die durch WhatsApp, Instagram und erneutes Teilen gegangen sind, erkannte V3 noch 96,2 % der KI-Bilder bei 1 % Falsch-positiv-Rate. Der beste Open-Weights-Detektor fiel auf 37,3 %.
So haben wir gemessen
- Öffentliche Benchmarks: jeweils der vollständige offizielle Test-Split, keine Teilmengen, bei Schwelle 0,5. Das ist die Einstellung, die Pangram verwendet.
- Interner Test mit 623 Bildern: V3 mit seiner Produktionsschwelle (ein Score ab 0,8 zählt als KI). Pangram über die Web-App und ZeroGPT über das Web-Tool, im November 2026. Dieselben Dateien für alle drei.
- Immer das Produktionsmodell, so wie es auf unserer Website und in der API läuft. Keine Anpassung an einzelne Benchmarks.
- Kein Bild aus diesen Testsets wurde im Training verwendet.
- Pangrams eigene Werte, die akademischen Ergebnisse und die Werte für TruthScan, AI or Not, Sightengine und Winston AI auf Pangrams Testset stammen aus der Ankündigung von Pangram vom 4. November 2026.
Das sind unsere eigenen Messungen. Wenn Sie sie nachprüfen möchten: Wir finanzieren unabhängige Benchmarks mit kostenlosen API-Credits.
Häufige Fragen
Welcher KI-Bild-Detektor ist 2026 am genauesten?
Auf fünf öffentlichen Benchmarks liegt WasItAIGenerated V3 gleichauf mit Pangram Image 1.0, dem stärksten veröffentlichten kommerziellen Detektor, oder davor: 99,6 % auf Mirage-Test, 100 % auf X-AIGD, 99,7 % auf AIGenImages2026 und auf Synthbuster, 99,3 % auf Community Forensics. Gegenüber neun Open-Weights-Detektoren erreicht es eine AUROC von 0,996; das beste offene Modell erreicht 0,914.
WasItAIGenerated oder Pangram: Welcher KI-Bild-Detektor schneidet auf öffentlichen Benchmarks besser ab?
WasItAIGenerated V3 liegt auf vier der fünf vorn und auf dem fünften gleichauf: Mirage-Test 99,6 % gegenüber 99,5 %, X-AIGD 100 % gegenüber 99,96 %, AIGenImages2026 99,7 % gegenüber 99,6 %, Synthbuster + RAISE 99,7 % gegenüber 99,5 %, Community Forensics bei beiden 99,3 %. Die Werte von Pangram sind die, die Pangram veröffentlicht hat. Unsere haben wir auf denselben Testsets mit derselben Schwelle gemessen.
Wie genau sind TruthScan, AI or Not, Sightengine und Winston AI?
Selbst getestet haben wir nur TruthScan, über ZeroGPT, das es für die Bilderkennung nutzt: Bei Bildern von 19 aktuellen Generatoren erkannte es 97,2 % der KI-Bilder bei 1 % Falsch-positiv-Rate, WasItAIGenerated V3 99,5 %. Für die anderen können wir nur Pangram zitieren, das sie im Oktober 2026 auf dem eigenen Testset gemessen hat (balancierte Genauigkeit): TruthScan 96,3 %, AI or Not 91,4 %, Sightengine 88,3 % und Winston AI 80,3 %.
Wurden diese Zahlen auf den vollständigen Testsets gemessen?
Ja. Jeder Wert zu den öffentlichen Benchmarks stammt vom vollständigen offiziellen Test-Split, mit derselben Schwelle (0,5), die Pangram verwendet. Keines dieser Bilder wurde zum Training unseres Modells verwendet.
Funktioniert der Detektor auch bei ganz neuen Generatoren?
Ja. Am Tag, an dem OpenAI ChatGPT Images 2.6 veröffentlicht hat, erkannte V3 78 von 79 Testbildern, obwohl es trainiert wurde, bevor es 2.6 gab. Auf unserem Testset mit 19 aktuellen Generatoren erkannte es 99,5 % der KI-Bilder bei 1 % Falsch-positiv-Rate.
Und was ist mit Bildern, die über WhatsApp oder Instagram geteilt wurden?
Nach WhatsApp, Instagram und erneutem Teilen erkannte V3 noch 96,2 % der KI-Bilder in unserem Frontier-Testset, bei 1 % Falsch-positiv-Rate.
Prüfen Sie selbst ein Bild
Der Detektor auf dieser Seite ist der, der auf WasItAIGenerated und in unserer API läuft.