Was wir getestet haben
Der Benchmark umfasst drei Arten von Text, jeweils zwischen 40 und 800 Wörtern lang:
- 1.260 menschliche Texte aus 44 Quellen: Nachrichten (BBC, CNN, CC-News), Essays von Schülern, Studierenden und Englischlernenden (PERSUADE, TOEFL, ELLIPSE, chinesische Englischlernende), Parlaments- und UN-Reden, PubMed-Abstracts, technische Dokumentation, Rezensionen, Forenbeiträge und Webseiten in sieben Sprachen. Die Essays von Englischlernenden sind bewusst dabei: Genau hier beschuldigen Detektoren am häufigsten echte Studierende.
- 891 KI-Texte von 62 Modellen von 11 Anbietern, darunter GPT-6 (Sol, Luna, Astra), Claude Opus 5.5 und Fable 5.1, Gemini 3.8, Grok 4.7, DeepSeek V4.1, Qwen 3.8 Max, GLM 5.3 und MiMo. 150 davon hat ein zweites Modell paraphrasiert.
- 421 humanisierte Texte: KI-Text, der durch StealthGPT, CleverHumanizer, WriteHuman, WalterWrites, UndetectedGPT und Rephrasy lief.
ZeroGPT und unsere Modelle haben jeden Text bewertet. Pangram bewertete 513 und GPTZero 894, begrenzt durch Credits. Jeder Vergleich unten zählt nur Texte, die alle jeweils aufgeführten Detektoren bewertet haben.
Was als Erkennung zählt. Bei Drittanbieter-Tools zählt ein Treffer, wenn sie "AI" zurückgeben. Für tropa-3 verwenden wir einen angezeigten Score von 90 oder mehr: den Schwellenwert, bei dem 0,1 % von 239.490 menschlichen Texten markiert werden, die keines unserer Modelle je im Training gesehen hat. Für tropa-2 gilt derselbe Maßstab: Sein Schwellenwert ist so gesetzt, dass es ebenfalls 0,1 % dieser Texte markiert. Urteile vom Typ "Mixed" weisen wir gesondert aus.
Ergebnisse im gemeinsamen Set
| 513 Texte | n | ZeroGPT | Pangram | GPTZero | tropa-2 | tropa-3 |
|---|---|---|---|---|---|---|
| Menschlich, als KI markiert ↓ | 247 | 0,8 % | 0,0 % | 0,0 % | 0,4 % | 0,0 % |
| Unbearbeitete KI erkannt | 159 | 21,4 % | 44,0 % | 61,6 % | 77,4 % | 95,6 % |
| Paraphrasierte KI | 33 | 9,1 % | 9,1 % | 6,1 % | 18,2 % | 54,5 % |
| Humanisierte KI | 74 | 4,1 % | 35,1 % | 25,7 % | 28,4 % | 54,1 % |
Die wichtigste Erkenntnis ist der Abstand bei unbearbeitetem KI-Text. Pangram und GPTZero geben bei weniger als zwei Dritteln der Texte aktueller Modelle "AI" aus und markieren dabei keinen Menschen. tropa-3 erkennt 96 % und markiert ebenfalls keinen Menschen. Das 95-%-Konfidenzintervall liegt für tropa-3 bei 91–98 %, für GPTZero bei 54–69 % und für Pangram bei 37–52 %. Der Unterschied ist also kein Rauschen.
Bei "Mixed" legen sich die anderen Detektoren nicht fest
Alle drei Drittanbieter-Tools haben ein mittleres Urteil. Zählt man "Mixed" als Treffer, kommt Pangram bei unbearbeitetem KI-Text auf 81 % und GPTZero auf 84 %, weiterhin ohne markierte menschliche Texte. ZeroGPT erreicht 52 %, stuft dann aber 19 % der menschlichen Texte als teilweise KI-generiert ein. Auch unsere Website hat einen mittleren Bereich: "Wahrscheinlich KI" für Scores von 70 bis 89. Genauso gezählt, liegt tropa-3 in jeder Zeile vorn.
| "AI" oder "Mixed" gezählt | n | ZeroGPT | Pangram | GPTZero | tropa-3 (70+) |
|---|---|---|---|---|---|
| Menschlich markiert ↓ | 247 | 19,0 % | 0,0 % | 0,0 % | 1,2 % |
| Unbearbeitete KI erkannt | 159 | 52,2 % | 81,1 % | 84,3 % | 98,1 % |
| Paraphrasierte KI | 33 | 39,4 % | 54,5 % | 48,5 % | 63,6 % |
| Humanisierte KI | 74 | 29,7 % | 50,0 % | 27,0 % | 70,3 % |
Spalte tropa-3: Score ab 70, also die Bereiche "Wahrscheinlich KI" und "KI-generiert" auf unserer Website. Der Preis: 3 von 247 menschlichen Texten werden als wahrscheinlich KI markiert.
Eine größere Stichprobe ohne Pangram
Mit 894 Texten sind die Gruppen für Paraphrasen und Humanizer groß genug, um belastbar zu sein. Das Bild bleibt dasselbe.
| 894 Texte | n | ZeroGPT | GPTZero | tropa-2 | tropa-3 |
|---|---|---|---|---|---|
| Menschlich, als KI markiert ↓ | 252 | 0,8 % | 0,0 % | 0,4 % | 0,0 % |
| Unbearbeitete KI erkannt | 207 | 23,2 % | 60,4 % | 75,8 % | 95,2 % (91–97) |
| Paraphrasierte KI | 149 | 5,4 % | 12,1 % | 30,9 % | 61,7 % (54–69) |
| Humanisierte KI | 286 | 1,7 % | 24,1 % | 31,5 % | 57,7 % (52–63) |
In Klammern das 95-%-Konfidenzintervall für tropa-3. tropa-2 wird bei derselben Falsch-positiv-Rate von 0,1 % wie tropa-3 gezeigt.
Die Humanizer im Einzelnen
Humanizer sind dafür gebaut, Detektoren zu überlisten, und das merkt man. StealthGPT erkennen GPTZero und wir. Die übrigen rutschen fast vollständig an GPTZero vorbei. UndetectedGPT und WalterWrites sind auch für unser Modell die schwierigsten Fälle.
| Humanizer | n | ZeroGPT | GPTZero | tropa-2 | tropa-3 |
|---|---|---|---|---|---|
| StealthGPT | 49 | 0,0 % | 87,8 % | 10,2 % | 87,8 % |
| Rephrasy | 48 | 10,4 % | 27,1 % | 50,0 % | 77,1 % |
| WriteHuman | 45 | 0,0 % | 8,9 % | 57,8 % | 75,6 % |
| CleverHumanizer | 48 | 0,0 % | 6,2 % | 41,7 % | 50,0 % |
| WalterWrites | 48 | 0,0 % | 12,5 % | 22,9 % | 31,2 % |
| UndetectedGPT | 47 | 0,0 % | 0,0 % | 8,5 % | 25,5 % |
Bei derselben Falsch-positiv-Rate schlägt tropa-3 seinen Vorgänger tropa-2 bei jedem Humanizer, am deutlichsten bei StealthGPT (87,8 % gegenüber 10,2 %). Wer mehr falsch positive Ergebnisse in Kauf nimmt, erkennt mit beiden mehr: Bei einem lockereren Schwellenwert von 70 erkennt tropa-3 71 % des humanisierten Texts und markiert 1,6 % der menschlichen Texte in diesem Set.
Falsch positive Ergebnisse im großen Maßstab
247 menschliche Texte können zeigen, dass ein Detektor vorsichtig ist. Wie selten seine Fehler sind, können sie nicht zeigen. Dafür bewerten wir 239.490 menschliche Texte, die keines unserer Modelle im Training gesehen hat: Webseiten in sieben Sprachen, Nachrichten, Reden, biomedizinische Fachartikel, Dokumentation, E-Mails, Foren und Rezensionen.
| 239.490 menschliche Texte | tropa-2 | tropa-3 |
|---|---|---|
| Markiert beim Live-Schwellenwert | 3,02 % | 0,10 % |
| Markiert, wenn beide 97 % der unbearbeiteten KI erkennen | 1,99 % | 0,32 % |
| … nur Nachrichten (10.591) | 6,07 % | 0,30 % |
| … nur Reden (14.000) | 4,01 % | 0,22 % |
| … nur Biomedizin (16.280) | 2,63 % | 0,35 % |
Zwischen unseren beiden letzten Versionen sinkt der Anteil fälschlich markierter menschlicher Texte damit um das 30-Fache. Die Drittanbieter-Tools haben wir auf diesem Set nicht getestet.
Nicht-muttersprachliche Englischschreibende
2023 zeigten Liang et al., dass KI-Detektoren die meisten TOEFL-Essays von Nicht-Muttersprachlern als KI einstuften. Diese Essays sind Teil dieses Benchmarks und waren nie in unseren Trainingsdaten. tropa-3 markierte keinen der 60 (Median-Score 7 von 100). ZeroGPT stufte keinen als KI ein, markierte aber 15 von 60 als gemischt. Pangram und GPTZero, die 14 davon bewertet haben, markierten keinen.
Grenzen dieses Benchmarks
Wir haben auf eigenem Platz gespielt. Die KI- und humanisierten Texte stammen von denselben Modellen und Humanizern, mit denen unser Detektor trainiert wurde. Prompts und Dokumente sind andere und kein Text überschneidet sich, aber die anderen Detektoren konnten nicht auf dieser Mischung trainieren. Lesen Sie unsere Humanizer-Zahlen mit diesem Wissen. Die TOEFL-Essays oben sind die Ausnahme: Sie stammen aus einer veröffentlichten Studie und waren nie in unseren Trainingsdaten.
- Pangram bewertete 513 Texte, GPTZero 894. Für Pangram sind die Zahlen pro Humanizer zu klein, um sie zu berichten.
- Die Ergebnisse der Drittanbieter wurden am 24. und 25. September 2026 über die öffentlichen Web-Apps (Pangram, GPTZero) und die Web-API von ZeroGPT erhoben. Diese Tools werden häufig aktualisiert.
- tropa-3 liest die ersten 512 Tokens jedes Texts. Alle Benchmark-Texte haben höchstens 800 Wörter.
- "Menschlich" heißt: vor LLMs oder unabhängig von ihnen geschrieben, soweit die Quelle das garantiert. Einige Webtexte können KI-Text enthalten, den wir nicht erkennen konnten.
Die Daten herunterladen
Alle Texte, Labels und Urteile liegen auf Hugging Face, einschließlich jeder Zeile, in der unser Modell falschliegt. 1.595 Texte sind vollständig enthalten: alle KI- und humanisierten Texte sowie menschliche Texte unter offenen Lizenzen. Für urheberrechtlich geschützte menschliche Texte veröffentlichen wir den Quelldatensatz, die Original-ID und die URL sowie einen SHA-256-Hash, damit Sie prüfen können, dass Sie genau denselben Text abgerufen haben. Derselbe Stand liegt im GitHub-Repository unter 2026-09/.
from datasets import load_dataset
ds = load_dataset("wasitaigeneratedcom/ai-detector-benchmark-2026-09", split="train")
df = ds.to_pandas()
shared = df[df.in_pangram_subset]
print(shared.groupby("group")[["pangram_label", "gptzero_label"]].value_counts())Zu den Spalten gehören zerogpt_label, pangram_label, gptzero_label, tropa3_score und tropa3_display. Die Dataset Card dokumentiert jedes Feld und jede Lizenz.
Häufige Fragen
Pangram vs. GPTZero vs. ZeroGPT vs. tropa-3: Welcher KI-Detektor ist 2026 am genauesten?
Auf den 513 Texten, die alle fünf Detektoren bewertet haben, erkannte tropa-3 95,6 % des unbearbeiteten KI-Texts, GPTZero 61,6 %, Pangram 44,0 % und ZeroGPT 21,4 %. tropa-3, Pangram und GPTZero markierten keinen der 247 menschlichen Texte; ZeroGPT markierte 0,8 %. Die KI- und humanisierten Texte stammen von denselben Modellen und Humanizern, mit denen unser Detektor trainiert wurde. Betrachten Sie unsere Zahlen daher als Heimspiel-Ergebnis.
Wie genau ist Pangram?
Pangram markierte keinen der 247 menschlichen Texte. Bei 44,0 % des unbearbeiteten Texts aktueller Modelle lautete sein Urteil "AI". Zählt man auch das Urteil "Mixed" als Treffer, kommt Pangram auf 81,1 % bei unbearbeitetem KI-Text, weiterhin ohne einen einzigen markierten menschlichen Text.
Ändert sich die Rangfolge, wenn "Mixed" als KI zählt?
Der Abstand schrumpft, die Reihenfolge bleibt. Mit "Mixed" kommt Pangram auf 81,1 % und GPTZero auf 84,3 % bei unbearbeitetem KI-Text, beide ohne markierte menschliche Texte. Zählen wir unseren eigenen mittleren Bereich ("Wahrscheinlich KI", Score ab 70) genauso, erreicht tropa-3 98,1 % bei unbearbeitetem KI-Text und markiert 1,2 % der menschlichen Texte. ZeroGPT kommt auf 52,2 %, stuft dann aber 19,0 % der menschlichen Texte als teilweise KI-generiert ein.
Können KI-Detektoren humanisierten Text erkennen?
Nur zum Teil. Bei 286 humanisierten Texten erkannte tropa-3 57,7 %, GPTZero 24,1 % und ZeroGPT 1,7 %. StealthGPT erkennen GPTZero und tropa-3 (je 87,8 %). UndetectedGPT und WalterWrites sind die schwierigsten Fälle: tropa-3 erkannte 25,5 % bzw. 31,2 %, GPTZero 0,0 % bzw. 12,5 %.
Wie schneidet tropa-3 im Vergleich zu tropa-2 ab?
Wir vergleichen beide bei derselben Falsch-positiv-Rate: dem Schwellenwert, bei dem jedes Modell 0,1 % von 239.490 zurückgehaltenen menschlichen Texten markiert. Bei dieser Rate erkennt tropa-3 im Set mit 894 Texten 95,2 % des unbearbeiteten KI-Texts gegenüber 75,8 % bei tropa-2, 61,7 % des paraphrasierten Texts gegenüber 30,9 % und 57,7 % des humanisierten Texts gegenüber 31,5 %. Mit seinem alten Produktions-Schwellenwert erkennt tropa-2 mehr, markiert dann aber 3,02 % der zurückgehaltenen menschlichen Texte.
Wie oft stuft tropa-3 menschliche Texte als KI ein?
Im gemeinsamen Set markierte es keinen der 247 menschlichen Texte, bei 239.490 zurückgehaltenen menschlichen Texten, die keines unserer Modelle im Training gesehen hat, 0,10 %. Bei Nachrichten waren es 0,30 %, bei Reden 0,22 % und bei biomedizinischen Fachartikeln 0,35 %. Das Urteil eines Detektors sollte nie der einzige Beweis in einem Verfahren wegen akademischen Fehlverhaltens sein.
Prüfen Sie selbst ein Dokument
Fügen Sie es in WasItAIGenerated ein. Sie erhalten denselben tropa-3-Score wie in diesem Beitrag.
tropa-3 kostenlos testen