Warum wir zuerst auf Fehlalarme optimiert haben
Das Schlimmste, was ein KI-Detektor tun kann, ist nicht, KI-Text zu übersehen – sondern einem Menschen KI-Nutzung vorzuwerfen, obwohl er keine KI verwendet hat. Ein übersehener KI-Text ist ärgerlich; eine falsche Verdächtigung kann Studierende ihren akademischen Ruf und Autoren ihren Job kosten. Als wir tropa-1 trainiert haben, lautete die erste Frage deshalb nicht „Wie viel KI-Text erkennt es?“, sondern „Wie oft irrt es sich bei Menschen?“
Um das zu messen, haben wir 1.314 garantiert von Menschen verfasste Texte bewertet: arXiv-Abstracts aus der Zeit vor 2017 aus zwölf Wissenschaftsdisziplinen, geschrieben Jahre bevor es moderne Sprachmodelle gab, eigens neu abgerufen und gegen sämtliche Trainingsdaten dedupliziert.
Menschliche Texte fälschlich als KI markiert (Schwelle 0,5)
Fälschlich markiert bei strenger Schwelle (0,1)
Die Fehlalarm-Zahlen im Detail
| Bei 1.314 verifizierten menschlichen Texten | o.3 (Vorgänger) | tropa-1 |
|---|---|---|
| Als KI markiert (Schwelle 0,5) | 9,7 % (127 Texte) | 1,2 % (16 Texte) |
| Markiert bei strenger Schwelle (0,1) | 31,7 % | 2,0 % |
| Durchschnittlicher KI-Score für menschlichen Text | 0,138 | 0,014 |
Die Zeile mit dem Durchschnittsscore ist für uns die wichtigste. tropa-1 ist deutlich bimodal: Menschliche Texte sammeln sich um 0,01, unbearbeitete KI-Ausgaben um 1,00. Das Vorgängermodell verteilte menschliche Texte über den gesamten Bereich von 0 bis 0,9 – genau so entstehen Grenzfälle und falsche Verdächtigungen. Bei den Website-Texten des externen Benchmarks markierte o.3 fast jede dritte menschliche Seite (32 %); tropa-1 markiert 0,5 %.
Humanisierter KI-Text – ein fairer Vergleich
„Humanisierter“ KI-Text – also Ausgaben, die mit Tools wie Rephrasy umgeschrieben wurden, um Detektoren zu umgehen – ist der schwierigste Fall. Ein naiver Vergleich würde hier das alte Modell schönrechnen: Bei fester Schwelle erkennt o.3 viel paraphrasierte KI schlicht deshalb, weil es auch jeden fünften Menschen markiert. Fair vergleichen lässt sich nur bei gleichem Fehlalarm-Budget: Beide Modelle werden so eingestellt, dass sie denselben (kleinen) Anteil an Menschen fälschlich markieren – dann wird gemessen, welches mehr KI erkennt.
Erkannter humanisierter KI-Text bei gleicher Fehlalarmrate von 1 % (359 paraphrasierte Texte)
| Fehlalarm-Budget | o.3 | tropa-1 |
|---|---|---|
| 0,5 % der Menschen fälschlich markiert | 76,3 % | 83,6 % |
| 1 % | 79,1 % | 86,4 % |
| 2 % | 80,2 % | 89,7 % |
tropa-1 liegt an jedem Arbeitspunkt vorn – es tauscht keine falschen Verdächtigungen gegen eine höhere Trefferquote, sondern verbessert beides gleichzeitig.
Unbearbeiteter KI-Text: weiterhin 100 %
Beide Modelle erkennen 100 % der unbearbeiteten Ausgaben aller zwölf getesteten Generatoren – darunter GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro und, besonders bemerkenswert, zwei Qwen-Modelle, die tropa-1 im Training nie gesehen hat. tropa-1 hält diese 100 % selbst bei einer sehr strengen Schwelle von 0,9 – und genau das macht die niedrige Fehlalarmrate in der Praxis möglich.
Methodik
- Evaluation: Alle hier berichteten Ergebnisse stammen aus vollständig zurückgehaltenen Daten – einem externen Benchmark mit 739 Texten (200 menschlich, 539 KI-generiert von 12 Modellen, davon 359 paraphrasiert) sowie 1.314 neuen menschlichen Abstracts aus der Zeit vor 2017. Nichts davon ist in den Trainingsdaten enthalten.
- Produktionsparität: Alle Werte wurden mit exakt dem Modell und dem Codepfad gemessen, die jetzt diese Website bedienen – nicht mit einer Laborkonfiguration.
Ehrliche Einschränkungen
- Unser menschliches Testkorpus ist englischsprachig, umfasst mindestens 50 Wörter pro Text und besteht überwiegend aus formellen Texten (Fachartikel, Artikel, Rezensionen). Kurze, informelle Texte und nicht-englische Inhalte sind von diesen Zahlen nicht abgedeckt.
- „Humanisiert“ heißt hier: von den zwölf genannten Modellen paraphrasiert. Spezialisierte Humanizer-Tools wie Rephrasy können sich anders verhalten – und rund 14–16 % des humanisierten Texts rutschen mit den Produktionseinstellungen weiterhin durch. Kein Detektor erkennt alles; wer etwas anderes behauptet, will Ihnen etwas verkaufen.
- Erkennungsergebnisse sind Indizien, keine Beweise. Deshalb zeigen wir Scores auf Satzebene: Eine Markierung sollte ein Gespräch eröffnen, nicht beenden – besonders im akademischen Umfeld.
tropa-1 ist ab sofort live
Jede Text- und Dokumentprüfung auf dieser Website läuft bereits mit tropa-1 – im Web-Detektor ebenso wie über die API. Testen Sie es mit Ihren eigenen Texten.
tropa-1 kostenlos testen