Aufruf zu Benchmarks

Prüfen Sie unsere Detektoren. Wir zahlen die Credits.

Ein Detektor sollte von Leuten beurteilt werden, die ihn nicht verkaufen. Wir finanzieren unabhängige Evaluierungen unserer Text-, Bild- und Videoerkennung mit kostenlosen API-Credits.

Warum wir fragen

Wir veröffentlichen unsere eigenen Zahlen mit den zugrunde liegenden Daten. Aber diese Tests führen wir selbst durch, auf Datensätzen, die wir ausgewählt haben, und alle paar Wochen erscheinen neue Modelle. Ein Detektor, der im Frühjahr stark aussah, kann bis zum Herbst zurückfallen, ohne dass es jemand bemerkt.

Ein einfacher Score für KI oder Mensch verdeckt zudem das meiste, was in der Praxis zählt: wer fälschlich markiert wird, wie viel Bearbeitung nötig ist, bis ein Text nicht mehr erkannt wird, was eine Weiterleitung per WhatsApp übersteht. Lehrkräfte, Redaktionen, Betrugsteams und Ermittler treffen auf Basis dieser Ergebnisse Entscheidungen. Sie verdienen Belege von jemand anderem als uns.

Fragen, auf die wir Antworten suchen

Eine Studie kann eine oder mehrere davon aufgreifen. Vorschläge außerhalb der Liste sind ebenfalls willkommen.

Text

Frontier-Modelle und lange, agentische Ausgaben

Wie gut erkennen Detektoren Texte der neuesten Modelle, und was passiert, wenn dieser Text aus einem Deep-Research-Lauf, einer Agenten-Umgebung oder einer langen Unterhaltung über viele Runden statt aus einem einzelnen Prompt stammt?

Text

Gemischte Autorschaft

Echte Dokumente sind selten ganz menschlich oder ganz KI. Wir wünschen uns Studien über das gesamte Spektrum: eine Grammatikkorrektur, ein umgeschriebener Absatz, eine von einem Modell ausgefüllte Gliederung, komplettes Co-Writing und Texte, die durch Humanizer gelaufen sind.

Text

Fairness gegenüber Schreibenden

Ergebnisse aufgeschlüsselt nach Sprache, nicht muttersprachlichem Schreiben, Region, Dialekt, Bildungsniveau oder Fachgebiet. Eine Studie, die keinen Bias findet, ist für uns genauso nützlich wie eine, die einen findet.

Bild & Video

Aktuelle Generatoren unter realen Bedingungen

Erkennung der neuesten Bild- und Videomodelle, nachdem die reale Verbreitung eine Datei verändert hat: Messenger-Rekompression, Screenshots, Zuschnitte, erneute Uploads und gezieltes Verschleiern.

Bild & Video

Fehlalarme bei echten Medien

Wie oft echte Fotos und Clips markiert werden: Handykameras, professionelle und bearbeitete Fotografie, Scans, altes Filmmaterial, Gesichter jeder Herkunft.

Bild & Video

Gesichter und Identität

Face Swaps, identitätserhaltende Generierung und synthetische Ausweis- oder Profilfotos, also die Fälle hinter Identitätsdiebstahl und Betrug.

Was einen guten Benchmark ausmacht

  • Saubere Labels. Sie wissen, wie jede Probe entstanden ist, und können es zeigen: Prompts, Modelle, Daten und bei menschlichen Texten, woher sie stammen und warum Sie ihnen vertrauen.
  • Aktuelle Modelle. Ausgaben der Generatoren, die heute tatsächlich genutzt werden, nicht der vom letzten Jahr.
  • Schwer genug. Ein Datensatz, bei dem jeder Detektor 99 % erreicht, bringt niemandem etwas bei.
  • Reproduzierbar. Daten oder ein Weg, sie nachzubauen, und die erzielten Scores, damit andere Ihre Arbeit prüfen können.

Was Sie bekommen

  • Kostenlose API-Credits passend zu Ihrer Studie, für Text-, Bild- und Videoerkennung.
  • Rohe Scores, nicht nur Urteile, damit Sie Ihre eigenen Kurven zeichnen können.
  • Einen direkten Ansprechpartner für Fragen zur API und zu Schwellenwerten.
  • Vergleichen Sie uns mit jedem anderen Detektor, den Sie möchten.
  • Starke Studien können auf unserer ForschungsseiteEN vorgestellt werden.

So bewerben Sie sich

Schicken Sie eine kurze E-Mail. Ein paar Absätze genügen; wir antworten innerhalb einer Woche. Nennen Sie uns:

  • wer Sie sind, mit Ihrer Institution oder einem Link zu bisherigen Arbeiten
  • die Frage, die Ihr Benchmark beantwortet
  • Text, Bild oder Video, und den Datensatz: Quellen, Umfang, wie die Labels zustande kamen
  • welche Detektoren Sie vergleichen möchten und das ungefähre Volumen
  • wo und wann Sie veröffentlichen möchten
Credits beantragen