Warum Stimm-Deepfakes ein Problem sind
Wenige Sekunden einer Stimme genügen, um sie mit einem kommerziellen TTS-Dienst zu klonen. Geklonte Stimmen werden in Anrufen eingesetzt, die sich als Angehörige oder Geschäftsführer ausgeben, in gefälschten Robocalls vor Wahlen und in erfundenen Clips von Personen des öffentlichen Lebens. Anders als bei einem manipulierten Bild bleibt der Person am anderen Ende eines Telefonats kaum Zeit zur Prüfung.
tropa-voice ist genau dafür gebaut, solche Stimmen zu erkennen; tropa-voice-mini ist die kostenlose Open-Weights-Variante. Wir haben beide gegen die stärksten verfügbaren Open-Source-Detektoren antreten lassen – auf fünf öffentlichen Benchmarks, mit einem einzigen Evaluationsskript für alle Modelle. Code und unser eigenes Testset sind öffentlich, jede Zahl auf dieser Seite lässt sich also nachprüfen.
Das Wichtigste in Kürze
- tropa-voice (gehostete API) schlägt jeden Open-Source-Detektor auf allen fünf Benchmarks.
- Kommerzielle Stimmen: 0,23 % Fehlerrate über 14 TTS-Systeme, darunter ElevenLabs, MiniMax und OpenAI – bis zu zehnmal weniger Fehler als offene Alternativen (2,0–7,1 %).
- Echte Deepfakes aus 2024: Auf Deepfake-Eval-2024 rund 30 % weniger Fehler als der beste Open-Source-Detektor (EER 11,9 % gegenüber 17,2 %).
- In-the-Wild: tropa-voice erkennt 99,4 % der Deepfakes bei 1 % Fehlalarmrate.
- tropa-voice-mini (Apache-2.0) ist der stärkste kommerziell nutzbare KI-Stimmen-Detektor mit offenen Gewichten – mit 0,0 % Fehlerrate bei ElevenLabs v3 und v4, MiniMax, OpenAI, Gemini und xAI.
Die fünf Benchmarks
- In-the-Wild: 31.748 online gesammelte Clips von Prominenten und Politikern: echte Aufnahmen und Deepfakes aus den Jahren 2019 bis 2022.
- Deepfake-Eval-2024: Deepfakes, die 2024 in sozialen Medien und auf Videoplattformen kursierten, offizieller Test-Split (773 Dateien). Musik, Video-Tonspuren, viele Sprachen. Das schwierigste Set in diesem Vergleich.
- Commercial-Voices-2026-mini: Von uns erstellt und öffentlich: 2.084 Clips von 14 kommerziellen TTS-Systemen (ElevenLabs, MiniMax, OpenAI, Gemini, xAI, HeyGen und weitere) und 2.200 frei lizenzierte echte Aufnahmen.
- SONAR: Sprache von 8 aktuellen TTS-Systemen.
- MLAAD-tiny: 69 TTS-Systeme in vielen Sprachen, darunter aktuelle Open-Source-Stimmen auf LLM-Basis.
Rangliste
Fehlerrate (EER) pro Benchmark: der Wert an dem Schwellenwert, bei dem übersehene Fälschungen und fälschlich markierte echte Aufnahmen gleich häufig sind. Niedriger ist besser. Der beste Wert jeder Spalte ist grün markiert.
| Detektor | Lizenz | In-the-Wild | Deepfake-Eval-2024 (Test) | Commercial-Voices-2026-mini | SONAR | MLAAD-tiny |
|---|---|---|---|---|---|---|
| tropa-voice | Gehostete API | 0,66 % | 11,9 % | 0,23 % | 0,05 % | 0,34 % |
| tropa-voice-mini | Apache-2.0 | 0,98 % | 13,5 % | 0,19 % | 0,18 % | 2,33 % |
| Spectra-AASIST | Apache-2.0 | 1,43 % | 17,2 % | 2,01 % | 0,48 % | 0,71 % |
| DF_Arena_1B | Nicht kommerziell | 0,96 % | 27,6 % | 7,14 % | 1,26 % | 3,24 % |
| NII AntiDeepfake XLS-R-2B | Nicht kommerziell | 1,34 % | 25,1 % | 3,99 % | 0,43 % | 4,72 % |
EER in Prozent. tropa-voice läuft hinter unserer API zur Stimmerkennung; tropa-voice-mini ist kostenlos auf Hugging Face verfügbar. DF_Arena_1B und das NII-Modell sind nur für die nicht kommerzielle Nutzung lizenziert.
- tropa-voice hat auf allen fünf Benchmarks eine niedrigere Fehlerrate als jeder Open-Source-Detektor.
- Bei kommerziellen Stimmen ist der Vorsprung unserer Modelle am größten: 0,23 % und 0,19 % Fehlerrate, etwa zehnmal weniger als das nächstbeste offene Modell (2,01 %).
- Deepfake-Eval-2024 trennt das Feld am deutlichsten. Bei Clips, die mit Musik und Hintergrundgeräuschen durch soziale Medien gegangen sind, bleibt tropa-voice bei 11,9 %, während nicht kommerzielle Forschungsmodelle auf 25–28 % steigen.
- tropa-voice-mini ist der stärkste Detektor mit offenen Gewichten, der für die kommerzielle Nutzung lizenziert ist.
Erkennung bei 1 % Fehlalarmrate
Die EER eignet sich für einen neutralen Vergleich, im Produktivbetrieb legen Sie jedoch einen Schwellenwert fest. Ist er so gewählt, dass 1 von 100 echten Aufnahmen markiert wird, erkennt tropa-voice 99,4 % der Deepfakes in In-the-Wild.
Das Urteil ai der API ist auf dieselbe Fehlalarmrate eingestellt: etwa 1 % bei echter Sprache.
Pro System: Commercial-Voices-2026-mini
Fehlerrate pro kommerziellem TTS-System, jeweils gegen dieselben 2.200 echten Aufnahmen gemessen. Das sind die Stimmen, die Betrüger und Content-Farmen heute einkaufen können.
| TTS-System | tropa-voice | tropa-voice-mini | Spectra-AASIST | DF_Arena_1B | NII XLS-R-2B |
|---|---|---|---|---|---|
| ElevenLabs v4 | 0,0 % | 0,0 % | 2,5 % | 15,6 % | 7,4 % |
| ElevenLabs v3 | 0,0 % | 0,0 % | 0,7 % | 9,1 % | 2,4 % |
| MiniMax Speech 2.8 HD | 0,0 % | 0,0 % | 0,7 % | 8,7 % | 3,4 % |
| MiniMax Speech-02 HD | 0,7 % | 0,0 % | 2,7 % | 5,4 % | 6,8 % |
| OpenAI gpt-4o-mini-tts | 0,0 % | 0,0 % | 0,0 % | 0,0 % | 0,0 % |
| OpenAI tts-1-hd | 0,0 % | 0,0 % | 0,4 % | 1,4 % | 0,0 % |
| Gemini 3.8 Flash TTS | 0,0 % | 0,0 % | 0,6 % | 2,8 % | 0,0 % |
| xAI TTS | 0,0 % | 0,0 % | 1,6 % | 14,4 % | 3,1 % |
| HeyGen | 0,8 % | 0,2 % | 6,2 % | 12,0 % | 7,3 % |
| VibeVoice 7B | 1,4 % | 1,5 % | 7,4 % | 11,8 % | 27,9 % |
| Qwen Audio 3 TTS | 0,8 % | 0,0 % | 1,5 % | 6,0 % | 2,3 % |
| Inworld | 0,0 % | 0,0 % | 1,3 % | 7,3 % | 2,2 % |
| Seed Speech v2 | 0,0 % | 0,0 % | 0,0 % | 2,4 % | 0,8 % |
| Chatterbox | 0,0 % | 0,0 % | 0,0 % | 0,5 % | 0,0 % |
Unsere Modelle trennen die meisten kommerziellen Stimmen fehlerfrei, darunter ElevenLabs, MiniMax, OpenAI, Gemini und xAI. Selbst bei den schwierigsten Systemen, VibeVoice 7B und HeyGen, bleiben sie bei 1,5 % oder darunter – offene Alternativen kommen dort auf bis zu 27,9 %.
Vorgehen
- Derselbe Code, dieselben Dateien: Jeden Detektor haben wir selbst mit einem einzigen Evaluationsskript auf identischen Dateien ausgeführt.
- Gleitende Fenster über den gesamten Clip: Lange Aufnahmen werden in überlappende Fenster zerlegt, jedes Fenster wird bewertet, und der Score der Datei ist der Mittelwert der besten 30 % der Fenster-Scores. Eine kurze synthetische Passage in einer langen echten Aufnahme wird so nicht weggemittelt.
- Dokumentierte Vorverarbeitung: Externe Modelle erhalten die Eingabe, die ihre Autoren dokumentieren (Abtastrate, Fensterlänge, Normalisierung), sodass kein Modell außerhalb seines vorgesehenen Setups läuft.
- Offizielle Splits: Für Deepfake-Eval-2024 verwenden wir den offiziellen Test-Split.
- Metrik: Fehlerrate (EER) pro Benchmark, dazu die Erkennungsrate bei 1 % Fehlalarmrate auf In-the-Wild.
Jede Zahl lässt sich mit unserem Benchmark-Code auf GitHub nachrechnen.
Gut zu wissen
- Sehr kurze Clips (unter 2 Sekunden), laute Hintergrundmusik und Audio in Telefonqualität sind für jeden Detektor schwieriger.
- Jeden Monat erscheinen neue Stimmgeneratoren. tropa-voice wird laufend aktualisiert; tropa-voice-mini ist ein fester Release.
Code, Daten und Modelle
- Evaluationscode: wasitaigenerated/voice-deepfake-benchmark auf GitHub.
- Unser Testset: Commercial-Voices-2026-mini auf Hugging Face.
- Offenes Modell: tropa-voice-mini (Apache-2.0), kostenlos und CPU-tauglich. Details und Nutzung auf der Modellseite zu tropa-voice.
- Gehostetes Modell: die API zur KI-Stimmerkennung, oder laden Sie einen Clip im Deepfake-Detektor hoch.
- Hintergrund dazu, wie Voice Cloning funktioniert und wie Sie sich schützen: KI-Stimmenklone erkennen.
Sie entwickeln einen Detektor für KI-Stimmen? Lassen Sie ihn mit demselben Code laufen und schreiben Sie an patrick@wasitaigenerated.com. Wir nehmen eingereichte Ergebnisse auf dieser Seite auf – auch Ergebnisse, die besser sind als unsere.
Häufige Fragen
Welcher KI-Stimmen-Detektor ist 2026 am genauesten?
tropa-voice, das Modell hinter unserer gehosteten API, hat auf allen fünf öffentlichen Benchmarks jeden getesteten Open-Source-Detektor geschlagen. Die Fehlerrate (Equal Error Rate, EER) liegt bei 0,66 % auf In-the-Wild, 11,9 % auf Deepfake-Eval-2024, 0,23 % auf Commercial-Voices-2026-mini, 0,05 % auf SONAR und 0,34 % auf MLAAD-tiny. Auf In-the-Wild erkennt es 99,4 % der Deepfakes bei 1 % Fehlalarmrate.
Lassen sich ElevenLabs-Stimmen erkennen?
Ja. Auf Commercial-Voices-2026-mini erreichten tropa-voice und tropa-voice-mini bei ElevenLabs v3 und v4 jeweils eine Fehlerrate von 0,0 %. Das beste andere offene Modell kam auf 0,7 % und 2,5 %.
Wie gut funktioniert die Erkennung von Stimm-Deepfakes bei echten Social-Media-Clips?
Clips aus der Praxis sind für jeden Detektor die härteste Prüfung: Deepfake-Eval-2024 enthält Deepfakes, die 2024 online kursierten, mit Musik, Video-Tonspuren und in vielen Sprachen. tropa-voice erreichte dort eine Fehlerrate von 11,9 % – rund 30 % weniger Fehler als der beste Open-Source-Detektor (17,2 %). Nicht kommerzielle Forschungsmodelle lagen bei 25–28 %.
Was ist die Equal Error Rate (EER)?
Die Fehlerrate an dem Schwellenwert, bei dem genauso viele Fälschungen übersehen wie echte Aufnahmen fälschlich markiert werden. Niedriger ist besser, und der Wert hängt nicht davon ab, wo ein Anbieter seinen Schwellenwert setzt.
Kann ich diese Ergebnisse reproduzieren?
Ja. Der Evaluationscode liegt auf GitHub, Commercial-Voices-2026-mini auf Hugging Face, und die anderen vier Benchmarks sind öffentliche Datensätze. tropa-voice-mini steht kostenlos zum Download bereit; tropa-voice lässt sich über die API testen.
Prüfen Sie eine Sprachaufnahme selbst
Laden Sie einen Clip bei WasItAIGenerated hoch: Dort läuft tropa-voice, das Modell an der Spitze der Tabelle oben, mit einer Zeitleiste, die zeigt, wo im Clip die synthetische Stimme vorkommt.