Wie gut bewerten Aussprache-APIs Lernende wirklich?

Warum wir das gemacht haben

Stellen Sie sich vor, Sie lernen Japanisch und lesen einen Satz vor. Die App unterstreicht ein Wort rot. Sie üben dieses Wort und verlassen sich darauf, dass der Rest stimmt.

Das funktioniert nur, wenn die App richtig liegt. Übersieht sie einen echten Fehler, schleift er sich ein. Markiert sie ein Wort, das Sie richtig ausgesprochen haben, zweifeln Sie am Feedback, und nach ein paar solchen Momenten hören viele Lernende auf zu üben.

Wie zuverlässig sind Aussprache-APIs also? Anbieter machen Versprechen, veröffentlichen aber selten vergleichbare Zahlen, und außerhalb des Englischen so gut wie nie. Deshalb haben wir einen offenen Benchmark gebaut, der sich gegen mehrere APIs ausführen lässt, und veröffentlichen die Ergebnisse hier.

Der Aufbau

Wir haben Lingolix, die Aussprachebewertung von Microsoft Azure und TonePerfect im Oktober 2026 verglichen, jeweils in der dokumentierten besten Konfiguration. Diese beiden komplementären Tests haben wir implementiert:

Ein Wort zur Fairness: Keine der Testaufnahmen wurde zum Training unseres Modells verwendet, und Testdaten und Skripte sind öffentlich, sodass Sie die Ergebnisse selbst nachrechnen können.

Ergebnisse

Die erste Grafik zeigt, wie sauber jedes System die eingebauten Fehler von richtig gesprochenen Wörtern trennt. 1,0 ist perfekt, 0,5 ist Münzwurf.

Lingolix liegt in allen sechs Sprachen vorn. Am größten ist der Abstand in Deutsch, Französisch und Spanisch; im Japanischen und Koreanischen folgt Azure knapp dahinter.

Die Zahl, die Lernende tatsächlich spüren, ist die Fehlalarmquote: Wenn ein System so eingestellt ist, dass es 80 % der echten Fehler findet, wie viele richtig gesprochene Wörter markiert es dabei?

In fünf Sprachen hält Lingolix das bei 1 bis 3 % der richtigen Wörter. Japanisch ist die Ausnahme: Dort liegt Azure vorn, mit 3 % gegenüber unseren 5 %.

Echte Lernende: ein knappes Rennen, und Azure liegt hier vorn

Bei ganzen Sätzen liegt Lingolix knapp hinter Azure; unsere Satzbewertung ist außerdem darauf ausgelegt, Kauderwelsch mit 0 zu bewerten, was hier etwas Übereinstimmung kostet. Bei einzelnen Wörtern ist Azure klar vorn: Die Wortbewertungen erfassen besser, was „fast richtig“ ist, und was menschliche Prüfer hören. Genau daran arbeiten wir als Nächstes.

Geschwindigkeit, gemessen aus Berlin: Lingolix antwortet in etwa 0,8 Sekunden, Azure in etwa 1 Sekunde und TonePerfect in etwa 2,5 Sekunden pro Satz.

Drei Dinge, die uns überrascht haben

1. 1. Im Japanischen entscheidet die Länge

   おばさん (Tante) und おばあさん (Großmutter) unterscheiden sich nur darin, wie lange ein Vokal dauert. Das ist einer der häufigsten Fehler von Lernenden. Von 40 eingebauten Längenfehlern erkannte Lingolix 37, Azure 36 und TonePerfect keinen. Ein System kann Laute gut bewerten und trotzdem den Fehler übersehen, den Lernende am häufigsten machen.

2. 2. Muttersprachler allein reichen nicht

   TonePerfect bezeichnet seine Modelle für diese Sprachen als experimentell und vergleicht mit muttersprachlichen Referenzaufnahmen; die japanischen und koreanischen Modelle sind laut eigener Angabe „not yet calibrated on graded learner recordings“, also noch nicht an bewerteten Aufnahmen von Lernenden kalibriert. Die Ergebnisse zeigen das: Die Fehler von Lernenden sind leicht anders als die Variation von Muttersprachlern. Fairerweise soll gesagt sein: TonePerfect ist primär auf Mandarin ausgerichtet, was dieser Benchmark nicht testet und Lingolix aktuell nicht unterstützt.

3. 3. Sätze sind leichter zu bewerten als Wörter

   Die getesteten Systeme stimmen bei ganzen Sätzen deutlich besser mit menschlichen Prüfern überein als bei einzelnen Wörtern. Gut zu wissen, bevor man Lernenden für jedes Wort eine Note zeigt: Die Satzbewertung ist die verlässlichere Zahl, und die Wortmarkierungen zeigen am besten, wo man genauer hinhören sollte.

Einschränkungen

• Die Fehler in Test 1 sind künstlich eingebaut, nicht von echten Lernenden gemacht.
• Test 2 umfasst nur eine Sprache und eine Gruppe von Lernenden (Englischlernende mit Mandarin als Muttersprache).
• Für Deutsch, Japanisch und Koreanisch gibt es keine öffentlichen, von Menschen bewerteten Daten von Lernenden. Wenn Sie welche haben, nehmen wir sie gern in den Benchmark auf.

Häufige Fragen

Die Daten

Der Benchmark ist öffentlich und steht für eigene Vergleiche zur Verfügung. Er enthält die Testlisten und Labels, die Audiodateien (oder ein Skript, das sie lädt, wo die Lizenz es verlangt), das Programm, das jede API aufruft und die Ergebnisse in diesem Beitrag berechnet, und eine kurze Anleitung mit den Befehlen, den Kosten eines vollständigen Laufs und den Stolperfallen jeder API. Die benötigten API-Schlüssel müssen Sie selbst mitbringen.