Direkte Antwort — Whisper oder Gemma 4: Was ist besser für lokales Sprachdiktat? Sie sind für unterschiedliche Aufgaben gebaut. Whisper ist ein dediziertes Spracherkennungsmodell, dessen einzige Ausgabe ein Transkript ist. Gemma 4 ist ein multimodales Sprachmodell, das unter anderem Audio als Eingabe akzeptiert und darüber Schlussfolgerungen ziehen kann. Kein öffentlicher Benchmark bewertet beide auf demselben Sprach-Testset, sodass jeder, der eine direkte Genauigkeitszahl zitiert, unterschiedliche Messungen vergleicht. Für Diktat bleibt das dedizierte Modell die sicherere technische Wahl.
Seit Google Gemma 4 veröffentlicht hat, kehrt bei Entwicklern und technischen Nutzern immer wieder dieselbe Frage zurück: Wenn ein allgemeines multimodales Modell jetzt Audio auf einem Laptop transkribieren kann, ist ein dediziertes Spracherkennungsmodell wie Whisper dann noch die richtige Engine für die Genauigkeit lokalen Sprachdiktats?
Es ist eine gute Frage, und die meisten kursierenden Antworten stützen sich auf Zahlen, die einen Blick in die Primärquellen nicht überstehen. Dieser Artikel vergleicht die beiden lokalen Spracherkennungsmodelle anhand dessen, was tatsächlich dokumentiert ist — Architektur, veröffentlichte Evaluationen, Beschränkungen — und ist ehrlich darüber, wo die Aktenlage endet.
Was sind Whisper und Gemma 4?
Sie gehören zu zwei verschiedenen Modellfamilien mit unterschiedlichen Designzielen.
Whisper ist ein automatisches Spracherkennungsmodell, das von OpenAI veröffentlicht wurde. Das Paper dazu, Robust Speech Recognition via Large-Scale Weak Supervision, wurde im Dezember 2022 eingereicht und berichtet von einem Training auf 680.000 Stunden mehrsprachiger und multitask-orientierter Supervision, wobei die Modelle in einem Zero-Shot-Transfer-Setting konkurrenzfähige Benchmark-Leistungen erreichen. Der aktuelle Flaggschiff-Checkpoint, large-v3, ist auf seiner Model Card als ein Transformer-Encoder-Decoder mit 1.550 Mio. Parametern dokumentiert, trainiert auf 1 Million Stunden schwach gelabelter und 4 Millionen Stunden pseudo-gelabelter Audiodaten, und OpenAI berichtet von einer „Fehlerreduktion von 10 % bis 20 % gegenüber Whisper large-v2”. Seine Ausgabe ist ein Transkript. Das ist die gesamte Funktionsfläche.
Gemma 4 ist Googles Modellfamilie mit offenen Gewichten (Open Weights). Google kündigte Gemma 4 12B am 3. Juni 2026 an — in eigenen Worten „unser erstes mittelgroßes Modell mit nativen Audio-Eingaben”. Die Gemma 4 Model Card listet fünf Größen — E2B, E4B, 12B Unified, 26B A4B (Mixture-of-Experts) und 31B Dense —, von denen nur E2B, E4B und 12B überhaupt Audio akzeptieren. Seine Ausgabe ist Text der jeweils gewünschten Art: ein Transkript, eine Übersetzung, eine Zusammenfassung, eine Antwort.
Gemma 4s Audiopfad ist kein einheitliches Design
Der Gemma 4 Technical Report beschreibt „verbesserte Vision- und Audio-Encoder für alle Modellgrößen” neben „einer einheitlichen, encoderfreien Architektur für unser 12B-Modell, die Rohaudio und Bild-Patches verarbeitet”. Googles Ankündigungsbeitrag formuliert die zweite Hälfte deutlicher: Für das 12B-Modell habe man „den Audio-Encoder vollständig entfernt und das rohe Audiosignal in denselben dimensionalen Raum wie Text-Tokens projiziert”.
„Gemma 4 Audio” bedeutet also je nach Größe zwei verschiedene Dinge. Die Varianten E2B und E4B verfügen über einen dedizierten Audio-Encoder — die Hugging-Face-Karte für gemma-4-E4B-it gibt ihn mit etwa 300 Mio. Parametern an. Das 12B-Modell hat keinen.
Wie unterscheiden sich die beiden Architekturen beim Diktieren?
Der Unterschied, der für Diktat zählt, ist das, was zwischen dem Mikrofon und dem Textfeld liegt.
Whispers Decoder existiert, um ein Transkript auszugeben — und sonst nichts. Gemma 4s Decoder ist ein Sprachmodell, das allgemeine Generierung betreibt, und Transkription ist eine Anweisung unter vielen. Das ist ein echter Fähigkeitsvorteil, wenn Sie das Audio verstanden haben wollen, und ein unnötiger Umweg, wenn Sie es nur niedergeschrieben wollen.
| Whisper large-v3 | Gemma 4 E2B / E4B | Gemma 4 12B | |
|---|---|---|---|
| Modelltyp | Dediziertes ASR | Multimodales LLM | Multimodales LLM |
| Parameter | 1.550M | 2,3B / 4,5B effektiv (5,1B / 8B mit Embeddings) | 11,95B |
| Audiopfad | Encoder-Decoder, Audio ein, Text aus | Dedizierter Audio-Encoder (~300M bei E4B) | Encoderfrei: Rohaudio in den Text-Embedding-Raum projiziert |
| Ausgabe | Nur Transkript | Transkript, Übersetzung, Zusammenfassung, Antworten | Transkript, Übersetzung, Zusammenfassung, Antworten |
| Dokumentiertes Audiofenster | 30-Sekunden-Rezeptionsfeld; lange Dateien über gleitendes 30-Sekunden-Fenster | 30 Sekunden | 30 Sekunden |
| Dokumentierte Sprachen | 99 | 12 in der veröffentlichten FLEURS-Evaluation | 12 in der veröffentlichten FLEURS-Evaluation |
| Lizenz | MIT-Lizenz für Code und Modellgewichte | Open Weights, „verantwortungsvolle kommerzielle Nutzung” gemäß Gemmas Bedingungen | Dasselbe |
Quellen für jede Zelle: das openai/whisper-Repository und dessen Model Card; Googles Gemma 4 Model Card, Audio-Dokumentation und Technical Report.
Zwei Zeilen verdienen einen zweiten Blick.
Das 30-Sekunden-Fenster ist eine gemeinsame Beschränkung, aus entgegengesetzten Richtungen erreicht. OpenAIs Dokumentation beschreibt ein 30-Sekunden-Rezeptionsfeld und erklärt, dass die transcribe()-Methode „das Audio mit einem gleitenden 30-Sekunden-Fenster verarbeitet”. Googles Audio-Dokumentation stellt schlicht fest, dass „Audio eine maximale Länge von 30 Sekunden unterstützt”. Keines der beiden Modelle verarbeitet eine einstündige Aufnahme in einem einzigen Durchgang; beide benötigen eine um das Modell gelegte Chunking-Logik.
Die Sprachzeile ist kein Vergleich auf Augenhöhe. Whispers 99 Sprachen sind eine dokumentierte Abdeckungsangabe. Gemma 4s 12 ist die Größe des von Google veröffentlichten Evaluationssets, keine Obergrenze dessen, was das Modell versuchen wird — aber außerhalb dieser 12 Sprachen gibt es keine veröffentlichte Messung, auf die man sich stützen könnte.
Gibt es einen veröffentlichten Benchmark, der beide direkt vergleicht?
Nein — und das ist der wichtigste Punkt, den man wissen muss, bevor man irgendeinem gelesenen Vergleich vertraut.
Googles Gemma 4 Technical Report enthält eine Sprachevaluationstabelle, „FLEURS ASR (WER, niedriger ist besser)”, die 12 Sprachen abdeckt. Jedes Modell in dieser Tabelle ist ein Gemma-Modell: Gemma 4 E2B und E4B gemessen gegen ihre Gemma-3n-Vorgänger. Whisper taucht in der Audio-Evaluation nirgends als Baseline auf. OpenAI wiederum veröffentlicht Whispers Sprachaufschlüsselung auf Common Voice und FLEURS, evaluiert nach eigenen Maßstäben und eigener Sprachliste.
Die Konsequenz ist unausweichlich. Um einen Satz der Form „Whisper erreicht X %, Gemma erreicht Y %” zu bilden, muss man eine Zahl aus einer Evaluation neben eine Zahl aus einer anderen stellen — unterschiedliche Sprach-Teilmengen, unterschiedliche Textnormalisierung, unterschiedliche Referenztranskripte, unterschiedliche Jahre. Die Arithmetik funktioniert. Der Vergleich nicht.
Das ist kein Gemma-spezifisches Problem. Es ist der Normalzustand des ASR-Benchmarking, und deshalb widmet unser Leitfaden zur Genauigkeit der Spracherkennung mehr Zeit der Frage, wie ein Wert entstanden ist, als dem Wert selbst. Die Wortfehlerrate (WER) ist der Anteil der Wörter, die ein System falsch erkennt — Ersetzungen, Auslassungen und Einfügungen geteilt durch die Anzahl der Wörter im Referenztranskript. Sie beschreibt einen Durchlauf, kein Modell.
Ändert man eines der folgenden Elemente, liefern dieselben Gewichte eine andere WER:
- Der Datensatz. FLEURS ist gelesene Sprache: vorbereitete Sätze, sauber aufgenommen. Diktat ist spontan, mit Fehlstarts, Produktnamen und einem Laptop-Mikrofon.
- Die Sprache. Googles eigene Werte variieren um mehr als das Vierfache über die 12 gemessenen Sprachen.
- Die Bewertungskonvention. Google kennzeichnet manche Sprachen in seiner Tabelle mit der Zeichenfehlerrate statt der Wortfehlerrate, weil Wortgrenzen dort nicht in derselben Weise existieren.
- Die Audiobedingungen. Hintergrundgeräusche, Akzent und überlappende Sprecher verschieben die Zahl weit stärker als die Wahl zwischen zwei starken Modellen.
Was zeigen Googles veröffentlichte Gemma-4-Sprachwerte tatsächlich?
Sie zeigen eine klare generationelle Verbesserung gegenüber Gemma 3n, und sie zeigen, warum ein Durchschnitt eine schwache Zusammenfassung ist.
Das sind die Werte aus Tabelle 7 des Gemma 4 Technical Reports — FLEURS, gelesene Sprache, WER, niedriger ist besser, gemittelt über die 12 von Google evaluierten Sprachen, hier aus den Dezimalbrüchen des Reports in Prozent umgerechnet:
| Modell | Durchschnitt, 12 Sprachen | Englisch | Deutsch | Französisch | Spanisch |
|---|---|---|---|---|---|
| Gemma 3n E2B | 10,8 % | 7,6 % | 7,9 % | 13,0 % | 5,1 % |
| Gemma 3n E4B | 8,5 % | 6,6 % | 6,5 % | 9,8 % | 4,1 % |
| Gemma 4 E2B | 9,0 % | 8,0 % | 7,6 % | 10,1 % | 4,2 % |
| Gemma 4 E4B | 7,5 % | 6,5 % | 6,1 % | 8,0 % | 3,5 % |
Zwei Vorbehalte gehören zu dieser Tabelle und sollten nicht wegfallen. Erstens vermischt der 12-Sprachen-Durchschnitt Bewertungskonventionen, weil Google für manche Sprachen im Set die Zeichenfehlerrate statt der Wortfehlerrate berichtet. Zweitens listet Googles Model Card das 12B-Modell separat mit 0,069 auf FLEURS, markiert es dabei aber als „ohne Chinesisch” — ein anderes Sprachset, das also nicht in derselben Zeile wie die anderen steht.
Jetzt der interessante Teil. Gemma 4 E2B verbessert den 12-Sprachen-Durchschnitt gegenüber Gemma 3n E2B von 10,8 % auf 9,0 % — aber die englische WER geht in die andere Richtung, von 7,6 % auf 8,0 %. Ein Modell kann im Durchschnitt besser und in der Sprache, in der Sie tatsächlich diktieren, schlechter werden. Wenn Ihre Arbeit englisches Diktat ist, war der Durchschnitt nie die Zahl, die Sie brauchten.
Das ist das Argument dafür, mit eigenem Audio in der eigenen Sprache zu benchmarken, statt ein Modell anhand einer Leaderboard-Zeile auszuwählen.
Welches Modell sollten Sie für lokales Sprachdiktat wählen?
Wählen Sie nach der benötigten Ausgabe, nicht nach der Schlagzeile, die Sie beeindruckt hat.
Wählen Sie ein dediziertes ASR-Modell wie Whisper, wenn:
- Das Ergebnis ein Transkript ist, das in einem Textfeld, einem Editor oder einer Untertiteldatei landet
- Sie breite Sprachabdeckung benötigen — 99 dokumentierte Sprachen sind ein weites Netz
- Sie eine ausgereifte lokale Laufzeitumgebung wollen; whisper.cpp hat jahrelange plattformspezifische Optimierung hinter sich, und unser whisper.cpp-Einrichtungsleitfaden führt Sie durch die eigenständige Einrichtung
- Latenz pro Äußerung wichtiger ist als Vielseitigkeit, weil Diktat eine Schleife ist, die Sie Hunderte Mal am Tag durchlaufen
Wählen Sie ein multimodales Modell wie Gemma 4, wenn:
- Sie die Aufnahme verstanden haben wollen, nicht nur niedergeschrieben — zusammengefasst, abgefragt, klassifiziert
- Sie bereits ein Sprachmodell auf dem Gerät betreiben und kein zweites ausliefern möchten
- Sprachübersetzung Teil des Produkts ist, was Google separat auf CoVoST misst
- Der zusätzliche Speicherbedarf akzeptabel ist; Google positioniert das 12B-Modell als lokal lauffähig „mit nur 16 GB VRAM”
Es gibt eine dritte Antwort, die oft richtig ist: beides, an unterschiedlichen Stellen. Transkribieren Sie mit dem dedizierten Modell, und geben Sie den Text dann an ein Sprachmodell weiter, falls er weiterverarbeitet werden muss. Das ist eine schlichtere Pipeline, als von einem Modell zu verlangen, in zwei Aufgaben zu glänzen, und jede Stufe bleibt unabhängig testbar.
Wo Weesper Neon Flow steht
Weesper Neon Flow führt Whisper lokal über whisper.cpp auf macOS und Windows aus, mit über 50 Sprachen, ohne Netzwerkaufrufe und mit einer 15-tägigen kostenlosen Testversion. Diese Wahl ist keine Behauptung, dass Whisper das beste existierende Sprachmodell sei — es ist eine Aussage über Passung.
Diktat ist eine latenzsensible Schleife, die innerhalb der Anwendung passiert, die Sie ohnehin gerade nutzen: eine E-Mail, ein Code-Editor, eine klinische Notiz. Was es braucht, ist ein Transkript, schnell, immer wieder, ohne dass etwas den Rechner verlässt. Ein dediziertes ASR-Modell liefert exakt diese Ausgabe, sodass das Entwicklungsbudget in das Diktier-Erlebnis fließt — Hotkeys, Texteinfügung, benutzerdefiniertes Vokabular. Die Hilfe-Dokumentation behandelt Modelle, Sprachen und Berechtigungen.
Wir verfolgen den alternativen Ansatz aufmerksam. Unser Test von Googles Eloquent-Diktier-App betrachtet Gemma-basiertes lokales Diktat in einem ausgelieferten Verbraucherprodukt, und unser Vergleich von Voxtral und Whisper deckt die dedizierte-ASR-Seite desselben Marktes ab. Wo Inferenz überhaupt stattfinden sollte, behandelt unser Vergleich von lokaler und Cloud-Transkription.
Häufig gestellte Fragen
Ist Gemma 4 genauer als Whisper beim Diktieren?
Dazu gibt es keine veröffentlichte direkte Antwort. Googles Gemma 4 Technical Report bewertet Gemma 4s Spracherkennung auf FLEURS gegen den eigenen Vorgänger, Gemma 3n, und führt Whisper nicht als Baseline. OpenAIs Whisper-Evaluationen verwenden andere Testsets und eine andere Sprachliste. Jede einzelne Zahl, die behauptet, das eine schlage das andere um einen bestimmten Abstand, verknüpft zwei Messungen, die nie unter denselben Bedingungen durchgeführt wurden.
Hat Gemma 4 einen Audio-Encoder?
Das hängt von der Modellgröße ab. Der Technical Report beschreibt verbesserte Audio-Encoder für die Modellgrößen im Allgemeinen und eine separate, einheitliche, encoderfreie Architektur für das 12B-Modell, die Rohaudio und Bild-Patches direkt verarbeitet. Die Hugging-Face-Karte für gemma-4-E4B-it gibt einen Audio-Encoder mit etwa 300 Mio. Parametern an. E2B und E4B verwenden also einen dedizierten Audio-Encoder; das 12B-Modell projiziert das Rohsignal in denselben Raum wie Text-Tokens.
Was ist die Wortfehlerrate, und warum weichen veröffentlichte WER-Werte voneinander ab?
Die Wortfehlerrate ist der Anteil der Wörter, die ein System falsch erkennt, gezählt als Ersetzungen, Auslassungen und Einfügungen gegenüber einem Referenztranskript. Sie ist ein Verhältniswert, keine Eigenschaft eines Modells. Ändert man den Datensatz, die Sprache, die Aufnahmebedingungen, die Normalisierungsregeln oder das Referenztranskript, liefern dieselben Gewichte eine andere WER. Ein Wert ist nur mit seinem Geltungsbereich aussagekräftig.
Kann Gemma 4 Audio transkribieren, das länger als 30 Sekunden ist?
Googles Audio-Dokumentation gibt an, dass Audio eine maximale Länge von 30 Sekunden unterstützt. Whisper hat aus einer anderen Richtung dieselbe Art von Einschränkung: OpenAIs Dokumentation beschreibt ein 30-Sekunden-Rezeptionsfeld, und dessen transcribe-Methode verarbeitet lange Dateien über ein gleitendes 30-Sekunden-Fenster. In beiden Fällen benötigen längere Aufnahmen eine Chunking-Logik um das Modell herum statt eines einzelnen Durchlaufs.
Welches Modell verwendet Weesper Neon Flow, und warum?
Weesper Neon Flow führt Whisper lokal über whisper.cpp auf macOS und Windows aus. Der Grund liegt im Aufgabenzuschnitt: Diktat braucht eine Sache, die zuverlässig und wiederholt gut funktioniert — Sprache in Text umwandeln, mit niedriger Latenz, innerhalb welcher Anwendung Sie auch gerade nutzen. Ein dediziertes Spracherkennungsmodell liefert exakt diese Ausgabe und eine ausgereifte lokale Laufzeitumgebung, sodass der Entwicklungsaufwand in das Diktier-Erlebnis fließt statt darin, ein allgemeines Modell auf eine einzelne Aufgabe zu beschränken.
Sollten Entwickler, die eine Diktierfunktion bauen, ein ASR-Modell oder ein multimodales LLM wählen?
Wählen Sie nach der Ausgabe, nicht nach der Schlagzeile. Wenn Sie ein Transkript brauchen, das in einem Textfeld landet, ist ein dediziertes ASR-Modell der kürzere Weg. Wenn Sie das Audio verstanden statt nur niedergeschrieben brauchen — zusammengefasst, abgefragt, klassifiziert — erledigt ein multimodales Modell in einem Schritt, wofür sonst Transkription plus ein zweites Modell nötig wären. Viele Produkte wollen beides, an unterschiedlichen Stellen im Workflow.
Die praktische Schlussfolgerung
Gemma 4 ist ein bedeutendes Stück Arbeit: eine Familie mit offenen Gewichten, in der drei von fünf Größen Audio nativ verarbeiten und in der das 12B-Modell den Audio-Encoder vollständig fallen lässt. Es ist, nach aktuellem Veröffentlichungsstand, kein gemessener Ersatz für ein dediziertes ASR-Modell in einem Diktier-Produkt — weil niemand diese Messung veröffentlicht hat.
Bis jemand beide auf demselben Testset mit derselben Normalisierung laufen lässt, ist der ehrliche Vergleich architektonisch statt numerisch. Eine Diktier-App braucht ein Transkript, schnell, im Kontext, ohne dass etwas das Gerät verlässt. Ein multimodales Modell muss das Audio verstehen. Unterschiedliche Aufgaben — und die zweite ersetzt nicht automatisch die erste.
Möchten Sie den dedizierten-ASR-Ansatz mit Ihrer eigenen Stimme testen? Testen Sie Weesper Neon Flow 15 Tage kostenlos auf macOS oder Windows — Whisper läuft lokal, ohne Konto, ohne Upload, ohne Abrechnung pro Minute.