Die beliebte Plattform Ollama zum lokalen Ausführen von KI-Modellen hat einen großen Schritt gemacht: Ab sofort können Nutzer auf dem Mac nicht nur mit KI-Modellen chatten, sondern sich die Antworten auch vorlesen lassen. Dies wird durch die Integration von Phonon ermöglicht, einer Familie kleiner, hochmoderner Text-to-Speech-Modelle des Anbieters Gradium. Damit wird die lokale KI-Erfahrung auf dem Mac um eine wichtige Dimension reicher - und das komplett offline und datenschutzfreundlich.
Was ist Phonon?
Phonon ist eine von Gradium entwickelte Modellfamilie zur Sprachsynthese, die speziell für den ressourcenschonenden Einsatz auf Endgeräten optimiert wurde. Das kleinste Modell, Phonon 31M, ist ein englischer Checkpoint mit einem Gewicht von nur rund 64 MB, der mit beeindruckenden technischen Werten überzeugt.
Es kann auf einer Laptop-CPU bereits nach wenigen Millisekunden mit der Sprachausgabe beginnen. Die Phonon-Familie umfasst verschiedene Varianten für unterschiedliche Sprachen sowie ein multilinguales Modell.
Nahtlose Integration in Ollama
Die Integration in Ollama ist denkbar einfach. Voraussetzung ist die Ollama-Version 0.40.11 oder höher auf einem Mac mit Apple Silicon. Anschließend genügt ein einziger Befehl, um das Standardmodell herunterzuladen.
shell
ollama pull phonon
Danach kann Phonon direkt über die Kommandozeile genutzt werden. Der Befehl ollama run phonon "Hallo von Ollama." liest den Text beispielsweise über die Lautsprecher des Macs vor. Noch spannender wird es, wenn die Textausgabe eines Chat-Modells direkt an Phonon weitergeleitet wird. So kann man sich die Antwort eines Modells wie Gemma vorlesen lassen, während sie noch generiert wird.
Echtzeit-Streaming und API
Ein besonderes Merkmal dieser Integration ist das Streaming in Echtzeit. Ollama beginnt bereits mit der Audiowiedergabe, sobald die ersten Teile der Sprachausgabe generiert wurden, anstatt abzuwarten, bis der gesamte Text in Audio umgewandelt wurde. Dies geschieht über einen Pipe-Mechanismus in der Kommandozeile.
Für Entwickler bietet Ollama zudem einen OpenAI-kompatiblen API-Endpunkt unter /v1/audio/speech. Das bedeutet, dass bestehender Code, der die OpenAI-SDKs für Sprachausgabe nutzt, lediglich die Basis-URL auf den lokalen Ollama-Server (standardmäßig http://localhost:11434/v1) ändern muss, um Phonon zu verwenden. Die API unterstützt ebenfalls das Streaming, sodass die Wiedergabe sofort starten kann. Standardmäßig wird Audio im WAV-Format mit 24 kHz und Mono ausgegeben. Alternativ kann auch rohes PCM angefordert werden.
Leistung dank Apple Silicon
Die Sprachmodelle laufen auf Apple-Silicon-Macs und werden durch das MLX-Framework von Apple beschleunigt, das die Unified-Memory-Architektur der Apple-Chips optimal nutzt. In internen Tests auf einem MacBook Pro mit M5 Max war Ollamas Phonon-Implementierung rund 35 Prozent schneller als die eigene Runtime von Gradio, wobei die Wortfehlerrate mit der Referenzimplementierung in Hugging Face Transformers übereinstimmte. Diese Leistung unterstreicht, wie effizient lokale KI auf moderner Apple-Hardware inzwischen sein kann.
Sprachen, Stimmen und Lizenzen
Phonon deckt fünf Sprachen ab: Englisch, Französisch, Deutsch, Spanisch und Portugiesisch. Für jede Sprache gibt es ein eigenes Modell. Zusätzlich steht ein multilinguales Modell zur Verfügung. Je nach Modell können Nutzer aus verschiedenen Stimmen mit unterschiedlichen Akzenten wählen, darunter amerikanisches und britisches Englisch. Das Standardmodell verwendet Gradiums englischen 31M-Checkpoint mit der integrierten Stimme „default”.
Bei den Lizenzen gibt es Unterschiede: Das kleinste 31M-Modell für Englisch steht unter der Apache-2.0-Lizenz und darf somit auch kommerziell genutzt werden. Die größeren 40M-Modelle für die anderen Sprachen sind dagegen unter CC BY-NC 4.0 lizenziert, was eine Nutzung zu nichtkommerziellen Zwecken beschränkt.
