Bei lokalen Sprachmodellen begegnen Ihnen Namen wie „Llama 3.1 8B“ oder „Gemma 3 12B“. Die Zahl nennt die Größe des Modells.

Was „8B“ heißt

B steht für Milliarden. Ein 8B-Modell hat acht Milliarden Parameter, also einstellbare Zahlenwerte, in denen das Gelernte steckt. Man kann es sich wie die Motorgröße vorstellen: Mehr PS bringen mehr Leistung, brauchen aber auch mehr Sprit.

Eine grobe Faustregel

Modelle mit etwa 7 bis 8 Milliarden Parametern laufen ab ungefähr 16 Gigabyte Arbeitsspeicher. Größere Modelle brauchen entsprechend mehr. Für schwache Laptops gibt es kleinere Modelle mit etwa 3 Milliarden Parametern.

Größe, Deutsch und Tempo

Größere Modelle formulieren meist besser, auch auf Deutsch, antworten aber langsamer. In einem Test auf einem Rechner mit 64 Gigabyte RAM und ohne Grafikkarte lagen aktuelle Modelle der 7- bis 8-Milliarden-Klasse bei grob 13 bis 16 Token pro Sekunde, ein 12B-Modell bei etwa 8. Das sind Orientierungswerte, die stark von Ihrer Hardware abhängen.

Selbst ausprobieren

Die beste Auskunft gibt ein kurzer Test mit Ihren eigenen Aufgaben. Programme wie Ollama oder LM Studio laden Modelle herunter und starten sie auf Ihrem Rechner. So sehen Sie schnell, ob Qualität und Tempo für Ihren Alltag reichen.