Wer sich etwas häufiger mit künstlicher Intelligenz beschäftigt, stößt schnell auf Begriffe wie Token, Kontextfenster oder API.
Sie klingen technisch, sind aber eigentlich gar nicht so kompliziert. Und sie hängen stärker miteinander zusammen, als man zunächst vermuten könnte.
Was ist ein Token?
KI-Sprachmodelle verarbeiten Texte nicht einfach Wort für Wort.
Stattdessen werden Texte in kleinere Einheiten zerlegt – sogenannte Tokens. Ein Token kann einem ganzen Wort entsprechen, aber ebenso nur einem Wortteil, einem Satzzeichen oder einer anderen Zeichenfolge.
Darum gilt:
1 Wort ist nicht automatisch 1 Token.
Einfache und häufig vorkommende Wörter können teilweise mit einem einzigen Token dargestellt werden. Lange, seltene oder zusammengesetzte Wörter benötigen unter Umständen mehrere.
Für den Alltag reicht deshalb eine grobe Vorstellung: Ein kurzer Absatz besteht schnell aus einigen Dutzend oder einigen hundert Tokens, längere Dokumente entsprechend aus sehr viel mehr.
Warum ist das wichtig?
Weil viele KI-Systeme intern genau darüber messen, wie viel Text verarbeitet wird.
Dabei zählen nicht nur die Wörter, die wir selbst eingeben. Auch frühere Teile eines Gesprächs, hochgeladene Inhalte und die Antwort der KI können Tokens beanspruchen.
Tokens sind deshalb gewissermaßen eine Maßeinheit für den Textumfang, mit dem das Modell arbeitet.
Was ist ein Kontextfenster?
Das Kontextfenster beschreibt vereinfacht, wie viel Information ein Modell bei einer Anfrage gleichzeitig berücksichtigen kann.
Hier kommen die Tokens wieder ins Spiel.
Wenn bei einem Modell beispielsweise von einem Kontextfenster mit mehreren hunderttausend Tokens die Rede ist, bedeutet das nicht, dass sich die KI dauerhaft an genauso viel erinnern kann.
Es bedeutet vielmehr: Innerhalb eines einzelnen Verarbeitungsvorgangs kann sie ungefähr diese Menge an Text oder anderen unterstützten Informationen berücksichtigen.
Dazu können gehören:
- die aktuelle Frage,
- vorherige Gesprächsteile,
- eingefügte Texte,
- Dokumente,
- Systemanweisungen,
- und teilweise auch bereits erzeugte Antworten.
Je größer das Kontextfenster, desto umfangreichere Gespräche, Dokumente oder Aufgaben kann ein Modell grundsätzlich gleichzeitig überblicken.
Allerdings gilt auch hier: Mehr Kontext bedeutet nicht automatisch bessere Antworten.
Unwichtige oder widersprüchliche Informationen können das Ergebnis sogar erschweren. Entscheidend ist also nicht nur, wie groß das Fenster ist, sondern auch, was darin liegt.
Und was ist eine API?
API steht für Application Programming Interface, auf Deutsch meist Programmierschnittstelle.
Der Begriff ist keineswegs KI-spezifisch. APIs gibt es schon lange überall dort, wo verschiedene Programme, Dienste oder Systeme miteinander kommunizieren und Daten oder Funktionen austauschen.
Bei KI bedeutet das beispielsweise:
Statt eine Frage über eine Chatoberfläche einzugeben, kann eine andere Software den Auftrag direkt an ein KI-Modell schicken und die Antwort automatisch weiterverarbeiten.
So können etwa:
- Webseiten Texte zusammenfassen lassen,
- Programme Dokumente analysieren,
- Automatisierungen E-Mails vorbereiten,
- Anwendungen Bilder oder Sprache erzeugen,
- oder KI-Agenten mehrere Arbeitsschritte nacheinander ausführen.
Für den Nutzer muss dabei gar keine klassische Chatoberfläche sichtbar sein.
Die API ist gewissermaßen der technische Zugang zum Modell.
Und hier treffen unsere drei Begriffe wieder zusammen:
Ein Programm sendet über die API eine Anfrage.
Diese Anfrage wird in Tokens verarbeitet.
Und wie viel Information das Modell dabei gleichzeitig berücksichtigen kann, hängt unter anderem vom Kontextfenster ab.
Warum spielen diese Begriffe auch bei den Kosten eine Rolle?
Bei normalen Chat-Abos bekommt man meist bestimmte Nutzungsgrenzen innerhalb eines monatlichen Tarifs.
Bei APIs oder umfangreichen automatisierten Anwendungen wird dagegen häufig nach tatsächlicher Nutzung abgerechnet – und dabei spielen die verarbeiteten Tokens eine wichtige Rolle.
Eine kurze Frage kostet deshalb in der Regel weniger Rechenleistung als die Analyse eines langen Dokuments.
Und ein KI-Agent, der für eine Aufgabe mehrfach recherchiert, Texte verarbeitet und Zwischenergebnisse überprüft, kann im Hintergrund deutlich mehr Nutzung erzeugen, als der kurze Auftrag des Nutzers vermuten lässt.
Genau darum geht es im nächsten KI-Praxis-Beitrag:
Kostenlos, Abo, Credits oder API – was braucht man eigentlich für welche Nutzung?