Lokaler Token-Zähler

Wenn Sie jemals das Gefühl hatten, dass Künstliche Intelligenz wie Magie funktioniert, kann ein Blick unter die Haube hilfreich sein. In der Welt der Large Language Models (LLMs) existieren Wörter, wie wir sie kennen, nicht wirklich. Stattdessen verwenden sie Token.

Das Verständnis von Token ist nicht nur eine technische Kuriosität; es kann den Unterschied ausmachen zwischen einer KI, die halluziniert, und einer, die gute Leistungen erbringt, oder zwischen einer angemessenen API-Rechnung und einer unerwarteten Ausgabe.

Was ist ein Token und warum sollte es Sie interessieren?

Stellen Sie sich vor, Sie bitten ein System, eine ganze Bibliothek in Sekundenschnelle zu verarbeiten. Wenn es Buchstabe für Buchstabe lesen würde, würde es sehr lange dauern. Deshalb verwenden Modelle wie GPT-4 oder Claude 'Lego-Steine', die Token genannt werden.

Ein Token ist die Basiseinheit der Verarbeitung. Es ist ein Textfragment, das die KI verwendet, um Informationen zu analysieren. Es ist nicht immer ein ganzes Wort: es kann eine Silbe, ein Satzzeichen oder sogar ein scheinbar unbedeutendes Leerzeichen sein, das dem Algorithmus tatsächlich wertvollen Kontext liefert.

Dieser Ansatz hilft ihnen, Text schnell zu verarbeiten. Durch die Zerlegung der Sprache in algorithmische Untereinheiten kann die KI Bedeutungen effizient gruppieren. Es ist jedoch wichtig zu bedenken, dass Ihr Budget oft davon abhängt. Speichergrenzen und API-Kosten werden in der Regel direkt auf Basis der Gesamtzahl der von Ihnen verbrauchten Token berechnet.

Wie entscheidet die KI, was ein Token ist? Sie stützt sich auf spezialisierte Kompressionsalgorithmen wie Byte Pair Encoding (BPE) oder WordPiece.

Anstatt 'Tokenisierung' als ein Wort mit 12 Buchstaben zu sehen, sucht das Modell nach statistischen Mustern. Es wird es wahrscheinlich in zwei Teile zerlegen: 'Token' und 'isierung'.

Häufige Wörter: Diese werden meist als einzelnes Token beibehalten. Komplexe oder erfundene Begriffe: Die KI zerlegt sie in kleinere Teile, bei Bedarf sogar bis auf einzelne Buchstaben.

Diese mathematische Strategie hilft dem System, riesige Textmengen schnell zu verarbeiten, indem sie gängige Konzepte in wenigen Token zusammenfasst und gleichzeitig die Fähigkeit behält, jedes neue Wort, das Sie erfinden könnten, Buchstabe für Buchstabe zu lesen.

Wir zählen Token zu 100% lokal in Ihrem Browser mit einem dedizierten Web Worker. Deshalb bleibt die Benutzeroberfläche unglaublich schnell und friert nie ein, selbst wenn Sie ein ganzes Buch einfügen.

Das System erreicht eine zuverlässige Genauigkeitsrate von 97% und bietet eine sehr nahe Annäherung an die tatsächlichen Token-Zahlen, die von KI-Anbietern berechnet werden. Für die Familia GPT verwenden wir die Bibliothek `js-tiktoken` mit der `o200k_base`-Kodierung, und wir verlassen uns auf `cl100k_base` für präzise Schätzungen der Familia Claude.

Für die Familia Llama und Familia Gemini haben wir Hugging Face's `Transformers.js` direkt integriert. Durch das Herunterladen der offiziellen Tokenizer über WebAssembly (WASM) können wir die exakte Präzision eines Python-Servers replizieren, aber vollständig offline und sofort.

Im LLM-Ökosystem bedeutet Platz Kosten und Struktur hilft bei der Klarheit. Es ist aus drei Hauptgründen hilfreich, die Token-Anzahl im Auge zu behalten, bevor man einen Prompt sendet:

Kosteneffizienz: Ihnen wird im Allgemeinen sowohl das berechnet, was Sie senden, als auch das, was Sie empfangen. Ein schlecht optimierter Prompt kann zu unnötigen Ausgaben führen.

Sicherheitslimits: Wenn Sie das Kontextlimit überschreiten (wie das 200k-Limit bei mehreren Modellen), könnte die KI die Anfrage einfach ablehnen und einen Fehler zurückgeben.

Reduzierung von Halluzinationen: Je klarer und prägnanter Ihr Prompt ist, desto besser kann der Attention Mechanism funktionieren. Eine KI, die auf weniger Token fokussiert ist, neigt dazu, genauer zu sein und weniger wahrscheinlich fehlerhafte Informationen zu generieren.

OpenAI ist kürzlich auf den o200k_base Tokenizer umgestiegen (verwendet in GPT-4o) und hat den älteren cl100k_base hinter sich gelassen.

Was bedeutet das für Sie? Höhere Dichte: Der Wortschatz wurde von 100.000 auf 201.088 eindeutige Permutationen erweitert. Multilinguale Effizienz: Lange Wörter werden nicht mehr so oft fragmentiert. Dies kann die Kosten für nicht-lateinische Sprachen und Programmcode spürbar senken. Harmonie: Diese neueren Versionen unterstützen mehrstufige Gesprächsabläufe und helfen dem System, etwas reibungsloser und wirtschaftlicher zu laufen.

Tokenizer | Hauptmodell | Kapazität | Fokus cl100k_base | GPT-4 / 3.5 | 100.000 | Standard o200k_base | GPT-4o | 201,088 | Effizienz, Code, Multilingual

Anthropic geht einen anderen Weg. Die Claude-Familie verzichtet auf das Tiktoken-System von OpenAI zugunsten eines proprietären Tokenizers, der für das Lesen langer Dokumente und erweitertes Denken optimiert ist.

Ein bemerkenswertes Merkmal von Claude ist sein Kontextfenster von 200.000 Token. Um das ins Verhältnis zu setzen: Sie können das Äquivalent von etwa 5 aufeinanderfolgenden Büchern eingeben, und das Modell kann es verarbeiten. Es gibt sogar Beta-Versionen, die bis zu einer Million Token erreichen. Um diese Zählung genau zu emulieren, verwenden wir hochpräzise statistische BPE-Äquivalente.

Traditionell erfordert die genaue Token-Berechnung für Modelle wie Llama oder Gemma das Ausführen von Python auf teuren Backend-Servern.

Wir haben einen anderen Ansatz gewählt. Dank Transformers.js bringen wir die Funktionen von Hugging Face direkt in Ihren Browser. Wir verwenden WebAssembly (WASM), um eine dedizierte Umgebung zu emulieren, die die offiziellen Wörterbücher (wie gemma-tokenizer) lokal lädt.

Das Ergebnis ist ein serverloses, schnelles und völlig privates Tool. Ihre Daten verlassen nie Ihren Computer, dennoch bleibt die Genauigkeit vergleichbar mit der Ausführung auf Meta- oder Google-eigenen Servern.