Jeder Prompt hat zwei bessere Versionen

Eine schlankere und eine ausführlichere. So berechnen wir beide.

Die meisten Token-Zähler hören bei der Zahl auf. pithh geht weiter: In dem Moment, in dem Sie die Kosten sehen, sehen Sie auch zwei Umformulierungen Ihres eigenen Prompts — Lean, die dasselbe mit weniger Token aussagt, und Extended, die mehr Token in eine Struktur investiert, die ein Modell tatsächlich nutzen kann. Beide sind deterministisch, ohne Sampling und ohne verborgenen Prompt: Extended läuft vollständig in Ihrem Browser, und Lean führt dort zwei seiner drei Stufen aus, während die dritte von einem kleinen Sprachmodell bewertet wird, das wir selbst betreiben — niemals ein kostenpflichtiger Umschreibedienst.

Diese Einschränkung hat das gesamte Design geprägt: Anstatt ein großes Modell zu bitten, Ihren Prompt umzuschreiben (was Geld kostet und eine Black Box ist), haben wir zwei kleine, deterministische Pipelines direkt auf Basis veröffentlichter Forschung zu Prompt-Kompression und Prompt-Engineering gebaut. Nichts davon ist geheim oder magisch – jede Technik wird unten mit Quellenangabe belegt.

Lean-Engine

Drei Stufen, in dieser Reihenfolge

Jede Stufe entfernt eine andere Art von Überflüssigem. Sie laufen nacheinander ab, und jede ist bewusst konservativ ausgelegt – wir komprimieren lieber zu wenig, als einen Satz zurückzugeben, der grammatisch nicht mehr funktioniert.

Cooperative-Pruning. Grices Kooperationsprinzip besagt, dass ein Sprecher nicht mehr sagen sollte, als der Austausch erfordert – die Quantitätsmaxime ^[1]. Höflichkeitsfloskeln und Abschwächungen („wenn möglich“, „ich hätte gerne, dass Sie“, „bitte freundlicherweise“) transportieren soziale Abmilderung, keine Anweisung – ein Modell muss nicht höflich gebeten werden. Diese Stufe entfernt eine kuratierte Liste davon.
Redundanz-Zusammenführung. Menschen wiederholen dieselbe Anfrage aus Betonungsgründen oft in zwei Sätzen. Wir teilen den Prompt in Sätze auf und vergleichen sie mit demselben Signal, das LexRank ^[2] zur Bewertung der Satzwichtigkeit verwendet: Kosinus-Ähnlichkeit zwischen Termfrequenz-Vektoren. Überschneiden sich zwei Sätze stark, behalten wir nur den informativeren.
Self-Information-Pruning. LLMLingua ^[3] und Selective Context ^[4] komprimieren Prompts, indem sie ein kleines kausales Sprachmodell über den Text laufen lassen und die Token entfernen, die es als am vorhersehbarsten einstuft – im informationstheoretischen Sinne die niedrigste Selbstinformation. Wir betreiben genau das leichtgewichtige Modell, das das LLMLingua-Paper selbst dafür validiert – GPT2-small – auf unserem eigenen Server und bewerten jedes Wort danach, wie viele Bit an Selbstinformation es angesichts des vorherigen Kontexts trägt. Die Ausgabe von LLMLingua wird von einem anderen Modell gelesen, daher kann es aggressiv kürzen; unsere wird Ihnen angezeigt, daher begrenzen wir sie auf etwa die niedrigsten 12 % der Wörter und rühren nie das erste oder letzte Wort eines Satzes an – so bleibt das Ergebnis lesbar statt telegrammartig.

Die Token-Zahl, die Sie für die Lean-Version sehen, ist keine Schätzung der Einsparung – es ist derselbe reale Tokenizer-Aufruf, der auch für den Originalprompt verwendet wird, sodass die Differenz gemessen und nicht geschätzt ist.

Extended-Engine

Klassifizieren, dann das passende Muster anwenden

Ein generischer „Verhalte dich wie ein Experte und denke sorgfältig nach“-Wrapper hilft immer ein wenig. Ein Wrapper, der auf das abgestimmt ist, was Ihr Prompt tatsächlich verlangt, hilft deutlich mehr. Deshalb liest die Extended-Engine Ihren Prompt, schätzt anhand von Oberflächenmustern seinen Aufgabentyp – Code, kreatives Schreiben, Reasoning/Analyse oder allgemein – und fügt nur die passenden Muster ein, entnommen aus dem Prompt Pattern Catalog ^[6]:

Ein Persona-Muster, das zur Aufgabe passt (ein Senior-Entwickler für Code, ein Fachexperte für Analyse, ein Autor für kreative Arbeiten) statt einer Einheitsrolle.
Ein Ausgabeformat-Muster, das dem Modell vorgibt, wie es seine Antwort für diesen Aufgabentyp gestalten soll.
Bei Prompts, die wir als Reasoning oder Analyse einstufen, ein expliziter Chain-of-Thought-Trigger — „Denke Schritt für Schritt nach, bevor du antwortest“. Kojima et al. zeigten, dass diese einzelne Zeile, einem Zero-Shot-Prompt hinzugefügt, die Reasoning-Genauigkeit messbar verbessert – ganz ohne ausgearbeitete Beispiele ^[7], aufbauend auf der früheren Erkenntnis von Wei et al., dass das Ausformulieren von Zwischenschritten grundsätzlich hilft ^[8]. Wir fügen ihn nur dort hinzu, wo die Aufgabe davon profitiert – ein Prompt für kreatives Schreiben braucht ihn nicht.

Der letzte Schritt ist modellbewusste Formatierung: Ändern Sie das Modell im Auswahlmenü, ändert sich auch die Struktur des Wrappers selbst. Anthropic veröffentlicht ausdrückliche Hinweise, dass Claude-Modelle besser auf Prompts reagieren, die mit XML-Tags strukturiert sind ^[9], daher wird die Extended-Ausgabe für ein Claude-Modell in <role>, <task>, <output_format> verpackt. OpenAIs eigener Prompting-Leitfaden empfiehlt stattdessen Markdown-Überschriften ^[10], daher erhält jedes andere Modell stattdessen # Role, # Task, # Output format. Wechseln Sie das Modell im Auswahlmenü, und die Extended-Karte wird in der vom jeweiligen Modell bevorzugten Form neu generiert – probieren Sie es aus.

Warum das – und nicht einfach ein LLM aufrufen

Der naheliegende Weg, einen Prompt umzuschreiben, besteht darin, ein größeres Modell darum zu bitten. Wir wollten nicht, dass pithh Geld kostet, um Ihnen Geld zu sparen, und wir wollten keine Black Box zwischen Sie und Ihre eigenen Worte stellen. Jede Stufe oben ist eine einfache Funktion, die Sie lesen, erneut ausführen und bei der Sie jedes Mal dasselbe Ergebnis erhalten können – keine Zufälligkeit durch Sampling, kein verstecktes System-Prompt, keine Abrechnung pro Anfrage. Der Kompromiss ist ehrlich: Ein feinabgestimmtes Umschreibemodell würde wahrscheinlich stärker komprimieren und klüger erweitern, als es kuratierte Regeln können. Was Sie stattdessen bekommen, ist eine Methode, die Sie vollständig überprüfen können, die in Millisekunden läuft und die Ihren Prompt niemals irgendwohin sendet, nur um ihn neu zu formatieren.

Quellen

H.P. Grice (1975). "Logic and Conversation." In Syntax and Semantics, Vol. 3: Speech Acts, Cole & Morgan (eds.).
G. Erkan & D.R. Radev (2004). "LexRank: Graph-based Lexical Centrality as Salience in Text Summarization." Journal of Artificial Intelligence Research, 22, 457–479. Semantic Scholar
H. Jiang, Q. Wu, C.-Y. Lin, Y. Yang, L. Qiu (2023). "LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models." EMNLP 2023. arXiv:2310.05736
Y. Li, B. Dong, F. Guerin, C. Lin (2023). "Compressing Context to Enhance Inference Efficiency of Large Language Models." EMNLP 2023. arXiv:2310.06201
Z. Pan et al. (2024). "LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression." arXiv:2403.12968
J. White, Q. Fu, S. Hays, M. Sandborn, C. Olea, H. Gilbert, A. Elnashar, J. Spencer-Smith, D.C. Schmidt (2023). "A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT." arXiv:2302.11382
T. Kojima, S.S. Gu, M. Reid, Y. Matsuo, Y. Iwasawa (2022). "Large Language Models are Zero-Shot Reasoners." NeurIPS 2022. arXiv:2205.11916
J. Wei, X. Wang, D. Schuurmans, M. Bosma, B. Ichter, F. Xia, E. Chi, Q. Le, D. Zhou (2022). "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models." NeurIPS 2022. arXiv:2201.11903
Anthropic. "Use XML tags to structure your prompts," Claude Docs — prompt engineering guide. platform.claude.com
OpenAI. "Prompt engineering," OpenAI API guide — Markdown structuring recommendation. developers.openai.com

Jede der oben genannten Techniken wird für die konkrete Idee zitiert, die sie inspiriert hat – nicht als Behauptung, dass pithh die vollständige Methode aus dem jeweiligen Paper reproduziert. Wo wir etwas vereinfacht haben (Regeln statt eines Sprachmodells, paarweise Ähnlichkeit statt vollständiger Graph-Zentralität), ist das oben entsprechend vermerkt.