Chain of Thought Prompting hat 2026 ein Problem, das die meisten Guides übergehen: Derselbe Trick, der Modelle 2022 schlauer machte, kann ein Reasoning-Modell heute leise schlechter machen. Wei et al. stellten die Technik 2022 vor, und sie steigerte die Genauigkeit bei schwieriger Mathematik und Logik, indem Modelle ihre Denkschritte offenlegten. Ein Haken gab es: Sie griff erst, sobald Modelle etwa 100 Milliarden Parameter überschritten. Heute erledigen o-Serie- und GPT-5-Reasoning-Modelle dieses Denken intern, sodass die Aufforderung „Denke Schritt für Schritt" oft nur Tokens verbrennt. Wann sollten Sie die Technik trotzdem einsetzen, und wann sollten Sie sie weglassen?
Wichtigste Erkenntnisse:
- Chain of Thought Prompting legt die Denkschritte eines Modells offen und steigert die Genauigkeit bei mehrstufiger Mathematik, Logik und Code.
- Es ist eine emergente Fähigkeit: Sie hilft kleinen Modellen kaum, und Reasoning-Modelle wenden sie bereits intern an.
- Bei der o-Serie, GPT-5 Reasoning und Claudes Extended Thinking ist manuelles „Denke Schritt für Schritt" oft überflüssig.
- Nutzen Sie manuelles CoT weiterhin bei Nicht-Reasoning-Modellen und lokalen Open-Source-Modellen, oder wenn Sie einen nachvollziehbaren Denkpfad brauchen.
Was ist Chain of Thought Prompting?
Chain of Thought (CoT) Prompting ist eine Technik, bei der ein Sprachmodell aufgefordert wird, ein Problem in expliziten Zwischenschritten zu durchdenken, bevor es eine endgültige Antwort gibt. Die Technik wurde 2022 von Wei et al. eingeführt, verbessert die Genauigkeit bei mehrstufiger Mathematik, Logik und Alltagswissen-Aufgaben und macht die Argumentation des Modells sichtbar.
Stellen Sie einem einfachen Modell eine Textaufgabe ohne Umschweife, antwortet es oft mit der falschen Zahl. Bitten Sie es zuerst zu argumentieren, steigen die Erfolgschancen deutlich. Nehmen Sie: „Ein Regal hat 3 Kisten mit je 7 Büchern; ich entferne 5. Was bleibt übrig?" Direkt gefragt, antwortet ein kleines Modell womöglich mit „21". Fügen Sie „Lass uns Schritt für Schritt denken" hinzu, schreibt es: 3 x 7 = 21, dann 21 - 5 = 16. Dasselbe Modell, eine bessere Antwort, und Sie sehen, wo es abgerutscht ist, falls doch. CoT ist nur ein Werkzeug im größeren Werkzeugkasten aus unserem Prompt-Engineering-Leitfaden; dieser Beitrag zoomt ganz auf CoT hinein.
Wie es funktioniert (und warum es erst in großem Maßstab wirkte)
CoT funktioniert, indem das Modell einen natürlichsprachigen Denkpfad Token für Token erzeugt, sodass jede Zwischenschlussfolgerung die nächste beeinflusst. Wei et al. (2022) fanden heraus, dass dies eine emergente Fähigkeit ist: Sie hilft kleinen Modellen kaum und erzeugt erst ab etwa 100 Milliarden Parametern deutliche Genauigkeitsgewinne.
Stellen Sie es sich wie das Vorrechnen im Matheunterricht vor. Ein Modell sagt jeweils ein Token vorher, und jedes geschriebene Wort wird Teil der Eingabe für das nächste Wort. Schreibt es „21" als Zwischenergebnis, steht diese „21" nun im Kontext und lenkt den letzten Schritt Richtung „16". Überspringt man die Schritte, muss das Modell direkt zur Antwort springen, ohne sich auf etwas stützen zu können. Das Seltsame daran: Dieser Vorteil zeigt sich nur in großem Maßstab. In der Gründungsarbeit fand Weis Team heraus, dass winzige Modelle kaum einen Effekt zeigten und manchmal sogar schlechter abschnitten. Deshalb kann derselbe Prompt, der bei einem lokalen 7B-Modell scheitert, ein Spitzenmodell verwandeln.
Die drei Varianten: Zero-Shot, Few-Shot und Self-Consistency
Es gibt drei wichtige CoT-Varianten. Zero-Shot CoT hängt einfach „Lass uns Schritt für Schritt denken" an (Kojima et al., 2022). Few-Shot CoT zeigt zuerst durchgerechnete Beispiele. Self-Consistency (Wang et al., 2022) sampelt mehrere Denkpfade und lässt sie per Mehrheitsentscheid über die Antwort abstimmen, die zuverlässigste und zugleich teuerste der drei Varianten.
Zero-Shot ist der faule Zaubertrick. Sie fügen einen einzigen Satz hinzu, und das Modell argumentiert ohne jedes Beispiel. Kojima et al. zeigten, dass „Lass uns Schritt für Schritt denken" allein ein großes Modell in einen brauchbaren Zero-Shot-Reasoner verwandelt.
# Zero-shot CoT: append the trigger phrase. Best on non-reasoning models.
# Model names change fast, so treat the string below as a placeholder.
from openai import OpenAI
client = OpenAI()
prompt = (
"Q: A shelf holds 3 boxes. Each box has 7 books. "
"I remove 5 books. How many are left?\n"
"A: Let's think step by step."
)
resp = client.chat.completions.create(
model="your-non-reasoning-model",
messages=[{"role": "user", "content": prompt}],
)
print(resp.choices[0].message.content)Few-Shot CoT geht weiter: Sie geben dem Modell zwei oder drei durchgerechnete Beispiele, damit es das Argumentationsmuster für Ihre Domäne übernimmt. Self-Consistency ist der Genauigkeitsregler. Statt einer einzigen Kette zu vertrauen, sampeln Sie fünf bei höherer Temperatur und lassen sie abstimmen. Wang et al. fanden heraus, dass die Mehrheitsantwort meist stimmt, selbst wenn einzelne Ketten abschweifen.
# Self-consistency: sample N reasoning paths, majority-vote the answer.
# More accurate, more expensive. Wang et al., 2022.
from collections import Counter
def self_consistency(prompt, n=5, temperature=0.7):
answers = []
for _ in range(n):
resp = client.chat.completions.create(
model="your-non-reasoning-model",
messages=[{"role": "user", "content": prompt}],
temperature=temperature, # diversity across paths
)
answers.append(extract_final_answer(resp.choices[0].message.content))
return Counter(answers).most_common(1)[0][0] # majority voteMöchten Sie diese Argumentation als sauberes JSON statt Fließtext? Kombinieren Sie CoT mit den Mustern aus unserem Leitfaden zu strukturierten Ausgaben, damit ein nachgelagerter Schritt sie parsen kann.
Der Wandel 2026: Reasoning-Modelle ändern die Regeln
Reasoning-Modelle, OpenAIs o-Serie und GPT-5 Reasoning, Claudes Extended Thinking und DeepSeek R1, führen Chain of Thought bereits intern durch, bevor sie antworten. OpenAIs eigene Anleitung sagt ausdrücklich, dass es unnötig ist, diesen Modellen explizit zu sagen, „Schritt für Schritt zu denken", und dass die Aufforderung, ein Reasoning-Modell möge mehr nachdenken, die Leistung sogar verschlechtern kann. Das Gerüst ist bereits eingebaut.
Das ist der Teil, den ältere Guides gerne ignorieren. Ein Reasoning-Modell erzeugt eine private Denkkette, bevor es Ihnen überhaupt eine Antwort zeigt, sodass das Schritt-für-Schritt, das Sie früher von Hand geschrieben haben, heute unter der Haube passiert. OpenAIs Best Practices für Reasoning bringen es unverblümt auf den Punkt: „Vermeiden Sie Chain-of-Thought-Prompts: Da diese Modelle intern argumentieren, ist die Aufforderung, ‚Schritt für Schritt zu denken' oder ‚Ihre Argumentation zu erklären', unnötig." Ihr o3/o4-mini-Prompting-Guide geht noch weiter: „Ein Reasoning-Modell zu mehr Nachdenken aufzufordern, kann die Leistung tatsächlich verschlechtern."
Anthropics Extended Thinking ist dieselbe Idee, nur produktisiert. Sie geben Claude ein Denkbudget statt eines Schritt-für-Schritt-Skripts, und die neuesten Modelle entscheiden selbst, wie tief sie nachdenken. Bei dieser Modellklasse stellen Sie reasoning_effort oder das Denkbudget ein, nicht die Formulierung. Für die Seite der offenen Reasoning-Modelle, einschließlich DeepSeek R1, siehe unseren Vergleich Qwen vs. DeepSeek vs. GLM.
Wann manuelles CoT noch hilft und wann es schadet
Manuelles CoT hilft weiterhin bei Nicht-Reasoning-Modellen, kleinen oder lokalen Open-Source-Modellen, oder wenn Sie eine bestimmte Argumentationsstruktur oder einen nachvollziehbaren Pfad brauchen. Es schadet bei nativen Reasoning-Modellen (überflüssig und langsamer), bei einfachen Ein-Schritt-Aufgaben und auf latenz- oder kostensensiblen Pfaden, wo es nur Tokens verbrennt, ohne dass Genauigkeit gewonnen wird.
| Manuelles CoT hilft noch, wenn … | Manuelles CoT schadet, wenn … |
|---|---|
| Sie ein Nicht-Reasoning-Modell nutzen (älteres GPT, Basis-Llama) | Sie ein Reasoning-Modell nutzen (o-Serie, GPT-5 Reasoning, Claude Thinking) |
| Sie ein kleines oder lokales Open-Source-Modell betreiben | Die Aufgabe ein Ein-Schritt-Lookup, eine Klassifizierung oder eine Formatänderung ist |
| Sie eine feste, nachvollziehbare Argumentationsstruktur brauchen | Sie auf einem latenzsensiblen Echtzeitpfad arbeiten |
| Die Aufgabe mehrstufige Mathematik, Logik oder Planung ist | Sie einen hochvolumigen, kostensensiblen Endpunkt betreiben |
| Sie einen sichtbaren Pfad wollen, den Sie prüfen oder durchsuchen können | Das Modell ohnehin intern argumentiert, sodass sich die Schritte nur wiederholen |
Hier ein reales Beispiel aus unserem eigenen Betrieb. Die 12-Agenten-Pipeline, die diesen Beitrag geschrieben hat, läuft auf Claude-Modellen, und wir sagen diesen Agenten bewusst nie, sie sollen „Schritt für Schritt denken", weil die Modelle bereits intern argumentieren und es nur Rauschen hinzufügen würde. Was wir stattdessen von Hand schreiben, sind starre, durchsuchbare Argumentationsgerüste. Unser Validator-Agent führt eine feste 100-Punkte-Rubrik aus (50 Qualität, 50 SEO) plus acht sequenzielle Gate-Prüfungen. Der Übersetzer folgt einer festen Checkliste: die H2-Anzahl der Quelle abgleichen, einen Diakritika-Grep laufen lassen, der mehr als null zurückgeben muss, und innerhalb einer 80-bis-120-Prozent-Zeilenzahl-Bandbreite bleiben. Der Publisher führt Vor- und Nach-Veröffentlichungs-Prüfungen aus, die das publishedAt-Datum per Regex kontrollieren und danach das CMS abfragen, um zu bestätigen, dass der Inhalt nicht leer ist.
Bei alldem geht es nicht um mehr Nachdenken. Es ist ein fester, nachvollziehbarer Pfad, den wir prüfen und durchsuchen können, genau der Fall, in dem manuelles CoT noch hilft. Wir haben diese Gates aus einem bestimmten Grund eingebaut: Ein reiner Datumswert ohne Uhrzeit in publishedAt hat einmal einen ganzen Beitrag stillschweigend aus unserem Blog-Index verschwinden lassen, also existiert die starre Schrittfolge jetzt, um zu verhindern, dass das Modell eine Prüfung überspringt. Ein ehrlicher Vorbehalt: Das ist eine operative Beobachtung, kein Benchmark. Wir haben keinen kontrollierten Genauigkeits-A/B-Test zwischen „Schritt für Schritt denken" und keiner Anweisung durchgeführt, behandeln Sie es also als Lektion zu Struktur und Nachvollziehbarkeit, nicht als Zahlenaussage.
Betreiben Sie lokale Modelle, bei denen sich manuelles CoT noch auszahlt? Unser Ranking der besten Open-Source-LLMs 2026 deckt das Feld ab. Und wenn Sie jemals die Denkkette eines Modells Nutzern zeigen, behandeln Sie sie als nicht vertrauenswürdige Ausgabe; unser Leitfaden zu Prompt Injection verhindern erklärt, warum.
Die versteckten Kosten: Tokens, Latenz und Ihre Rechnung
CoT ist nicht kostenlos. Jeder Denkschritt sind Output-Tokens, für die Sie bezahlen, und längere Ausgaben erhöhen die Latenz. Reasoning-Modelle berechnen zusätzlich versteckte Reasoning-Tokens oben auf die sichtbare Antwort. Bei hochvolumigen oder Echtzeit-Endpunkten kann erzwungene Schritt-für-Schritt-Ausgabe die Kosten still vervielfachen, budgetieren Sie also dafür oder deckeln Sie sie mit reasoning_effort.
Jedes „Schritt 1, Schritt 2, Schritt 3", das das Modell schreibt, sind Output-Tokens, und Output-Tokens sind die teure Sorte. Eine Kette, die fünfmal länger ist als die reine Antwort, kostet bei diesem Aufruf etwa fünfmal so viel und streamt langsamer zurück. Reasoning-Modelle bringen eine Besonderheit mit: Sie berechnen Reasoning-Tokens für das interne Denken, das Sie nie sehen, sodass eine kurze finale Antwort eine lange, bezahlte Kette verbergen kann. Auf einem Endpunkt mit wenig Volumen ist das Rauschen; auf einem stark frequentierten Endpunkt summiert es sich schnell. Zwei Gewohnheiten halten es im Zaum. Cachen Sie die stabilen Teile Ihres Kontexts, damit Sie sie nicht erneut bezahlen müssen (unser Leitfaden zu Prompt Caching zeigt, wie), und messen Sie, ob die zusätzlichen Tokens tatsächlich Genauigkeit einkaufen, bevor Sie CoT überall ausrollen. Unser LLM-Evaluierung-Leitfaden deckt diese Messung ab, damit Sie nicht für Reasoning bezahlen, das den Score nicht bewegt.
So nutzen Sie CoT 2026: eine Entscheidungs-Checkliste
Identifizieren Sie zuerst Ihre Modellklasse. Bei einem Reasoning-Modell überspringen Sie manuelles CoT und stellen stattdessen reasoning_effort oder das Denkbudget ein. Bei einem Nicht-Reasoning- oder lokalen Modell fügen Sie Zero-Shot „Lass uns Schritt für Schritt denken" hinzu, steigen für domänenspezifische Aufgaben auf Few-Shot um und fügen Self-Consistency nur hinzu, wenn Genauigkeit wichtiger ist als Token-Kosten.
Hier die gesamte Entscheidung in fünf Schritten:
- Identifizieren Sie Ihre Modellklasse. Reasoning-Modell oder nicht? Diese eine Tatsache entscheidet alles Weitere.
- Bei einem Reasoning-Modell schreiben Sie kein CoT von Hand. Stellen Sie stattdessen
reasoning_effortoder das Denkbudget ein, und lassen Sie das Modell intern argumentieren. - Bei einem Nicht-Reasoning- oder lokalen Modell fügen Sie Zero-Shot „Lass uns Schritt für Schritt denken" hinzu. Das ist eine Zeile und kostenlos auszuprobieren.
- Für domänenspezifische Aufgaben steigen Sie auf Few-Shot CoT mit zwei oder drei durchgerechneten Beispielen um. Fügen Sie Self-Consistency nur hinzu, wenn Genauigkeit die Token-Kosten aufwiegt.
- Wenn Sie die Argumentation offenlegen, messen Sie sie mit Evals und behandeln Sie die sichtbare Kette als nicht vertrauenswürdige Ausgabe.
Die Trigger-Phrase selbst steht meist in Ihrem System-Prompt. Unsere Beispiele für System-Prompts zeigen, wohin sie gehört und wie Sie sie formulieren.
# On a reasoning model, don't hand-write CoT. Tune the effort instead.
# Param names and levels change per provider and version, so check current docs.
resp = client.responses.create(
model="your-reasoning-model",
reasoning={"effort": "medium"}, # e.g. low | medium | high
input="Prove that the square root of 2 is irrational.",
)
# Anthropic equivalent: an extended-thinking budget.
# budget_tokens MUST be less than max_tokens.
# thinking = {"type": "enabled", "budget_tokens": 4000}Das in einen Produktions-Stack einzubauen, ist fummeliger, als ein Blogbeispiel es aussehen lässt. Wenn Sie Reasoning-Budgets und Eval-Harnesses nicht selbst einstellen möchten, baut unser Team diese Pipelines End-to-End. Siehe KI-Integration oder nehmen Sie Kontakt auf.
Über den Autor
Mert Batur Gurbuz ist Mitgründer von Techsy.io, wo das Team KI-Agenten, Automatisierungssysteme und Voice-/SDR-Pipelines für B2B-Kunden liefert. Er studiert an der University of Birmingham und schreibt über den LLM-Tooling-Stack, den das Techsy-Team tatsächlich in der Produktion einsetzt.
Mitgründer, Techsy.io, University of Birmingham. Vernetzen Sie sich auf LinkedIn.
Häufig gestellte Fragen
Ist Chain of Thought Prompting 2026 noch relevant?
Ja, aber ihre Rolle ist geschrumpft. Bei Nicht-Reasoning-Modellen sowie kleinen oder lokalen Open-Source-Modellen steigert manuelles CoT weiterhin die Genauigkeit bei mehrstufigen Aufgaben. Bei Reasoning-Modellen ist es meist überflüssig. Der stärkste verbleibende Nutzen ist, einen festen, nachvollziehbaren Argumentationspfad zu erzwingen, den Sie prüfen können.
Funktioniert Chain of Thought Prompting bei Reasoning-Modellen wie GPT-5, o3 oder Claude?
Diese Modelle argumentieren bereits intern, sodass manuelles CoT meist überflüssig und manchmal sogar schädlich ist. OpenAIs Dokumentation sagt, die Aufforderung, „Schritt für Schritt zu denken", sei unnötig, und dass die Bitte, mehr nachzudenken, „die Leistung tatsächlich verschlechtern" kann. Stellen Sie stattdessen den Reasoning-Aufwand ein, statt Schritte auszuformulieren.
Was ist Zero-Shot Chain of Thought Prompting?
Zero-Shot CoT bedeutet, eine Trigger-Phrase hinzuzufügen, meist „Lass uns Schritt für Schritt denken", ohne vorher durchgerechnete Beispiele zu zeigen. Kojima et al. (2022) zeigten, dass das allein ein großes Modell in einen brauchbaren Zero-Shot-Reasoner verwandelt. Es ist die günstigste CoT-Variante: eine Zeile, keine Beispiel-Kuration, schnell zu testen.
Was ist Self-Consistency bei Chain of Thought Prompting?
Self-Consistency, von Wang et al. (2022), sampelt mehrere unabhängige Denkketten bei höherer Temperatur und lässt sie dann per Mehrheitsentscheid über die finale Antwort abstimmen. Es ist die genaueste CoT-Variante, weil falsche Ketten selten übereinstimmen, aber Sie bezahlen für jeden gesampelten Pfad, weshalb sie auch die teuerste ist.
Was ist der Unterschied zwischen Chain of Thought und Few-Shot Prompting?
Few-Shot Prompting zeigt dem Modell Beispiel-Eingabe-Ausgabe-Paare. Chain of Thought konzentriert sich auf die Argumentation zwischen Eingabe und Ausgabe. Beide kombinieren sich gut: Few-Shot CoT liefert durchgerechnete Beispiele, die die Denkschritte enthalten, sodass das Modell Ihr Argumentationsmuster kopiert, nicht nur Ihr Antwortformat.
Chain of Thought vs. Prompt Chaining vs. Tree of Thought: Was ist der Unterschied?
Chain of Thought argumentiert innerhalb eines einzigen Prompts. Prompt Chaining teilt eine Aufgabe auf mehrere separate Modellaufrufe auf und reicht Ausgaben weiter. Tree of Thought erkundet mehrere Argumentationszweige und beschneidet schwache. CoT ist ein einzelner linearer Pfad; die anderen beiden fügen dem Modell externe Struktur hinzu.
Wer hat Chain of Thought Prompting erfunden?
Chain of Thought Prompting wurde von Jason Wei und Kollegen bei Google in dem Paper „Chain-of-Thought Prompting Elicits Reasoning in Large Language Models" von 2022 eingeführt. Kojima et al. fügten später Zero-Shot CoT hinzu, und Wang et al. ergänzten Self-Consistency, beide ebenfalls 2022.
Funktioniert Chain of Thought Prompting bei der Code-Generierung?
Ja, bei Nicht-Reasoning-Modellen. Das Modell zu bitten, die Logik zu planen, bevor es Code schreibt, fängt Randfälle ab und reduziert Bugs bei komplexen Aufgaben. Bei Reasoning-Modellen passiert die Planung intern, sodass eine einfache Anweisung meist besser funktioniert als ein handgeschriebenes „Denke Schritt für Schritt"-Präfix.