Chain of Thought Prompting pada 2026: Kapan Ampuh, Kapan Justru Merugikan

Chain of thought prompting punya masalah di tahun 2026 yang dilewatkan oleh panduan-panduan teratas: trik yang sama yang membuat model lebih cerdas pada tahun 2022 justru bisa diam-diam memperburuk model penalaran saat ini. Wei et al. memperkenalkannya pada tahun 2022, dan teknik ini meningkatkan akurasi pada soal matematika dan logika yang sulit dengan membuat model menunjukkan langkah-langkah penalarannya. Namun ada syaratnya. Teknik ini baru efektif setelah model melewati sekitar 100 miliar parameter. Kini model penalaran o-series dan GPT-5 sudah melakukan proses berpikir itu secara internal, sehingga menyuruh mereka untuk "berpikir langkah demi langkah" sering kali hanya membuang-buang token. Kapan Anda masih perlu menggunakannya, dan kapan sebaiknya melewatkannya?

Poin-poin penting:

• Chain of thought prompting menampilkan langkah-langkah penalaran model dan meningkatkan akurasi pada matematika multi-langkah, logika, dan kode.
• Ini adalah kemampuan emergen: hampir tidak membantu model kecil, dan model penalaran sudah melakukannya secara internal.
• Pada o-series, penalaran GPT-5, dan extended thinking Claude, instruksi manual "berpikir langkah demi langkah" sering kali bersifat redundan.
• Tetap gunakan CoT manual pada model non-penalaran dan model open-source lokal, atau saat Anda memerlukan jalur penalaran yang dapat diaudit.

Apa Itu Chain of Thought Prompting?

Chain of thought (CoT) prompting adalah teknik yang meminta model bahasa untuk mengerjakan suatu masalah melalui langkah-langkah perantara yang eksplisit sebelum memberikan jawaban akhir. Diperkenalkan oleh Wei et al. pada tahun 2022, teknik ini meningkatkan akurasi pada tugas matematika multi-langkah, logika, dan akal sehat, serta membuat penalaran model menjadi terlihat.

Ajukan soal cerita kepada model biasa secara langsung, dan ia sering kali langsung menjawab dengan angka yang salah. Minta ia bernalar terlebih dahulu, dan peluangnya meningkat. Ambil contoh "Sebuah rak memiliki 3 kotak berisi 7 buku; saya mengambil 5. Berapa sisanya?" Secara langsung, model kecil mungkin menjawab "21." Tambahkan "Mari kita berpikir langkah demi langkah" dan ia akan menulis: 3 x 7 = 21, lalu 21 - 5 = 16. Model yang sama, jawaban yang lebih baik, dan Anda bisa melihat di mana ia keliru jika memang keliru. CoT adalah salah satu alat di dalam perangkat yang lebih luas dalam panduan prompt engineering kami; artikel ini membahasnya secara mendalam.

Cara Kerjanya (dan Mengapa Ini Baru Terasa Manfaatnya pada Skala Besar)

CoT bekerja dengan cara membuat model menghasilkan jalur penalaran berbahasa alami token demi token, sehingga setiap kesimpulan antara memengaruhi kesimpulan berikutnya. Wei dkk. (2022) menemukan bahwa ini adalah kemampuan emergen: teknik ini nyaris tidak membantu model kecil dan baru menghasilkan peningkatan akurasi yang besar setelah model melewati sekitar 100 miliar parameter.

Bayangkan seperti menuliskan langkah-langkah pengerjaan di kelas matematika. Model memprediksi satu token dalam satu waktu, dan setiap kata yang dituliskannya menjadi bagian dari input untuk kata berikutnya. Ketika model menuliskan "21" sebagai hasil antara, "21" tersebut kini berada di dalam konteks, mengarahkan langkah terakhir menuju "16." Lewati langkah-langkahnya, dan model harus melompat langsung ke jawaban tanpa ada yang bisa dijadikan sandaran. Anehnya, manfaat ini hanya muncul pada skala besar. Dalam makalah perintis, tim Wei menemukan bahwa model-model kecil nyaris tidak mendapat peningkatan, bahkan kadang hasilnya lebih buruk. Itulah mengapa prompt yang sama, yang gagal pada model lokal 7B, bisa mengubah performa model frontier.

Tiga Varian: Zero-Shot, Few-Shot, dan Self-Consistency

Ada tiga varian utama CoT. Zero-shot CoT cukup menambahkan "Let's think step by step" (Kojima et al., 2022). Few-shot CoT terlebih dahulu menampilkan contoh-contoh penalaran yang sudah dikerjakan. Self-consistency (Wang et al., 2022) mengambil beberapa jalur penalaran sebagai sampel lalu mengambil suara terbanyak atas jawabannya, yang paling andal sekaligus paling mahal di antara ketiganya.

Zero-shot adalah trik sulap yang praktis. Anda cukup menambahkan satu kalimat dan model langsung bernalar tanpa contoh apa pun. Kojima et al. menunjukkan bahwa "Let's think step by step" saja sudah mampu mengubah model besar menjadi penalar zero-shot yang cukup mumpuni.

# Zero-shot CoT: tambahkan frasa pemicu. Paling cocok untuk model non-reasoning.
# Model names change fast, so treat the string below as a placeholder.
from openai import OpenAI
client = OpenAI()

prompt = (
    "Q: A shelf holds 3 boxes. Each box has 7 books. "
    "I remove 5 books. How many are left?\n"
    "A: Let's think step by step."
)

resp = client.chat.completions.create(
    model="your-non-reasoning-model",
    messages=[{"role": "user", "content": prompt}],
)
print(resp.choices[0].message.content)

Few-shot CoT goes further: you hand the model two or three worked examples so it copies the reasoning pattern for your domain. Self-consistency is the accuracy dial. Instead of trusting one chain, you sample five at a higher temperature and let them vote. Wang et al. found the majority answer is usually right even when individual chains wander off.

# Konsistensi diri: ambil contoh N jalur penalaran, tentukan jawaban melalui voting mayoritas.
# Lebih akurat, lebih mahal. Wang et al., 2022.
from collections import Counter

def self_consistency(prompt, n=5, temperature=0.7):
    answers = []
    for _ in range(n):
        resp = client.chat.completions.create(
            model="your-non-reasoning-model",
            messages=[{"role": "user", "content": prompt}],
            temperature=temperature,  # diversity across paths
        )
        answers.append(extract_final_answer(resp.choices[0].message.content))
    return Counter(answers).most_common(1)[0][0]  # majority vote

Ingin penalaran tersebut dalam bentuk JSON yang rapi alih-alih teks bebas? Padukan CoT dengan pola-pola dalam panduan keluaran terstruktur kami agar langkah downstream dapat mem-parse-nya.

Pergeseran 2026: Model Penalaran Mengubah Aturan Main

Model penalaran, seri o dari OpenAI dan penalaran GPT-5, extended thinking dari Claude, serta DeepSeek R1, melakukan chain of thought secara internal sebelum menjawab. Panduan OpenAI sendiri secara eksplisit menyatakan bahwa menyuruh model-model ini untuk "berpikir langkah demi langkah" itu tidak perlu, dan bahwa meminta model penalaran untuk bernalar lebih banyak justru dapat menurunkan performa. Perancahnya sudah tertanam di dalamnya.

Inilah bagian yang oleh panduan-panduan lama dianggap seolah tidak terjadi. Model penalaran menghasilkan chain of thought privat sebelum ia menunjukkan jawaban kepada Anda, sehingga langkah demi langkah yang dulu Anda tulis secara manual kini terjadi di balik layar. Praktik terbaik penalaran OpenAI menyatakannya dengan terus terang: "Hindari prompt chain-of-thought: Karena model-model ini melakukan penalaran secara internal, menyuruh mereka 'berpikir langkah demi langkah' atau 'jelaskan penalaran Anda' tidaklah perlu." Panduan prompting o3/o4-mini mereka melangkah lebih jauh: "Meminta model penalaran untuk bernalar lebih banyak justru dapat menurunkan performa."

Extended thinking dari Anthropic adalah ide serupa yang diwujudkan menjadi produk. Anda memberi Claude anggaran berpikir alih-alih skrip langkah demi langkah, dan model-model terbaru memutuskan sendiri seberapa dalam harus berpikir. Pada kelas model ini, Anda menyetel reasoning_effort atau anggaran berpikir, bukan susunan katanya. Untuk sisi model penalaran terbuka, termasuk DeepSeek R1, lihat uraian kami tentang Qwen vs DeepSeek vs GLM.

Kapan CoT Manual Masih Membantu vs Kapan Justru Merugikan

CoT manual masih membantu pada model non-reasoning serta model open-source kecil atau lokal, atau ketika Anda membutuhkan satu struktur penalaran tertentu atau jejak yang dapat diaudit. Hal ini justru merugikan pada model reasoning native (redundan dan lebih lambat), pada tugas sederhana satu langkah, dan pada jalur yang sensitif terhadap latensi atau biaya, di mana ia hanya membuang token tanpa peningkatan akurasi.

Berikut contoh nyata dari tempat kami sendiri. Pipeline 12 agen yang menulis postingan ini berjalan di atas model Claude, dan kami dengan sengaja tidak pernah menyuruh agen-agen tersebut untuk "berpikir langkah demi langkah," karena model-model tersebut sudah bernalar secara internal dan hal itu hanya akan menambah noise. Yang kami tulis secara manual adalah perancah penalaran yang kaku dan bisa di-grep. Agen validator kami menjalankan rubrik 100 poin tetap (50 kualitas, 50 SEO) ditambah delapan pemeriksaan gerbang berurutan. Penerjemah mengikuti daftar periksa tetap: mencocokkan jumlah H2 sumber, menjalankan grep diakritik yang harus mengembalikan nilai lebih dari nol, dan tetap berada dalam rentang jumlah baris 80 hingga 120 persen. Penerbit menjalankan gerbang pra- dan pasca-publikasi yang memeriksa regex datetime publishedAt, lalu meng-query CMS untuk memastikan body tidak kosong.

Tidak ada satupun dari hal itu yang berkaitan dengan berpikir lebih banyak. Ini adalah jalur tetap yang dapat diaudit, yang bisa kami periksa dan grep, yang persis merupakan kasus "CoT manual masih membantu". Kami menambahkan gerbang-gerbang tersebut bukan tanpa alasan: nilai publishedAt yang hanya berisi tanggal pernah secara diam-diam menyembunyikan seluruh postingan dari indeks blog kami, sehingga urutan langkah yang kaku kini ada untuk mencegah model melewatkan verifikasi. Satu catatan jujur: ini adalah pengamatan operasional, bukan benchmark. Kami belum pernah menjalankan A/B akurasi terkontrol untuk "berpikir langkah demi langkah" versus tanpa instruksi, jadi anggaplah ini sebagai pelajaran tentang struktur dan auditabilitas, bukan klaim angka. Menjalankan model lokal di mana CoT manual masih sepadan? Rangkuman LLM open-source terbaik 2026 kami membahas selengkapnya. Dan jika Anda pernah menampilkan chain of thought suatu model kepada pengguna, perlakukan sebagai output yang tidak tepercaya; panduan pencegahan prompt injection kami menjelaskan alasannya.

Biaya Tersembunyi: Token, Latensi, dan Tagihan Anda

CoT tidaklah gratis. Setiap langkah penalaran adalah token output yang harus Anda bayar, dan generasi yang lebih panjang akan meningkatkan latensi. Model penalaran mengenakan biaya token penalaran tersembunyi di luar jawaban yang terlihat. Pada endpoint bervolume tinggi atau real-time, memaksa output langkah demi langkah dapat melipatgandakan biaya secara diam-diam, jadi anggarkan untuk itu atau batasi dengan reasoning_effort.

Setiap "langkah 1, langkah 2, langkah 3" yang ditulis model adalah token output, dan token output adalah jenis yang mahal. Rantai yang lima kali lebih panjang dari jawaban polosnya memakan biaya sekitar lima kali lipat pada panggilan tersebut, dan di-streaming kembali lebih lambat. Model penalaran menambahkan kejutan: mereka mengenakan biaya token penalaran untuk proses berpikir internal yang tidak pernah Anda lihat, sehingga jawaban akhir yang singkat dapat menyembunyikan rantai panjang yang tetap harus dibayar. Pada endpoint bervolume rendah, itu hanya riak kecil; pada endpoint lalu lintas tinggi, biayanya merangkak naik dengan cepat. Dua kebiasaan menjaganya tetap wajar. Cache bagian-bagian stabil dari konteks Anda agar Anda tidak membayar untuk membacanya ulang (panduan prompt caching kami menunjukkan caranya), dan ukur apakah token tambahan tersebut benar-benar meningkatkan akurasi sebelum menerapkan CoT di mana-mana. Panduan eval LLM kami membahas pengukuran tersebut, sehingga Anda tidak membayar penalaran yang tidak menggerakkan skor.

Cara Menggunakan CoT di 2026: Checklist Keputusan

Pertama, identifikasi kelas model Anda. Pada model reasoning, lewati CoT manual dan sesuaikan reasoning_effort atau budget thinking sebagai gantinya. Pada model non-reasoning atau model lokal, tambahkan zero-shot "Let's think step by step," tingkatkan ke few-shot untuk tugas domain tertentu, dan tambahkan self-consistency hanya ketika akurasi lebih penting daripada biaya token.

Berikut seluruh keputusan dalam lima langkah:

1. Identifikasi kelas model Anda. Model reasoning atau bukan? Satu fakta itu menentukan semua yang ada di bawah.
2. Pada model reasoning, jangan menulis CoT secara manual. Sesuaikan reasoning_effort atau budget thinking sebagai gantinya, dan biarkan model bernalar secara internal.
3. Pada model non-reasoning atau model lokal, tambahkan zero-shot "Let's think step by step." Cukup satu baris dan gratis untuk dicoba.
4. Untuk tugas domain spesifik, tingkatkan ke few-shot CoT dengan dua atau tiga contoh yang sudah dikerjakan. Tambahkan self-consistency hanya ketika akurasi mengalahkan biaya token.
5. Jika Anda mengekspos penalaran, ukur dengan eval dan perlakukan chain yang terlihat sebagai output yang tidak tepercaya.

Frasa pemicu itu sendiri biasanya berada di system prompt Anda. Contoh system prompt kami menunjukkan di mana letaknya dan bagaimana cara merangkainya.

# Pada model reasoning, jangan menulis CoT secara manual. Lebih baik sesuaikan effort-nya.
# Nama parameter dan levelnya berbeda-beda di tiap penyedia dan versi, jadi periksa dokumentasi terkini.
resp = client.responses.create(
    model="your-reasoning-model",
    reasoning={"effort": "medium"},   # misalnya: low | medium | high
    input="Buktikan bahwa akar kuadrat dari 2 adalah bilangan irasional.",
)
# Padanan Anthropic: anggaran extended-thinking.
# budget_tokens HARUS kurang dari max_tokens.
# thinking = {"type": "enabled", "budget_tokens": 4000}

Mengintegrasikan ini ke dalam stack produksi jauh lebih rumit daripada yang terlihat pada contoh di blog. Jika Anda lebih memilih untuk tidak menyetel sendiri anggaran penalaran dan harness evaluasi, tim kami membangun pipeline ini secara menyeluruh dari awal hingga akhir. Lihat integrasi AI atau hubungi kami.

Tentang Penulis

Mert Batur Gurbuz adalah Co-Founder Techsy.io, tempat timnya mengembangkan AI agent, sistem otomasi, dan pipeline voice/SDR untuk klien B2B. Ia menempuh pendidikan di University of Birmingham dan menulis tentang tumpukan tooling LLM yang benar-benar digunakan tim Techsy di production.

Co-Founder, Techsy.io, University of Birmingham. Terhubung di LinkedIn.

Pertanyaan yang Sering Diajukan

Apakah chain of thought prompting masih relevan di tahun 2026?

Ya, tetapi perannya sudah menyempit. Pada model non-reasoning dan model open-source kecil atau lokal, CoT manual masih meningkatkan akurasi pada tugas multi-langkah. Pada model reasoning, teknik ini sebagian besar sudah redundan. Kegunaan terkuat yang tersisa adalah memaksa satu jalur penalaran tetap yang dapat diaudit dan dapat Anda periksa.

Apakah chain of thought prompting bekerja pada model penalaran seperti GPT-5, o3, atau Claude?

Model-model ini sudah melakukan penalaran secara internal, sehingga CoT manual biasanya berlebihan dan terkadang justru merugikan. Dokumentasi OpenAI menyatakan bahwa meminta mereka untuk "berpikir langkah demi langkah" tidaklah diperlukan, dan meminta mereka bernalar lebih banyak "justru dapat menurunkan performa." Alih-alih menulis langkah-langkah, sesuaikan tingkat upaya penalaran (reasoning effort).

Apa itu prompting chain of thought zero-shot?

Zero-shot CoT berarti menambahkan frasa pemicu, biasanya "Let's think step by step," tanpa memberikan contoh pengerjaan terlebih dahulu. Kojima et al. (2022) menunjukkan bahwa hal ini saja sudah cukup untuk mengubah model besar menjadi penalar yang cukup baik. Ini adalah varian CoT yang paling murah: satu baris, tanpa kurasi contoh, dan cepat untuk diuji.

Apa itu self-consistency dalam chain of thought prompting?

Self-consistency, dari Wang et al. (2022), mengambil sampel beberapa rantai penalaran independen pada suhu yang lebih tinggi, lalu melakukan voting mayoritas terhadap jawaban akhirnya. Ini adalah varian CoT yang paling akurat karena rantai yang salah jarang sekali sepakat, tetapi Anda harus membayar untuk setiap jalur yang disampel, sehingga ini juga yang paling mahal.

Apa perbedaan antara chain of thought dan few-shot prompting?

Few-shot prompting menunjukkan kepada model pasangan contoh input-output. Chain of thought berfokus pada penalaran di antara input dan output. Keduanya dapat dikombinasikan dengan baik: few-shot CoT memberikan contoh terurai yang mencakup langkah-langkah penalaran, sehingga model meniru pola penalaran Anda, bukan hanya format jawaban Anda.

Chain of thought vs prompt chaining vs tree of thought: apa bedanya?

Chain of thought bernalar di dalam satu prompt. Prompt chaining membagi tugas menjadi beberapa panggilan model yang terpisah, lalu meneruskan output ke langkah berikutnya. Tree of thought mengeksplorasi beberapa cabang penalaran dan memangkas cabang yang lemah. CoT adalah satu jalur linear; dua lainnya menambahkan struktur eksternal di sekitar model.

Siapa yang menciptakan chain of thought prompting?

Chain of thought prompting diperkenalkan oleh Jason Wei dan rekan-rekannya di Google dalam makalah tahun 2022 "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models." Kojima et al. kemudian menambahkan zero-shot CoT, dan Wang et al. menambahkan self-consistency, keduanya juga pada tahun 2022.

Apakah chain of thought prompting efektif untuk pembuatan kode?

Ya, pada model non-reasoning. Meminta model untuk merencanakan logika sebelum menulis kode dapat menangkap edge case dan mengurangi bug pada tugas yang kompleks. Pada model reasoning, perencanaan terjadi secara internal, sehingga instruksi biasa biasanya bekerja lebih baik daripada awalan "reason step by step" yang ditulis manual.