Κρυφή Μνήμη Prompts LLM: Μειώστε τα Κόστη API κατά 90% (Όλοι οι 3 Πάροχοι)

Κρυφή Μνήμη Prompts LLM: Μειώστε τα Κόστη API κατά 90% (Όλοι οι 3 Πάροχοι)

Η κρυφή μνήμη prompts LLM σας επιτρέπει να επαναχρησιμοποιείτε tokens που έχουν ήδη υποστεί επεξεργασία μεταξύ κλήσεων API, μειώνοντας τα κόστη εισόδου έως και 90% και τον χρόνο μέχρι το πρώτο token (time-to-first-token) έως και 85%. Εάν στέλνετε το ίδιο system prompt, ορισμούς εργαλείων ή παραδείγματα few-shot σε κάθε αίτηση, πληρώνετε πλήρη τιμή για εργασία που η GPU έχει ήδη εκτελέσει.

Αυτός ο οδηγός καλύπτει τους OpenAI, Anthropic και Gemini με το ίδιο chatbot υλοποιημένο και στα τρία SDK, κάτι που κανένας άλλος οδηγός δεν κάνει. Θα καλύψουμε επίσης την αυτόματη ενημέρωση caching του Anthropic του Φεβρουαρίου 2026, σενάρια κόστους παραγωγής με πραγματικά ποσά σε δολάρια και τα αντι-μοτίβα που καταστρέφουν σιωπηρά τον ρυθμό επιτυχίας της κρυφής μνήμης σας (cache hit rate).

Γρήγορη Σύνοψη, Οι Τρεις Πάροχοι με μια Ματιά

Πριν βουτήξουμε στις λεπτομέρειες υλοποίησης, εδώ είναι η πλήρης σύγκριση. Εάν γνωρίζετε ήδη ποιον πάροχο χρησιμοποιείτε, μεταβείτε στην ενότητα του. Εάν αξιολογείτε, αυτός ο πίνακας σας λέει όλα όσα χρειάζεστε σε 10 δευτερόλεπτα.

Βασικό συμπέρασμα: Το OpenAI είναι το απλούστερο (μηδενική διαμόρφωση, έκπτωση 50%). Το Anthropic προσφέρει τη βαθύτερη έκπτωση (90%) με τον μεγαλύτερο έλεγχο. Το Gemini προσφέρει διαμορφώσιμο TTL και έμμεσο caching σε μοντέλα 2.5+ με συγκρίσιμες εκπτώσεις με το Anthropic.

Πώς Λειτουργεί η Κρυφή Μνήμη Prompts LLM;

Δεν χρειάζεται να κατανοείτε τις εσωτερικές λειτουργίες των transformers για να χρησιμοποιήσετε αποτελεσματικά την κρυφή μνήμη prompts. Αλλά πρέπει να κατανοήσετε μία έννοια: αντιστοίχιση προθέματος (prefix matching).

Η Κρυφή Μνήμη KV σε 60 Δευτερόλεπτα

Όταν ένα LLM επεξεργάζεται το prompt σας, υπολογίζει καταστάσεις attention (ζεύγη key-value) για κάθε token. Αυτές οι εγγραφές KV cache είναι το ακριβό μέρος, είναι αυτές που καταναλώνουν μνήμη GPU και χρόνο υπολογισμού. Η κρυφή μνήμη prompts αποθηκεύει αυτές τις υπολογισμένες καταστάσεις ώστε η επόμενη αίτηση με το ίδιο πρόθεμα να παρακάμπτει entirely τον επανυπολογισμό.

Η κρίσιμη λέξη είναι πρόθεμα. Η κρυφή μνήμη αντιστοιχίζει από την αρχή του prompt σας προς τα εμπρός. Εάν τα πρώτα 2.000 tokens ταιριάζουν με μια εγγραφή cache αλλά το token 2.001 διαφέρει, αυτά τα πρώτα 2.000 tokens εξυπηρετούνται από την cache. Όλα μετά το σημείο απόκλισης υπολογίζονται από την αρχή.

Γι' αυτό η σειρά του prompt έχει σημασία. Δομήστε τα prompts σας ως εξής:

1. Ορισμοί εργαλείων (πιο στατικά)
2. System prompt
3. Στατικά παραδείγματα few-shot
4. Ανακτημένο context (ημι-δυναμικό)
5. Ιστορικό συνομιλίας (αυξάνεται ανά γύρο)
6. Ερώτηση χρήστη (πάντα διαφορετική)

Στατικό περιεχόμενο πρώτα, δυναμικό περιεχόμενο τελευταίο. Όσα περισσότερα tokens ταιριάζουν με το cached πρόθεμα, τόσο μεγαλύτερη η εξοικονόμηση.

Κρυφή Μνήμη Prompts vs Σημασιολογική Κρυφή Μνήμη vs Κρυφή Μνήμη Απαντήσεων

Αυτοί οι τρεις όροι συγχέονται συνεχώς. Η κρυφή μνήμη prompts (που καλύπτει αυτός ο οδηγός) επαναχρησιμοποιεί υπολογισμένες καταστάσεις KV στο επίπεδο GPU για ίδια προθέματα tokens, χωρίς απώλεια ακρίβειας, με ίδια έξοδο όπως χωρίς cache. Η σημασιολογική κρυφή μνήμη χρησιμοποιεί ομοιότητα embeddings για να επιστρέψει προηγούμενες απαντήσεις για "αρκετά παρόμοια" ερωτήματα, είναι γρηγορότερη αλλά μπορεί να επιστρέψει λάθος απαντήσεις. Η κρυφή μνήμη απαντήσεων αποθηκεύει ακριβή ζεύγη εισόδου-εξόδου και επιστρέφει την cached απάντηση verbatim, λειτουργεί μόνο για truly identical requests.

Η κρυφή μνήμη prompts είναι η μόνη "δωρεάν βελτιστοποίηση", μειώνει το κόστος και τη λανθάνουσα καθυστέρηση χωρίς συμβιβασμό στην ακρίβεια. Για τα βαθιά μαθηματικά των transformers πίσω από την KV caching, η τεχνική εξήγηση του Hugging Face μέτρησε επιτάχυνση ~5.21x σε GPUs T4.

Πώς Διαχειρίζεται το OpenAI την Κρυφή Μνήμη Prompts;

Η κρυφή μνήμη prompts του OpenAI είναι πλήρως αυτόματη. Από τον Οκτώβριο του 2024, κάθε κλήση API με 1.024+ tokens εισόδου ωφελείται αυτόματα από caching. Δεν χρειάζεται opt-in, δεν προσθέτετε headers, δεν αλλάζετε τον κώδικά σας.

Πώς Λειτουργεί το Αυτόματο Caching του OpenAI

Όταν στέλνετε μια αίτηση με τουλάχιστον 1.024 tokens, το OpenAI ελέγχει εάν το πρόθεμα ταιριάζει με μια πρόσφατη αίτηση από τον οργανισμό σας. Οι επιτυχίες cache κοστίζουν 50% της τυπικής τιμής token εισόδου. Μετά το αρχικό όριο των 1.024 tokens, η cache αντιστοιχίζει σε increments 128 tokens.

Η cache ζει για 5-10 λεπτά κατά την κανονική χρήση και μπορεί να persist έως και 24 ώρες με extended retention κατά τις off-peak περιόδους. Είναι scoped per organization, έτσι διαφορετικά projects μέσα στον ίδιο org ωφελούνται από shared caches.

Τα υποστηριζόμενα μοντέλα περιλαμβάνουν GPT-4o, GPT-4o-mini, GPT-4.1, o1, o3-mini και όλα τα νεότερα μοντέλα.

Παράδειγμα Python SDK του OpenAI

from openai import OpenAI

client = OpenAI()

# This system prompt is ~2,000 tokens -- well above the 1,024 minimum
SYSTEM_PROMPT = """You are a senior Python developer specializing in async programming.
You follow PEP 8, use type hints, and write comprehensive docstrings.
When reviewing code, check for: race conditions, resource leaks, error handling,
and performance bottlenecks. Always suggest specific fixes with code examples.
[... imagine 1,800 more tokens of coding guidelines, examples, and rules ...]"""

def chat(user_message: str) -> str:
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {"role": "system", "content": SYSTEM_PROMPT},
            {"role": "user", "content": user_message},
        ],
    )

    # Check if caching kicked in
    usage = response.usage
    cached = usage.prompt_tokens_details.cached_tokens
    total_input = usage.prompt_tokens
    print(f"Cached: {cached}/{total_input} tokens ({cached/total_input*100:.0f}%)")

    return response.choices[0].message.content

# First call: cache miss (full price)
chat("Review this async function for race conditions...")

# Second call within 5-10 min: cache hit (50% off on cached tokens)
chat("Now optimize the same function for throughput...")

Η πρώτη κλήση επεξεργάζεται τα πάντα σε full price και γεμίζει την cache. Η δεύτερη κλήση επαναχρησιμοποιεί τα cached tokens του system prompt στη μισή τιμή. Θα δείτε κάτι σαν Cached: 1920/2048 tokens (94%) στην έξοδο.

Ετυμηγορία: Το OpenAI είναι το ευκολότερο για ξεκίνημα, μηδενική διαμόρφωση, το caching απλά συμβαίνει. Η έκπτωση 50% είναι η χαμηλότερη από τους τρεις παρόχους, αλλά δεν μπορείτε να νικήσετε την απλότητα.

Πώς Διαχειρίζεται το Anthropic/Claude την Κρυφή Μνήμη Prompts;

Το Anthropic προσφέρει δύο modes: αυτόματο caching (ενεργοποιημένο by default από τον Φεβρουάριο 2026) και ρητό caching με breakpoints cache_control. Το νούμερο τίτλου είναι δύσκολο να αγνοηθεί, οι αναγνώσεις cache κοστίζουν μόλις 10% της τυπικής τιμής εισόδου, μια έκπτωση 90%.

Αυτόματο vs Ρητό Caching (Ενημέρωση 2026)

Από τις 5 Φεβρουαρίου 2026, το Anthropic ενεργοποιεί το αυτόματο caching by default για όλα τα eligible prompts. Δεν χρειάζεστε πλέον το old beta header. Το σύστημα καθορίζει αυτόματα τα optimal cache breakpoints.

Το ρητό caching είναι ακόμα διαθέσιμο όταν θέλετε fine-grained έλεγχο. Τοποθετείτε cache_control: {"type": "ephemeral"} σε συγκεκριμένα blocks περιεχομένου για να标记σετε ακριβώς πού πρέπει να είναι το όριο cache. Αυτό είναι χρήσιμο όταν το prompt σας έχει συγκεκριμένη δομή και θέλετε να εγγυηθείτε ότι certain sections θα cached.

Υπάρχουν δύο επιλογές TTL:

• Cache 5 λεπτών (προεπιλογή): οι εγγραφές κοστίζουν 1.25x την base τιμή εισόδου, οι αναγνώσεις κοστίζουν 0.1x. Πληρώνεται μετά από 1 cache hit.
• Cache 1 ώρας: οι εγγραφές κοστίζουν 2x την base τιμή εισόδου, οι αναγνώσεις κοστίζουν 0.1x. Πληρώνεται μετά από 2 cache hits. Διαθέσιμο σε μοντέλα Claude 4.5+.

Η απομόνωση cache άλλαξε από επίπεδο organization σε επίπεδο workspace στις 5 Φεβρουαρίου 2026. Αυτό σημαίνει ότι διαφορετικά workspaces μέσα στον ίδιο οργανισμό διατηρούν separate caches.

Όταν εργάζεστε με το caching του Anthropic, βοηθάει να δομήσετε το prompt σας για optimal caching, τοποθετώντας στατικό περιεχόμενο πριν από δυναμικό είναι ακόμη πιο σημαντικό εδώ καθώς πληρώνετε premium εγγραφής.

Παράδειγμα Python SDK του Anthropic

import anthropic

client = anthropic.Anthropic()

SYSTEM_PROMPT = """You are a senior Python developer specializing in async programming.
You follow PEP 8, use type hints, and write comprehensive docstrings.
When reviewing code, check for: race conditions, resource leaks, error handling,
and performance bottlenecks. Always suggest specific fixes with code examples.
[... imagine 1,800 more tokens of coding guidelines, examples, and rules ...]"""

def chat(user_message: str) -> str:
    response = client.messages.create(
        model="claude-sonnet-4-5-20250514",
        max_tokens=1024,
        system=[
            {
                "type": "text",
                "text": SYSTEM_PROMPT,
                "cache_control": {"type": "ephemeral"},  # Explicit breakpoint
            }
        ],
        messages=[
            {"role": "user", "content": user_message},
        ],
    )

    # Read cache metrics from the response
    usage = response.usage
    created = usage.cache_creation_input_tokens
    read = usage.cache_read_input_tokens
    standard = usage.input_tokens
    print(f"Cache write: {created}, Cache read: {read}, Standard: {standard}")

    return response.content[0].text

# First call: cache_creation_input_tokens = ~1920 (write at 1.25x)
chat("Review this async function for race conditions...")

# Second call: cache_read_input_tokens = ~1920 (read at 0.1x -- 90% off!)
chat("Now optimize the same function for throughput...")

Κατανόηση Τιμολόγησης Εγγραφής Cache vs Ανάγνωσης Cache

Εδώ γίνεται ενδιαφέρουσα η τιμολόγηση του Anthropic. Χρησιμοποιώντας το Claude Sonnet 4.5 ($3/MTok base input) ως παράδειγμα:

• Τυπική είσοδος: $3.00 ανά εκατομμύριο tokens
• Εγγραφή cache (5-λεπτά): $3.75 ανά εκατομμύριο tokens (1.25x), πληρώνετε περισσότερο την πρώτη φορά
• Ανάγνωση cache: $0.30 ανά εκατομμύριο tokens (0.1x) -- 90% φθηνότερα σε κάθε subsequent hit

Το cache 5 λεπτών πληρώνεται μετά από μόλις 1 ανάγνωση. Το cache 1 ώρας ($6.00/MTok write) πληρώνεται μετά από 2 αναγνώσεις. Εάν κάνετε περισσότερες από μερικές αιτήσεις ανά λεπτό με το ίδιο πρόθεμα, τα μαθηματικά είναι συντριπτικά υπέρ σας.

Ετυμηγορία: Το Anthropic δίνει τη βαθύτερη έκπτωση (90%) και τον περισσότερο έλεγχο. Καλύτερο για high-volume, cost-sensitive workloads.

Πώς Διαχειρίζεται το Google Gemini την Κρυφή Μνήμη Prompts;

Το Gemini ακολουθεί διαφορετική προσέγγιση με δύο distinct μηχανισμούς caching: ρητό context caching (ονομαζόμενα αντικείμενα cache που δημιουργείτε και αναφέρετε) και έμμεσο caching (αυτόματο, zero-config, προστέθηκε το 2026 για μοντέλα Gemini 2.5+).

Ρητό Context Caching (Ονομαζόμενες Caches)

Σε αντίθεση με το OpenAI και το Anthropic όπου το caching είναι transparent, το ρητό caching του Gemini απαιτεί να δημιουργήσετε πρώτα ένα ονομαζόμενο αντικείμενο cache και μετά να το αναφέρετε σε subsequent requests. Το ελάχιστο όριο tokens είναι 1.024 tokens για μοντέλα Gemini Flash και 4.096 tokens για μοντέλα Pro. Το TTL είναι διαμορφώσιμο, η προεπιλογή είναι 1 ώρα, αλλά μπορείτε να το ορίσετε όπως χρειάζεστε.

Τα cached tokens στο Gemini 2.5 Pro τιμολογούνται στα $0.125/MTok έναντι της τυπικής τιμής εισόδου $1.25/MTok, μια έκπτωση 90%. Υπάρχει επίσης κόστος αποθήκευσης $4.50 ανά εκατομμύριο tokens ανά ώρα για Pro, και $1.00 για Flash.

Έμμεσο Caching στο Gemini 2.5 (2026)

Ξεκινώντας με το Gemini 2.5 Pro και Flash, η Google πρόσθεσε έμμεσο caching, αυτόματο caching που λειτουργεί όπως η προσέγγιση του OpenAI. Δεν χρειάζεται διαμόρφωση. Τοποθετήστε μεγάλο, κοινό περιεχόμενο στην αρχή του prompt σας και στείλτε αιτήσεις με παρόμοια προθέματα σε γρήγορη διαδοχή. Το σύστημα ανιχνεύει αυτόματα content eligible για cache και περνάει τις εξοικονομήσεις.

Παράδειγμα Python SDK του Gemini

from google import genai
from google.genai import types

client = genai.Client()

SYSTEM_PROMPT = """You are a senior Python developer specializing in async programming.
You follow PEP 8, use type hints, and write comprehensive docstrings.
When reviewing code, check for: race conditions, resource leaks, error handling,
and performance bottlenecks. Always suggest specific fixes with code examples.
[... imagine 1,800 more tokens of coding guidelines, examples, and rules ...]"""

# Step 1: Create a named cache object
cache = client.caches.create(
    model="gemini-2.5-flash",
    config=types.CreateCachedContentConfig(
        display_name="python-review-guidelines",
        system_instruction=SYSTEM_PROMPT,
        ttl="3600s",  # 1 hour
    ),
)

print(f"Cache created: {cache.name}, expires: {cache.expire_time}")

# Step 2: Use the cache in requests
response = client.models.generate_content(
    model="gemini-2.5-flash",
    contents="Review this async function for race conditions...",
    config=types.GenerateContentConfig(
        cached_content=cache.name,
    ),
)

# Check cache usage in the response
metadata = response.usage_metadata
print(f"Cached tokens: {metadata.cached_content_token_count}")
print(f"Total input tokens: {metadata.prompt_token_count}")

Η ρητή προσέγγιση έχει ένα μεγάλο πλεονέκτημα: ελέγχετε precisely το TTL. Εάν γνωρίζετε ότι η batch job σας τρέχει για 4 ώρες, ορίστε TTL 4 ωρών και αποφύγετε την expiration της cache στη μέση της επεξεργασίας.

Ετυμηγορία: Το διαμορφώσιμο TTL του Gemini και οι dual modes caching (ρητό + έμμεσο) το κάνουν versatile. Το ελάχιστο όριο είναι τώρα συγκρίσιμο με άλλους παρόχους και η έκπτωση 90% στις cached αναγνώσεις ταιριάζει με το Anthropic.

Συγκριτικός Κώδικας Side-by-Side, Ίδια Χρήση, Όλοι οι 3 Πάροχοι

Εδώ είναι το ίδιο chatbot με cached system prompt, υλοποιημένο και στα τρία SDK. Συγκρίνετε άμεσα την εμπειρία developer.

# --- OpenAI: Zero config, just call the API ---
from openai import OpenAI
client = OpenAI()

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {"role": "system", "content": SYSTEM_PROMPT},  # Cached automatically
        {"role": "user", "content": user_message},
    ],
)
cached = response.usage.prompt_tokens_details.cached_tokens

# --- Anthropic: Explicit cache_control breakpoint ---
import anthropic
client = anthropic.Anthropic()

response = client.messages.create(
    model="claude-sonnet-4-5-20250514",
    max_tokens=1024,
    system=[{
        "type": "text",
        "text": SYSTEM_PROMPT,
        "cache_control": {"type": "ephemeral"},  # Mark cache boundary
    }],
    messages=[{"role": "user", "content": user_message}],
)
cached = response.usage.cache_read_input_tokens

# --- Gemini: Named cache object ---
from google import genai
from google.genai import types

client = genai.Client()
cache = client.caches.create(
    model="gemini-2.5-flash",
    config=types.CreateCachedContentConfig(
        system_instruction=SYSTEM_PROMPT,
        ttl="3600s",
    ),
)
response = client.models.generate_content(
    model="gemini-2.5-flash",
    contents=user_message,
    config=types.GenerateContentConfig(cached_content=cache.name),
)
cached = response.usage_metadata.cached_content_token_count

Εάν θέλετε εξοικονόμηση χωρίς effort, επιλέξτε OpenAI. Εάν θέλετε τη βαθύτερη έκπτωση και fine-grained έλεγχο, επιλέξτε Anthropic. Εάν χρειάζεστε διαμορφώσιμες διάρκειες ζωής cache ή είστε ήδη στο Google Cloud, επιλέξτε Gemini.

Υπολογιστής Κόστους Παραγωγής, Πραγματικές Εξοικονομήσεις σε Κλίμακα

Τα αφηρημένα ποσοστά δεν驱动ούν αποφάσεις. Τα ποσά σε δολάρια ναι. Εδώ είναι τρία σενάρια παραγωγής με real cost estimates χρησιμοποιώντας Claude Sonnet 4.5 ($3/MTok input), GPT-4o ($2.50/MTok input) και Gemini 2.5 Pro ($1.25/MTok input).

Τιμές επαληθεύτηκαν Μάρτιος 2026. Ελέγξτε τιμές Anthropic, τιμές OpenAI και τιμές Gemini για current rates.

Υποθέσεις: 80% ρυθμός επιτυχίας cache (realistic για well-structured prompts), τα tokens εξόδου εξαιρούνται καθώς το caching επηρεάζει μόνο τα κόστη εισόδου.

Στο tier Growth, το caching Anthropic εξοικονομεί $576/μήνα παρόλο που έχει υψηλότερη base τιμή από το OpenAI. Σε enterprise scale, μιλάμε για $7,200/μήνα σε εξοικονομήσεις με Anthropic, ή $86,400 ετησίως. Αυτό ισοδυναμεί με εξοικονόμηση ενός senior engineer από μια αλλαγή διαμόρφωσης.

Το μοτίβο είναι ξεκάθαρο: όσο higher ο όγκος αιτήσεων και όσο longer το στατικό πρόθεμα, τόσο more saves το caching. Η έκπτωση 90% του Anthropic κυριαρχεί σε scale, αλλά η lower base τιμή του Gemini το κάνει competitive όταν συνυπολογίζετε το total cost.

Αντι-Μοτίβα Κρυφής Μνήμης Prompts, Πότε ΝΑ ΜΗΝ Κάνετε Cache

Το caching φαίνεται απλό μέχρι ο ρυθμός επιτυχίας cache σας να κάθεται μυστηριωδώς στο 0%. Εδώ είναι τα λάθη που break silently το prompt caching και πώς να τα διορθώσετε.

Λάθη που Break την Cache (Με Fixes)

Timestamps στα system prompts, Το πιο κοινό λάθος. Εάν το system prompt σας περιλαμβάνει datetime.now(), το cache key αλλάζει κάθε δευτερόλεπτο.

# BAD: Cache misses every single request
system_prompt = f"""You are a helpful assistant.
Current time: {datetime.now().isoformat()}
Always be helpful and accurate."""

# GOOD: Move the timestamp to the user message
system_prompt = """You are a helpful assistant.
Always be helpful and accurate."""

user_message = f"[Current time: {datetime.now().isoformat()}]\n{user_query}"

Περιεχόμενο specific για χρήστη πριν από στατικό περιεχόμενο, Εάν βάλετε session_id ή προτιμήσεις χρήστη στην αρχή, κάθε χρήστης получает unique πρόθεμα.

# BAD: Unique prefix per user = zero cache reuse
messages = [
    {"role": "system", "content": f"User ID: {user_id}\nPreferences: {prefs}\n{GUIDELINES}"},
    {"role": "user", "content": query},
]

# GOOD: Static content first, user context at the end
messages = [
    {"role": "system", "content": GUIDELINES},  # Same for all users -> cached
    {"role": "user", "content": f"Context: User {user_id}, prefs: {prefs}\n{query}"},
]

Πότε η Κρυφή Μνήμη Prompts Πραγματικά Δεν Βοηθάει

Ορισμένα σενάρια δεν θα ωφεληθούν από caching even if structure perfectly τα prompts σας:

• Prompts single-use: Εάν κάθε request έχει completely unique context και no shared πρόθεμα, δεν υπάρχει τίποτα για cache.
• Very short prompts: Κάτω από 1.024 tokens (OpenAI/Anthropic) ή 4.096 tokens (Gemini Pro), το caching δεν activates.
• Infrequent requests: Εάν τα requests είναι hours apart, η cache expires πριν έρθει second request. Το παράθυρο 5-10 λεπτών του OpenAI και το default TTL 5 λεπτών του Anthropic σημαίνουν ότι χρειάζεστε consistent traffic.

Λειτουργεί η Κρυφή Μνήμη Prompts με Streaming;

Ναι. Η κρυφή μνήμη prompts και το streaming είναι independent, το caching operates σε input tokens, το streaming affects output delivery. Λύνουν different problems σε different stages του lifecycle request.

Η cache χειρίζεται τη φάση prefill (επεξεργασία input prompt σας). Το streaming χειρίζεται τη φάση decode (παραγωγή και αποστολή output tokens incrementally). Παίρνετε και τα δύο benefits simultaneously: faster prefill από το cache hit, plus progressive output delivery από streaming.

Εδώ είναι ένα παράδειγμα streaming με enabled caching:

import anthropic

client = anthropic.Anthropic()

with client.messages.stream(
    model="claude-sonnet-4-5-20250514",
    max_tokens=1024,
    system=[{
        "type": "text",
        "text": SYSTEM_PROMPT,
        "cache_control": {"type": "ephemeral"},
    }],
    messages=[{"role": "user", "content": "Explain Python's GIL..."}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)

    # After streaming completes, check cache metrics
    usage = stream.get_final_message().usage
    print(f"\nCache read: {usage.cache_read_input_tokens} tokens")

Η βελτίωση TTFT από caching είναι actually πιο noticeable με streaming. Χωρίς caching, περιμένετε full prefill πριν stream back το πρώτο token. Με caching, το prefill είναι near-instant, έτσι τα tokens start flowing almost immediately.

Πώς να Παρακολουθείτε Ρυθμούς Επιτυχίας Cache σε Παραγωγή

Η setup caching είναι half the battle. To know whether it's actually working is the other half. Εάν ο ρυθμός επιτυχίας cache σας πέσει κάτω από 50%, something changed στη δομή prompt σας και αφήνετε money on the table.

Provider-Specific Μετρικές Cache

Ένας Απλός Logger Ρυθμού Επιτυχίας Cache

Εδώ είναι μια utility function που μπορείτε να drop σε οποιοδήποτε project για track cache hit rates via API response fields:

import logging

logger = logging.getLogger("cache_monitor")

def log_cache_metrics(provider: str, usage: dict) -> float:
    """Extract and log cache metrics from any provider's response. Returns hit rate."""

    if provider == "openai":
        cached = getattr(usage.prompt_tokens_details, "cached_tokens", 0)
        total = usage.prompt_tokens
    elif provider == "anthropic":
        cached = usage.cache_read_input_tokens
        created = usage.cache_creation_input_tokens
        total = cached + created + usage.input_tokens
    elif provider == "gemini":
        cached = getattr(usage, "cached_content_token_count", 0)
        total = usage.prompt_token_count
    else:
        raise ValueError(f"Unknown provider: {provider}")

    hit_rate = (cached / total * 100) if total > 0 else 0
    logger.info(f"[{provider}] Cache hit rate: {hit_rate:.1f}% ({cached}/{total} tokens)")

    if hit_rate < 50:
        logger.warning(f"[{provider}] Low cache hit rate! Check prompt structure.")

    return hit_rate

Ένα healthy production system should sustain 70-90% ρυθμούς επιτυχίας cache. Εάν είστε κάτω από 50%, revisit την ενότητα anti-patterns. Μπορείτε επίσης να integrate αυτό με automated evaluation metrics για catch regressions στο prompt pipeline σας.

Κρυφή Μνήμη Prompts σε Real-World Use Cases

Τα παραδείγματα chatbot above illustrate τα mechanics, αλλά το prompt caching really shines σε specific architectural patterns.

RAG Pipelines

Σε ένα setup RAG, το system prompt και τα few-shot examples είναι static across all queries. Τα retrieved documents change every time. Structure το prompt σας για maximize το cached πρόθεμα:

1. System prompt (cached)
2. Few-shot examples (cached)
3. Retrieved documents (dynamic, goes last)
4. User query (always unique)

Με ένα system prompt 5.000 tokens και 3.000 tokens few-shot examples, αυτά είναι 8.000 tokens cached σε κάθε request. Σε 1.000 requests/day στο Anthropic, θα save roughly $6.50/day just στο cached πρόθεμα alone. Όταν retrieve and cache context blocks, βεβαιωθείτε ότι το retrieval output comes after το static πρόθεμα.

Multi-Turn Chatbots

Οι multi-turn conversations είναι sweet spot για prompt caching. Κάθε turn adds στο conversation history, αλλά ολόκληρο το previous conversation είναι already cached από prior turns. Το cache benefit compounds, by turn 10, you might have 15.000 tokens cached history με only 200 fresh tokens από το latest user message.

Agentic Systems και Ορισμοί Εργαλείων MCP

Εάν build agents με tool use, οι ορισμοί εργαλείων σας είναι static JSON schemas repeated σε every single API call. Ένα typical agent might have 20+ tools totaling 3.000-5.000 tokens definitions. Αυτό είναι prime caching material.

Αυτό είναι especially relevant για MCP-based architectures όπου server tool definitions get sent on every call. Με το explicit cache_control του Anthropic, μπορείτε να mark τον πίνακα tools για caching και guarantee ότι those tokens are reused.

Ποιον Πάροχο Να Επιλέξετε;

Εάν χρησιμοποιείτε ήδη έναν πάροχο, start there, το prompt caching doesn't require switching. Το LiteLLM acts as a proxy layer που normalizes caching parameters across providers, which is useful εάν route requests σε multiple models.

FAQ, Κρυφή Μνήμη Prompts LLM

Τι είναι η κρυφή μνήμη prompts στα LLMs;

Η κρυφή μνήμη prompts αποθηκεύει τις υπολογισμένες καταστάσεις attention (KV cache) από previously processed prompt prefixes. Όταν ένα subsequent request starts με το same token sequence, ο πάροχος reuses those stored states instead of recomputing them, reducing both cost and latency with zero impact on output quality.

Πόσο εξοικονομεί η κρυφή μνήμη prompts στα κόστη API;

Οι εξοικονομήσεις range from 50% to 90% depending on the provider. Το OpenAI offers a 50% discount on cached input tokens. Το Anthropic offers up to 90% off (cached reads at 0.1x base price). Το Gemini offers roughly 90% off on cached reads. Actual savings depend on your cache hit rate, prompt length, and request frequency.

Γίνεται αυτόματα η κρυφή μνήμη prompts του OpenAI;

Ναι, από τον Οκτώβριο 2024. Οποιαδήποτε κλήση API με 1.024+ input tokens automatically benefits from caching. No opt-in, no headers, no code changes required. Η cache matches token prefixes from the beginning of the prompt.

Ποια είναι η διαφορά μεταξύ κρυφής μνήμης prompts και σημασιολογικής κρυφής μνήμης;

Η κρυφή μνήμη prompts matches exact token prefixes στο GPU level, there's no accuracy loss, και outputs are identical to uncached requests. Η σημασιολογική κρυφή μνήμη uses embedding similarity για find "close enough" previous queries και returns cached responses, it's faster but can return incorrect or outdated answers. Λύνουν fundamentally different problems.

Πόσο διαρκεί η κρυφή μνήμη prompts;

Varies by provider. OpenAI: 5-10 minutes (up to 24 hours with extended retention). Anthropic: 5 minutes (default) or 1 hour (available on Claude 4.5+ models, costs 2x write). Gemini: configurable, defaults to 1 hour for explicit caches. Implicit caching TTL is managed by Google automatically.

Ποιο είναι το ελάχιστο μήκος tokens για κρυφή μνήμη prompts;

OpenAI: 1.024 tokens. Anthropic: 1.024 tokens for most current models. Gemini: 1.024 tokens for Flash models, 4.096 for Pro models. Prompts below these thresholds won't activate caching, this is the most common "it's not working" gotcha.

Λειτουργεί η κρυφή μνήμη prompts με streaming responses;

Ναι. Caching and streaming operate σε different phases του request. Caching speeds up the input prefill phase; streaming delivers output tokens incrementally. Both work simultaneously, και will actually notice the TTFT improvement more με streaming enabled.

Πότε ΝΑ ΜΗΝ χρησιμοποιώ κρυφή μνήμη prompts;

Avoid relying on caching όταν τα prompts σας είναι under the minimum token threshold, όταν include timestamps ή session IDs στο system prompt, όταν rotate few-shot examples μεταξύ calls, ή όταν requests are too infrequent να hit the cache πριν expire (5-10 minute window για OpenAI/Anthropic).

Μπορώ να χρησιμοποιήσω κρυφή μνήμη prompts με LangChain ή LiteLLM;

Ναι. Το LangChain passes provider-specific caching parameters μέσω των API wrappers του. Το LiteLLM provides a unified caching syntax που normalizes cache_control across Anthropic, OpenAI, Gemini, Vertex AI, και Bedrock, particularly useful για multi-provider setups.

Τι είναι cache hit vs cache miss;

Ένα cache hit means ο πάροχος found a matching prefix στη memory και reused the stored KV states, pay the discounted cached token rate και get faster TTFT. Ένα cache miss means no match was found, so the full prompt is processed from scratch σε standard pricing. Check τα πεδία cached_tokens (OpenAI), cache_read_input_tokens (Anthropic), ή cachedContentTokenCount (Gemini) στην API response για see which occurred.

Τελική Ετυμηγορία

Η κρυφή μνήμη prompts είναι η lowest-effort, highest-return optimization στο LLM API stack. Δεν αλλάζετε το model σας, δεν sacrifice quality, και η implementation ranges από "do nothing" (OpenAI) σε "add one field" (Anthropic) σε "create a cache object" (Gemini).

Start με το automatic caching του current provider σας. Measure το cache hit rate σας με την logging utility above. Εάν είστε κάτω από 70%, restructure τα prompts σας (static first, dynamic last) και eliminate τα anti-patterns. Most teams see 50-80% cost reduction within a day implementing these changes.

Πηγές

• Τεκμηρίωση Κρυφής Μνήμης Prompts Anthropic
• Οδηγός Κρυφής Μνήμης Prompts OpenAI
• Τεκμηρίωση Context Caching Gemini
• Τιμές Μοντέλων Anthropic
• Τιμές API Gemini
• Εξήγηση KV Caching, Blog Hugging Face
• Τεκμηρίωση Κρυφής Μνήμης Prompts LiteLLM