Screaming Frog Leitfaden 2026: Technische SEO-Audits mit KI-Integration

Screaming Frog SEO Spider ist ein Desktop-basierter Website-Crawler, der pro Crawl 300+ technische SEO-Probleme identifiziert -- defekte Links, doppelte Titel, Redirect-Ketten, fehlendes Schema und mehr. Wenn Sie sich schon immer gefragt haben, wie Agenturen Sites mit Millionen von Seiten auditieren: Das ist das Tool, nach dem sie zuerst greifen.

Dieser Leitfaden deckt alles ab -- vom ersten Crawl bis zur fortgeschrittenen KI-Prompt-Integration, benutzerdefinierten XPath-Extraktionen und den Regex-Mustern, die bei jedem Audit Stunden sparen.

Was ist Screaming Frog und warum schwören SEOs darauf?

Screaming Frog SEO Spider ist eine Desktop-Anwendung, die Websites genau so crawlt wie Google -- und dabei jede URL auf technische SEO-Probleme wie defekte Links, fehlende Meta-Tags, Redirect-Ketten und verwaiste Seiten analysiert, ohne Ihre Daten in eine fremde Cloud zu senden.

Im Gegensatz zu Cloud-basierten Crawlern, die Ihre Crawl-Geschwindigkeit drosseln und pro URL berechnen, läuft Screaming Frog lokal auf Ihrem Rechner. Sie haben volle Kontrolle über Crawl-Tiefe, Rendering und Geschwindigkeit. Deshalb ist es seit 2010 das bevorzugte technische SEO-Audit-Tool für Agenturen, interne Teams und Entwickler.

Das Tool erfasst Response Codes, Seitentitel, Meta-Beschreibungen, H1/H2-Analyse, Bild-Alt-Texte, Canonical-Tags, hreflang-Implementierung, strukturierte Daten-Validierung und JavaScript-Rendering. Es integriert sich in Google Analytics, Google Search Console, PageSpeed Insights und -- seit v21 -- in KI-Anbieter wie OpenAI und Google Gemini.

Einen umfassenderen Blick darauf, wie Screaming Frog neben anderen Tools einzuordnen ist, finden Sie in unserem vollständigen SEO-Tools-Überblick.

Kostenlos vs. kostenpflichtig: Was Sie wirklich bekommen

Die kostenlose Version ist für kleine Sites durchaus brauchbar. Sobald Sie jedoch das 500-URL-Limit erreichen, benötigen Sie die kostenpflichtige Lizenz für £199/Jahr (~259 $).

So richten Sie Screaming Frog für Ihren ersten Crawl ein

Vom Download bis zum laufenden Crawl dauert es etwa fünf Minuten. Screaming Frog läuft auf Windows, macOS und Linux -- es ist eine Java-Anwendung, die überall dort funktioniert, wo eine JVM verfügbar ist.

Download und Installation

Laden Sie das Installationsprogramm von screamingfrog.co.uk herunter. Wenn Sie eine kostenpflichtige Lizenz haben, aktivieren Sie diese nach der Installation unter Lizenz > Lizenz eingeben. Die kostenlose Version funktioniert sofort ohne Registrierung.

Konfigurationseinstellungen, die tatsächlich wichtig sind

Bevor Sie auf Start klicken, passen Sie drei Dinge an:

1. User-Agent -- Konfiguration > User-Agent. Standard ist "Screaming Frog SEO Spider". Wechseln Sie zu Googlebot, wenn Sie sehen möchten, was Google sieht (manche Sites liefern je nach User-Agent unterschiedliche Inhalte).

2. Crawl-Geschwindigkeit -- Konfiguration > Geschwindigkeit. Die Standard-5-Threads sind für die meisten Sites in Ordnung. Für Ihre eigene Site können Sie auf 10-20 erhöhen. Für Kunden-Sites bleiben Sie konservativ, um Rate-Limits nicht auszulösen.

3. Rendering-Modus -- Konfiguration > Spider > Rendering. Stellen Sie auf JavaScript ein, wenn die Site React, Angular, Vue oder ein SPA-Framework verwendet. Dabei kommt Chromium zum Einsatz, was Crawls deutlich verlangsamt -- ohne diese Einstellung verpassen Sie jedoch dynamisch geladene Inhalte.

4. Speicherzuweisung -- Das ist die Einstellung, die die meisten überspringen. Der Standard-2-GB reicht bei ca. 30.000 URLs nicht mehr aus.

# Speicherzuweisung für große Sites erhöhen
# ScreamingFrogSEOSpider.l4j.ini (Windows) oder Info.plist (Mac) bearbeiten
-Xmx8g

Wenn Sie eine Site mit 50.000+ Seiten crawlen, erhöhen Sie den Speicher auf mindestens 8 GB. Bei Sites mit 500.000+ URLs weisen Sie 16 GB zu und wechseln Sie zum Datenbankspeichermodus unter Konfiguration > System > Speichermodus > Datenbank.

Geben Sie Ihre URL in die obere Leiste ein und klicken Sie auf Start. Das war es.

Ihr erstes technisches SEO-Audit durchführen

Ein technisches SEO-Audit in Screaming Frog folgt fünf Schritten: Site crawlen, Response Codes prüfen, Meta-Tags kontrollieren, interne Links auditieren und Berichte für Ihr Team exportieren -- ein Prozess, der Probleme aufdeckt, die bei manueller Überprüfung unsichtbar bleiben.

Laut dem Semrush-Website-Health-Benchmark 2025 scheitern 72 % der Websites an mindestens einem kritischen technischen SEO-Faktor. In unserer Erfahrung deckt der erste Crawl jeder Site mindestens 5-10 kritische Probleme auf, die ohne einen Crawler unsichtbar sind.

Für ein vollständiges Verständnis der technischen SEO-Grundlagen lesen Sie unseren vollständigen SEO-Leitfaden.

Response Codes verstehen (200, 301, 302, 404, 500)

Klicken Sie nach Abschluss des Crawls auf den Tab Response Codes. Das sollten Sie priorisieren:

• 4xx (Client-Fehler) -- Defekte Seiten. Diese benötigen Weiterleitungen oder Inhalte. Sortieren Sie nach Inlinks, um die wirkungsvollsten zuerst zu beheben.
• 3xx (Weiterleitungen) -- Per se nicht schlecht, aber Redirect-Ketten (301 > 301 > 200) verschwenden Crawl-Budget. Prüfen Sie Berichte > Redirect-Ketten.
• 5xx (Server-Fehler) -- Ihr Server hat bei diesen URLs Probleme. Könnte Timeout-Fehler, fehlende Datenbankeinträge oder falsch konfigurierte Routen sein.
• 200 mit Problemen -- Seiten, die zwar laden, aber dünne Inhalte, doppelte Titel oder fehlende Meta-Beschreibungen haben. Filtern Sie über die Tabs Seitentitel oder Meta-Beschreibungen.

Meta-Tags und Titel-Audit

Der Tab Seitentitel markiert Duplikate, fehlende Titel, Titel über 60 Zeichen und Titel unter 30 Zeichen. Dasselbe gilt für Meta-Beschreibungen -- filtern Sie nach "Fehlend", "Duplikat" oder "Über 160 Zeichen".

Sortieren Sie nach Inlinks, um Ihre am häufigsten verlinkten Seiten zu priorisieren. Eine fehlende Meta-Beschreibung auf Ihrer Startseite ist wichtiger als eine auf einer Paginierungsseite.

Interne Verlinkungsanalyse

Der Tab Intern zeigt jeden internen Link auf Ihrer Site mit Ankertext, Link-Tiefe und Follow/Nofollow-Status. Zwei Dinge sollten Sie sofort prüfen:

• Verwaiste Seiten -- Seiten ohne interne Links, die auf sie verweisen. Diese finden Sie unter Berichte > Verwaiste Seiten (erfordert eine Sitemap oder Google Analytics-Integration).
• Tiefe Seiten -- Alles jenseits von Crawl-Tiefe 3 erhält wahrscheinlich minimales Link-Equity. Filtern Sie nach Crawl-Tiefe und erwägen Sie, interne Links zu wichtigen tiefen Seiten hinzuzufügen.

Für die Content-Optimierung nach Abschluss Ihres technischen Audits empfehlen wir unseren Surfer SEO-Leitfaden.

Defekte Links, Weiterleitungen und Canonicals finden und beheben

Diese drei Probleme sind für die Mehrheit der technischen SEO-Probleme auf den meisten Sites verantwortlich. Screaming Frog macht sie alle in einem einzigen Crawl sichtbar.

Defekte Links: In 3 Schritten finden und beheben

1. Gehen Sie zu Response Codes > filtern nach Client-Fehler (4xx)
2. Rechtsklick auf eine defekte URL > Inlinks, um zu sehen, welche Seiten darauf verlinken
3. Exportieren Sie die Liste (Export > Alle) und übergeben Sie sie Ihrem Entwicklungsteam mit empfohlenen Redirect-Zielen

Profi-Tipp: Sortieren Sie defekte URLs nach Anzahl der Inlinks. Eine 404-Seite mit 50 internen Links, die darauf verweisen, verliert Link-Equity. Eine 404 mit 1 Inlink aus einer Fußzeile ist niedrige Priorität.

Redirect-Ketten: Warum sie Ihr Crawl-Budget ruinieren

Redirect-Ketten mit 3+ Hops sind nicht nur langsam -- Google hört unter Umständen ganz auf, ihnen zu folgen. Screaming Frog markiert diese automatisch unter Berichte > Redirect-Ketten.

Die Lösung ist einfach: Aktualisieren Sie die Ursprungs-URL, damit sie direkt auf das finale Ziel verweist. Wenn Seite A auf Seite B weiterleitet, die wiederum auf Seite C weiterleitet, aktualisieren Sie die Weiterleitung von Seite A so, dass sie direkt zu Seite C führt.

Prüfen Sie auch Berichte > Redirect-Schleifen. Eine Schleife (A > B > A) erzeugt eine unendliche Weiterleitung, die einen Browser-Fehler zurückgibt. Das sind kritische Fixes.

Canonical-Tag-Audit

Achten Sie unter dem Tab Canonicals auf drei Probleme:

• Fehlende Canonicals -- Jede indexierbare Seite sollte einen selbstreferenzierenden Canonical haben
• Canonical auf falsche URL -- Seiten, die ihren Canonical auf eine unzugehörige Seite verweisen (häufig nach Site-Migrationen)
• Nicht-indexierbare Canonical-Ziele -- Ein Canonical, der auf eine 404 oder nicht-indexierte Seite verweist, verfehlt seinen Zweck

Benutzerdefinierte Extraktion mit XPath und CSS-Selektoren

Die benutzerdefinierte Extraktion ermöglicht es Ihnen, während eines Crawls spezifische Daten von jeder Seite abzurufen -- strukturierte Daten, Tracking-Codes, Open Graph-Tags oder beliebige HTML-Elemente -- und verwandelt Screaming Frog von einem Auditor in einen vollständigen Site-Scraper.

Das ist die Funktion, die Power-User von Einsteigern unterscheidet. Wir setzen benutzerdefinierte Extraktion bei jedem Audit ein, um Tracking-Codes und Schema-Markup gleichzeitig über Tausende von Seiten zu verifizieren. Screaming Frog-Crawl-Daten lassen sich mit Keyword-Daten aus Tools wie Semrush für ein vollständiges Bild kombinieren.

Richten Sie es ein unter Konfiguration > Benutzerdefiniert > Extraktion. Wählen Sie XPath oder CSS-Pfad, fügen Sie Ihren Selektor ein und starten Sie den Crawl. Die Ergebnisse erscheinen im eigenen Tab.

Hier sind fünf Extraktionen, die ich bei nahezu jedem Audit verwende:

// Schema-Typ aus JSON-LD extrahieren
//script[@type='application/ld+json']

// Alle H2-Überschriften extrahieren
//h2/text()

/* Canonical-URL extrahieren */
link[rel='canonical']::attr(href)

// Open Graph-Titel extrahieren
//meta[@property='og:title']/@content

// Auf Google Analytics 4 Tracking prüfen
//script[contains(@src,'gtag')]/@src

Die JSON-LD-Extraktion ist besonders mächtig. Führen Sie sie über eine gesamte Site aus und Sie sehen sofort, welche Seiten strukturierte Daten haben und welche nicht -- ohne manuelles Seite-für-Seite-Prüfen.

Sie können bis zu 100 benutzerdefinierte Extraktionen pro Crawl hinzufügen (nur kostenpflichtige Version). Kombinieren Sie diese, um in einem einzigen Durchlauf ein vollständiges Audit der Metadaten, des Trackings, des Schemas und der Drittanbieter-Skripte Ihrer Site zu erstellen.

Wie funktioniert die KI-Integration von Screaming Frog mit OpenAI, Gemini und Anthropic?

Die KI-Integration von Screaming Frog (v21+) führt benutzerdefinierte Prompts gegen den Inhalt jeder Seite während eines Crawls aus -- damit können Sie Content-Qualität klassifizieren, fehlendes Schema erkennen, Meta-Beschreibungen bewerten und interne Linkchancen im großen Maßstab mithilfe von OpenAI, Google Gemini, Anthropic Claude oder lokalen Ollama-Modellen finden.

Das ist die Funktion, die kein anderer Screaming Frog-Leitfaden abdeckt, und der wichtigste Grund für ein Upgrade auf v23. Nach dem Testen aller vier KI-Anbieter in Screaming Frog liefert OpenAI für SEO-Klassifizierungsaufgaben am konsistentesten strukturierte Antworten, obwohl Gemini 2.5 Flash für einfache Ja/Nein-Prüfungen schneller und günstiger ist.

Workshop Digital hat dokumentiert, wie sie die KI-Integration nutzten, um Tausende von Seiten in einem Bruchteil der Zeit zu auditieren, die eine manuelle Überprüfung erfordert hätte.

KI-Anbieter einrichten (OpenAI, Gemini, Anthropic, Ollama)

Konfiguration > KI > Anbieter auswählen. API-Schlüssel eingeben und Modell auswählen. In v23 sind die Standard-Modelle:

• OpenAI: gpt-5-mini (schnell, günstig, gut für die Klassifizierung)
• Google Gemini: gemini-2.5-flash (schnellste Option, ideal für Massenanalysen)
• Anthropic: claude-sonnet-4-5 (am besten für nuancierte Content-Analyse)
• Ollama: Beliebiges lokales Modell (kostenlos, privat, keine API-Kosten -- aber langsamer)

Sie können bis zu 100 benutzerdefinierte Screaming Frog KI-Prompts pro Crawl hinzufügen. Ergebnisse erscheinen im KI-Tab mit einer Spalte pro Prompt.

5 fertige KI-Prompt-Vorlagen

Kopieren Sie diese direkt in Konfiguration > KI > Prompt hinzufügen:

Prompt 1: Content-Qualitäts-Klassifizierer
"Analysieren Sie den Inhalt dieser Seite. Klassifizieren Sie als: Dünn (<300 Wörter einzigartiger Inhalt), Ausreichend (300-800 Wörter), Umfassend (800+ Wörter). Geben Sie nur die Klassifizierung und die Wortanzahl zurück."

Prompt 2: Fehlender-Schema-Detektor
"Überprüfen Sie den HTML dieser Seite. Listen Sie alle Schema.org-Typen auf, die basierend auf dem Inhalt vorhanden sein SOLLTEN, aber FEHLEN. Wenn die Seite ein Produkt ist, prüfen Sie auf Produkt-Schema. Wenn es ein Artikel ist, prüfen Sie auf Artikel-Schema. Geben Sie 'Kein Schema fehlt' zurück, wenn alle passenden Schemas vorhanden sind."

Prompt 3: Meta-Beschreibungs-Qualitäts-Bewerter
"Bewerten Sie die Meta-Beschreibung dieser Seite von 1-10 basierend auf: enthält primäres Thema-Keyword (3 Punkte), hat eine klare CTA oder Nutzenaussage (3 Punkte), ist zwischen 145-160 Zeichen lang (2 Punkte), ist einzigartig und nicht template-generiert (2 Punkte). Geben Sie die Bewertung und eine einzeilige Verbesserungsempfehlung zurück."

Prompt 4: Interner-Link-Chancen-Finder
"Analysieren Sie den Inhalt dieser Seite und identifizieren Sie 3 erwähnte Themen, die auf andere Seiten derselben Site verlinken könnten. Geben Sie jedes Thema und einen vorgeschlagenen Ankertext-Begriff zurück."

Prompt 5: Barrierefreiheits-Schnellcheck
"Prüfen Sie diese Seite auf: fehlende Alt-Texte bei Bildern, fehlende Formular-Labels, Hinweise auf kontrastarmen Text, fehlende ARIA-Landmarks. Geben Sie eine kurze Barrierefreiheitsbewertung (Gut/Mittel/Schlecht) mit dem wichtigsten zu behebenden Problem zurück."

Der Content-Qualitäts-Klassifizierer allein spart Stunden. Führen Sie ihn über eine 10.000-seitige Site aus und Sie haben in wenigen Minuten statt Tagen einen Dünn-Content-Bericht.

Kopierfertige Regex-Muster für gängige SEO-Aufgaben

Screaming Frog unterstützt Regex in URL-Filtern (Ein-/Ausschließen) und der Benutzerdefinierten Suche -- damit lassen sich bestimmte Seitentypen isolieren, Tracking-Implementierungen finden oder hreflang-Tags auditieren, ohne jede Seite manuell zu prüfen.

Die meisten SEO-Leitfäden lassen Regex völlig außen vor. Hier ist eine Sammlung von Mustern, die ich in einer Textdatei halte und bei jedem Audit einfüge:

So verwenden Sie diese: Für URL-Filter gehen Sie zu Konfiguration > Ein-/Ausschließen. Für Benutzerdefinierte-Suche-Muster gehen Sie zu Konfiguration > Benutzerdefiniert > Suche. Wählen Sie "Enthält" und stellen Sie den Suchmodus auf Regex ein.

Der Taxonomie-Seiten-Filter (tag|category|author) ist besonders nützlich für WordPress-Audits. Diese Seiten generieren häufig im großen Maßstab Dünn-Content- und doppelte Titelprobleme.

Was ist neu in Screaming Frog Version 23 (2026)?

Screaming Frog v23 "Rush Hour", veröffentlicht im Oktober 2025, aktualisierte die Standard-KI-Modelle auf gpt-5-mini, gemini-2.5-flash und claude-sonnet-4-5, und fügte Ahrefs v3 API-Integration sowie semantische Ähnlichkeits-Embeddings für intelligenteres Redirect-Mapping hinzu.

Hier ist, was sich in den v23.x-Releases geändert hat, gemäß der offiziellen Release-Historie:

• v23.0 (Oktober 2025) -- Aktualisierte Standard-KI-Modelle bei allen vier Anbietern. Ahrefs v3 API-Integration ersetzt den veralteten v2-Connector. Semantische Ähnlichkeits-Embeddings für Redirect-Mapping -- das Tool schlägt jetzt Weiterleitungen basierend auf inhaltlicher Ähnlichkeit vor, nicht nur auf URL-Mustern.

• v23.1-v23.3 (November 2025 - Februar 2026) -- Bug-Fixes für Edge Cases beim JavaScript-Rendering, verbesserte Speicherverwaltung für Crawls mit 1M+ URLs und eine Auto-Lösch-Funktion für Crawls (Crawls lassen sich so einstellen, dass sie nach X Tagen automatisch gelöscht werden, um Speicherplatz zu verwalten).

Das Highlight ist die semantische Ähnlichkeitsfunktion für Redirect-Mapping. Bei Site-Migrationen können Sie jetzt eine Liste alter URLs hochladen und Screaming Frog schlägt die am besten passende neue URL basierend auf dem tatsächlichen Seiteninhalt vor -- nicht nur auf der URL-Struktur. Laut dem v23-Release-Blog verwendet dies lokale Embeddings -- keine Daten verlassen Ihren Rechner.

Ist Screaming Frog besser als Sitebulb, Lumar oder Ahrefs Site Audit?

Screaming Frog ist die beste Wahl für Power-User, die volle Kontrolle, KI-Integration und benutzerdefinierte Extraktion möchten -- aber Sitebulb gewinnt bei der Visualisierung, Lumar eignet sich für Enterprise-Teams, und Ahrefs Site Audit passt am besten, wenn Sie ohnehin für Ahrefs zahlen.

Wir haben sowohl Screaming Frog als auch Sitebulb auf denselben Sites eingesetzt -- das ist, was wir festgestellt haben:

Urteil: Screaming Frog gewinnt für Power-User, die volle Kontrolle und KI-Integration wollen. Sitebulb ist besser, wenn Sie ansprechendere Visualisierungen ohne steile Lernkurve möchten. Lumar macht nur auf Enterprise-Niveau mit dedizierten SEO-Teams Sinn. Und wenn Sie ohnehin für Ahrefs zahlen, ist deren Site Audit für grundlegende Website-Crawl-Analysen gut genug.

Für einen tieferen Blick auf Ahrefs' Fähigkeiten jenseits des Site-Auditings lesen Sie unseren Ahrefs-Deep-Dive. Für einen vollständigen Vergleich aller SEO-Tools schauen Sie sich unseren kompletten SEO-Tools-Überblick an.

Häufig gestellte Fragen

Wofür wird Screaming Frog verwendet?

Screaming Frog SEO Spider wird für technische SEO-Audits eingesetzt. Es crawlt Ihre Website und identifiziert defekte Links, fehlende oder doppelte Meta-Tags, Redirect-Ketten, Canonical-Tag-Probleme, Fehler bei strukturierten Daten und JavaScript-Rendering-Probleme. Die Versionen v21+ unterstützen außerdem KI-gestützte Content-Analyse mit OpenAI, Gemini, Anthropic oder Ollama.

Ist Screaming Frog kostenlos oder kostenpflichtig?

Die kostenlose Version crawlt bis zu 500 URLs pro Sitzung mit grundlegenden Funktionen. Die kostenpflichtige Lizenz kostet £199/Jahr (~259 $) und schaltet unbegrenztes Crawlen, JavaScript-Rendering, benutzerdefinierte Extraktion, KI-Integration, geplante Crawls, Crawl-Vergleich und die Möglichkeit, Crawl-Dateien zu speichern und wieder zu öffnen, frei. Die meisten Profis benötigen die kostenpflichtige Version.

Wie führe ich ein Site-Audit mit Screaming Frog durch?

Geben Sie Ihre URL in die obere Leiste ein und klicken Sie auf Start. Sobald der Crawl abgeschlossen ist, überprüfen Sie den Tab Response Codes auf defekte Seiten und Weiterleitungen, prüfen Sie Seitentitel und Meta-Beschreibungen auf Duplikate oder fehlende Tags und untersuchen Sie den Tab Direktiven auf noindex-Probleme. Exportieren Sie Berichte unter Datei > Export für Ihr Team.

Wie finde ich defekte Links mit Screaming Frog?

Gehen Sie nach dem Crawlen zum Tab Response Codes und filtern Sie nach "Client-Fehler (4xx)". Damit sehen Sie jede defekte Seite auf Ihrer Site. Rechtsklicken Sie auf eine defekte URL und wählen Sie "Inlinks", um zu sehen, welche Seiten darauf verlinken. Exportieren Sie die Liste und richten Sie 301-Weiterleitungen zu den relevantesten Live-Seiten ein.

Was ist der Unterschied zwischen Screaming Frog kostenlos und kostenpflichtig?

Die kostenlose Version begrenzt Sie auf 500 URLs pro Crawl und deaktiviert das Speichern von Crawls, JavaScript-Rendering, benutzerdefinierte Extraktion, KI-Integration, API-Verbindungen, geplante Crawls und Crawl-Vergleich. Die kostenpflichtige Version (£199/Jahr) hebt alle Limits auf und schaltet jede Funktion frei. Wenn Ihre Site mehr als 500 Seiten hat, benötigen Sie die kostenpflichtige Version.

Kann Screaming Frog JavaScript-Websites crawlen?

Ja, mit einer kostenpflichtigen Lizenz. Gehen Sie zu Konfiguration > Spider > Rendering und wählen Sie JavaScript. Screaming Frog verwendet Chromium unter der Haube, um Seiten genau so zu rendern, wie es ein Browser tun würde. Die Crawl-Zeiten erhöhen sich gegenüber dem HTML-only-Modus um das 3-5-fache. Stellen Sie sicher, dass Sie für JS-lastige Sites zusätzlichen Speicher zuweisen.

Wie verwende ich die KI-Integration von Screaming Frog mit OpenAI?

Gehen Sie zu Konfiguration > KI > OpenAI. Geben Sie Ihren API-Schlüssel ein, wählen Sie gpt-5-mini (den Standard in v23), schreiben Sie Ihren Prompt in das Prompt-Feld und starten Sie den Crawl. Ergebnisse erscheinen im KI-Tab mit einer Spalte pro Prompt. Sie können bis zu 100 Screaming Frog KI-Prompts pro Crawl für die Massen-Content-Analyse ausführen.

Wie viele URLs kann Screaming Frog crawlen?

Die kostenlose Version ist auf 500 URLs pro Crawl begrenzt. Die kostenpflichtige Version hat kein Limit -- Teams haben erfolgreich Sites mit Millionen von URLs gecrawlt. Erhöhen Sie für große Sites (50.000+) die Speicherzuweisung in der Konfigurationsdatei auf 8-16 GB und wechseln Sie zum Datenbankspeichermodus unter Konfiguration > System > Speichermodus.

Ist Screaming Frog besser als Sitebulb?

Screaming Frog bietet mehr Leistung und Flexibilität -- KI-Integration mit vier Anbietern, tiefe benutzerdefinierte Extraktion via XPath und CSS-Selektoren, CLI-Automatisierung für geplante Crawls und breitere API-Integrationen. Sitebulb bietet bessere Visualisierung mit automatisch generierten Audit-Berichten und ist für Einsteiger einfacher zu bedienen. Die meisten erfahrenen SEOs bevorzugen Screaming Frog.

Wie plane ich automatisierte Crawls in Screaming Frog?

Das ist eine kostenpflichtige Funktion. Verwenden Sie die Befehlszeilenschnittstelle von Screaming Frog mit dem Windows Task-Planer oder Cron auf Mac/Linux. Stellen Sie den Befehl so ein, dass er den Spider mit einer bestimmten Konfigurationsdatei ausführt und Ergebnisse automatisch exportiert. Beispiel: ScreamingFrogSEOSpiderCli --crawl https://example.com --output-folder /reports --export-tabs "Response Codes,Page Titles".