Panduan Screaming Frog 2026: Audit SEO Teknis dengan Integrasi AI

Panduan Screaming Frog 2026: Audit SEO Teknis dengan Integrasi AI

Screaming Frog SEO Spider adalah perayap situs web berbasis desktop yang mengidentifikasi lebih dari 300 masalah SEO teknis per proses crawling, tautan rusak, judul duplikat, rantai pengalihan, skema yang hilang, dan banyak lagi. Jika Anda pernah bertanya-tanya bagaimana agensi mengaudit situs dengan jutaan halaman, inilah alat yang pertama kali mereka gunakan.

Panduan ini mencakup segala hal mulai dari crawling pertama Anda hingga integrasi prompt AI tingkat lanjut, ekstraksi XPath kustom, dan pola regex yang menghemat waktu berjam-jam pada setiap audit.

Apa Itu Screaming Frog dan Mengapa Para Ahli SEO Sangat Mengandalkannya?

Screaming Frog SEO Spider adalah aplikasi desktop yang merayapi situs web seperti yang dilakukan Google, menganalisis setiap URL untuk masalah SEO teknis seperti tautan rusak, tag meta yang hilang, rantai pengalihan, dan halaman yatim (orphaned pages), semuanya tanpa mengirim data Anda ke cloud pihak lain.

Berbeda dengan perayap berbasis cloud yang membatasi kecepatan crawling Anda dan mengenakan biaya per URL, Screaming Frog berjalan secara lokal di mesin Anda. Anda mendapatkan kontrol penuh atas kedalaman crawling, rendering, dan kecepatan. Itulah mengapa alat ini telah menjadi pilihan utama untuk audit SEO teknis bagi agensi, tim internal, dan pengembang sejak tahun 2010.

Alat ini mencakup kode respons, judul halaman, deskripsi meta, analisis H1/H2, teks alt gambar, tag kanonik, implementasi hreflang, validasi data terstruktur, dan rendering JavaScript. Alat ini terintegrasi dengan Google Analytics, Google Search Console, PageSpeed Insights, dan, mulai versi 21 -- penyedia AI seperti OpenAI dan Google Gemini.

Untuk gambaran yang lebih luas tentang bagaimana Screaming Frog berdampingan dengan alat lain, lihat rangkuman alat SEO lengkap kami.

Gratis vs Berbayar: Apa yang Sebenarnya Anda Dapatkan

Versi gratis sangat berguna untuk situs kecil. Namun, begitu Anda mencapai batas 500 URL, Anda akan memerlukan lisensi berbayar seharga £199/tahun (~$259).

Cara Mengatur Screaming Frog untuk Crawling Pertama Anda

Dari mengunduh hingga menjalankan crawling hanya membutuhkan waktu sekitar lima menit. Screaming Frog berjalan di Windows, macOS, dan Linux; ini adalah aplikasi Java, sehingga berfungsi di mana saja JVM tersedia.

Unduh dan Instal

Dapatkan instalernya dari screamingfrog.co.uk. Jika Anda memiliki lisensi berbayar, aktifkan di bawah Licence > Enter Licence setelah instalasi. Versi gratis berfungsi segera tanpa registrasi.

Pengaturan Konfigurasi yang Benar-Benar Penting

Sebelum Anda menekan Start, sesuaikan tiga hal berikut:

1. User-Agent, Configuration > User-Agent. Defaultnya adalah "Screaming Frog SEO Spider". Ganti ke Googlebot jika Anda ingin melihat apa yang dilihat Google (beberapa situs menyajikan konten berbeda berdasarkan user-agent).

2. Kecepatan Crawling, Configuration > Speed. Default 5 thread sudah cukup untuk sebagian besar situs. Untuk situs Anda sendiri, tingkatkan menjadi 10-20. Untuk situs klien, pertahankan agar konservatif untuk menghindari pemicuan batas laju (rate limits).

3. Mode Rendering, Configuration > Spider > Rendering. Atur ke JavaScript jika situs menggunakan React, Angular, Vue, atau kerangka kerja SPA apa pun. Ini menggunakan Chromium di balik layar dan memperlambat crawling secara signifikan, tetapi Anda akan melewatkan konten yang dimuat secara dinamis tanpanya.

4. Alokasi Memori, Ini adalah hal yang sering dilewatkan kebanyakan orang. Default 2GB akan macet sekitar 30K URL.

# Increase memory allocation for large sites
# Edit ScreamingFrogSEOSpider.l4j.ini (Windows) or Info.plist (Mac)
-Xmx8g

Jika Anda merayapi situs dengan 50K+ halaman, naikkan memori minimal ke 8GB. Untuk situs dengan 500K+ URL, alokasikan 16GB dan pertimbangkan untuk menggunakan mode penyimpanan database (Configuration > System > Storage Mode > Database).

Masukkan URL Anda di bilah atas dan klik Start. Selesai.

Menjalankan Audit SEO Teknis Pertama Anda

Audit SEO teknis di Screaming Frog mengikuti lima langkah: rayapi situs, tinjau kode respons, periksa tag meta, audit tautan internal, dan ekspor laporan untuk tim Anda, sebuah proses yang menangkap masalah yang tidak terlihat oleh tinjauan manual.

Menurut patokan Kesehatan Situs Web Semrush 2025, 72% situs web gagal dalam setidaknya satu faktor SEO teknis kritis. Berdasarkan pengalaman kami, crawling pertama dari situs apa pun mengungkapkan setidaknya 5-10 masalah kritis yang tidak terlihat tanpa perayap.

Untuk pemahaman lengkap tentang dasar-dasar SEO teknis, lihat panduan SEO lengkap kami.

Memahami Kode Respons (200, 301, 302, 404, 500)

Klik tab Response Codes setelah crawling selesai. Berikut adalah prioritas utamanya:

• 4xx (Kesalahan Klien), Halaman rusak. Ini memerlukan pengalihan atau konten. Urutkan berdasarkan inlinks untuk memperbaiki yang paling berdampak terlebih dahulu.
• 3xx (Pengalihan), Tidak selalu buruk, tetapi rantai pengalihan (301 > 301 > 200) membuang anggaran crawling. Periksa Reports > Redirect Chains.
• 5xx (Kesalahan Server), Server Anda kesulitan menangani URL ini. Bisa berupa masalah timeout, catatan database yang hilang, atau rute yang salah konfigurasi.
• 200 dengan masalah, Halaman yang dimuat dengan baik tetapi memiliki konten tipis, judul duplikat, atau deskripsi meta yang hilang. Filter menggunakan tab Page Titles atau Meta Descriptions.

Audit Tag Meta dan Judul

Tab Page Titles menandai duplikat, judul yang hilang, judul lebih dari 60 karakter, dan judul kurang dari 30 karakter. Hal yang sama berlaku untuk Meta Descriptions, filter berdasarkan "Missing," "Duplicate," atau "Over 160 Characters."

Urutkan berdasarkan inlinks untuk memprioritaskan halaman dengan tautan terbanyak. Deskripsi meta yang hilang di halaman beranda Anda lebih penting daripada yang ada di halaman paginasi.

Analisis Tautan Internal

Tab Internal menampilkan setiap tautan internal di situs Anda dengan teks anchor, kedalaman tautan, dan status follow/nofollow. Dua hal yang harus segera diperiksa:

• Halaman yatim (Orphan pages), Halaman tanpa tautan internal yang mengarah ke sana. Temukan ini di bawah Reports > Orphan Pages (memerlukan sitemap atau integrasi Google Analytics).
• Halaman dalam (Deep pages), Apa pun di luar kedalaman crawling 3 kemungkinan mendapatkan ekuitas tautan minimal. Filter berdasarkan Crawl Depth dan pertimbangkan untuk menambahkan tautan internal ke halaman penting yang dalam.

Untuk optimasi konten setelah audit teknis Anda selesai, lihat panduan Surfer SEO kami untuk optimasi konten.

Menemukan dan Memperbaiki Tautan Rusak, Pengalihan, dan Kanonik

Tiga masalah ini menyumbang sebagian besar masalah SEO teknis di sebagian besar situs. Screaming Frog menampilkan semuanya dalam satu kali crawling.

Tautan Rusak: Temukan dan Perbaiki dalam 3 Langkah

1. Buka Response Codes > filter berdasarkan Client Error (4xx)
2. Klik kanan URL yang rusak > Inlinks untuk melihat halaman mana yang menautkannya
3. Ekspor daftar secara massal (Export > All) dan serahkan ke tim dev Anda dengan target pengalihan yang direkomendasikan

Tips pro: Urutkan URL rusak berdasarkan jumlah inlinks. Halaman 404 dengan 50 tautan internal yang mengarah ke sana sedang kehilangan ekuitas tautan. Halaman 404 dengan 1 inlink dari footer adalah prioritas rendah.

Rantai Pengalihan: Mengapa Mereka Membunuh Anggaran Crawling Anda

Rantai pengalihan dengan 3+ lompatan tidak hanya lambat, Google mungkin berhenti mengikutinya sepenuhnya. Screaming Frog menandainya secara otomatis di bawah Reports > Redirect Chains.

Perbaikannya sederhana: perbarui URL asal untuk menunjuk langsung ke tujuan akhir. Jika Halaman A mengalihkan ke Halaman B, yang mengalihkan ke Halaman C, perbarui pengalihan Halaman A agar langsung menuju Halaman C.

Periksa juga Reports > Redirect Loops. Loop (A > B > A) menciptakan pengalihan tak terhingga yang mengembalikan error browser. Ini adalah perbaikan kritis.

Audit Tag Kanonik

Di bawah tab Canonicals, cari tiga masalah:

• Kanonik yang hilang, Setiap halaman yang dapat diindeks harus memiliki kanonik yang merujuk ke dirinya sendiri
• Dikanonikkan ke URL yang salah, Halaman yang mengarahkan kanoniknya ke halaman yang tidak terkait (umum setelah migrasi situs)
• Target kanonik yang tidak dapat diindeks, Kanonik yang mengarah ke halaman 404 atau noindexed mengalahkan tujuannya

Ekstraksi Kustom dengan XPath dan Selektor CSS

Ekstraksi kustom memungkinkan Anda menarik data spesifik dari setiap halaman selama crawling, data terstruktur, kode pelacakan, tag Open Graph, atau elemen HTML apa pun, mengubah Screaming Frog dari auditor menjadi scraper situs penuh.

Ini adalah fitur yang membedakan pengguna mahir dari pemula, dan kami menggunakan ekstraksi kustom pada setiap audit untuk memverifikasi kode pelacakan dan markup skema di ribuan halaman secara bersamaan. Anda dapat menggabungkan data crawling Screaming Frog dengan data kata kunci dari alat seperti Semrush untuk gambaran yang lengkap.

Atur di bawah Configuration > Custom > Extraction. Pilih XPath atau CSS Path, tempel selektor Anda, dan jalankan crawling. Hasil muncul di tab mereka sendiri.

Berikut adalah lima ekstraksi yang saya gunakan di hampir setiap audit:

// Extract schema type from JSON-LD
//script[@type='application/ld+json']

// Extract all H2 headings
//h2/text()

/* Extract canonical URL */
link[rel='canonical']::attr(href)

// Extract Open Graph title
//meta[@property='og:title']/@content

// Check for Google Analytics 4 tracking
//script[contains(@src,'gtag')]/@src

Ekstraksi JSON-LD sangat kuat. Jalankan di seluruh situs dan Anda akan langsung melihat halaman mana yang memiliki data terstruktur dan mana yang tidak, tanpa pemeriksaan manual halaman per halaman.

Anda dapat menambahkan hingga 100 ekstraksi kustom per crawling (hanya versi berbayar). Gabungkan mereka untuk membangun audit lengkap metadata, pelacakan, skema, dan skrip pihak ketiga situs Anda dalam satu kali jalan.

Bagaimana Integrasi AI Screaming Frog Bekerja dengan OpenAI, Gemini, dan Anthropic?

Integrasi AI Screaming Frog (v21+) menjalankan prompt kustom terhadap konten setiap halaman selama crawling, memungkinkan Anda mengklasifikasikan kualitas konten, mendeteksi skema yang hilang, memberi skor pada deskripsi meta, dan menemukan peluang tautan internal secara skala besar menggunakan OpenAI, Google Gemini, Anthropic Claude, atau model Ollama lokal.

Ini adalah fitur yang tidak dibahas oleh panduan Screaming Frog lainnya, dan ini adalah alasan terbesar untuk upgrade ke v23. Setelah menguji keempat penyedia AI di Screaming Frog, OpenAI secara konsisten mengembalikan respons yang paling terstruktur untuk tugas klasifikasi SEO, meskipun Gemini 2.5 Flash lebih cepat dan lebih murah untuk pemeriksaan ya/tidak sederhana.

Workshop Digital mendokumentasikan bagaimana mereka menggunakan integrasi AI untuk mengaudit ribuan halaman dalam waktu yang jauh lebih singkat dibandingkan tinjauan manual.

Mengatur Penyedia AI (OpenAI, Gemini, Anthropic, Ollama)

Configuration > AI > pilih penyedia Anda. Masukkan kunci API Anda dan pilih model Anda. Di v23, model defaultnya adalah:

• OpenAI: gpt-5-mini (cepat, murah, bagus untuk klasifikasi)
• Google Gemini: gemini-2.5-flash (opsi tercepat, hebat untuk analisis massal)
• Anthropic: claude-sonnet-4-5 (terbaik untuk analisis konten yang bernuansa)
• Ollama: Model lokal apa pun (gratis, pribadi, tanpa biaya API, tetapi lebih lambat)

Anda dapat menambahkan hingga 100 prompt AI Screaming Frog kustom per crawling. Hasil muncul di tab AI dengan satu kolom per prompt.

5 Template Prompt AI Siap Pakai

Salin ini langsung ke Configuration > AI > Add Prompt:

Prompt 1: Content Quality Classifier
"Analyze this page's content. Classify as: Thin (<300 words of unique content), Adequate (300-800 words), Comprehensive (800+ words). Return only the classification and word count."

Prompt 2: Missing Schema Detector
"Review this page's HTML. List any Schema.org types that SHOULD be present based on the content but are MISSING. If the page is a product, check for Product schema. If it's an article, check for Article schema. Return 'None missing' if all appropriate schemas are present."

Prompt 3: Meta Description Quality Scorer
"Score this page's meta description from 1-10 based on: includes primary topic keyword (3pts), has a clear CTA or benefit statement (3pts), is between 145-160 characters (2pts), is unique and not template-generated (2pts). Return score and one-line improvement suggestion."

Prompt 4: Internal Link Opportunity Finder
"Analyze this page's content and identify 3 topics mentioned that could link to other pages on the same site. Return each topic and a suggested anchor text phrase."

Prompt 5: Accessibility Quick Check
"Check this page for: missing alt text on images, missing form labels, low contrast text indicators, missing ARIA landmarks. Return a brief accessibility score (Good/Fair/Poor) with the top issue to fix."

Content Quality Classifier saja menghemat berjam-jam. Jalankan di situs 10.000 halaman dan Anda akan memiliki laporan konten tipis dalam hitungan menit, bukan hari.

Pola Regex Salin-Tempel untuk Tugas SEO Umum

Screaming Frog mendukung regex di filter Include/Exclude URL dan Custom Search, memungkinkan untuk mengisolasi jenis halaman tertentu, menemukan implementasi pelacakan, atau mengaudit tag hreflang tanpa memeriksa setiap halaman secara manual.

Sebagian besar panduan SEO melewatkan regex sepenuhnya. Berikut adalah perpustakaan pola yang saya simpan dalam file teks dan tempelkan ke setiap audit:

Untuk menggunakannya: untuk filter URL, buka Configuration > Include/Exclude. Untuk pola Custom Search, buka Configuration > Custom > Search. Pilih "Contains" dan atur mode pencarian ke Regex.

Filter halaman taksonomi (tag|category|author) sangat berguna untuk audit WordPress. Halaman-halaman ini sering menghasilkan konten tipis dan masalah judul duplikat dalam skala besar.

Apa yang Baru di Screaming Frog Versi 23 (2026)?

Screaming Frog v23 "Rush Hour," dirilis Oktober 2025, memperbarui default model AI ke gpt-5-mini, gemini-2.5-flash, dan claude-sonnet-4-5, dan menambahkan integrasi API Ahrefs v3 bersama dengan embedding kesamaan semantik untuk pemetaan pengalihan yang lebih cerdas.

Berikut adalah perubahan di seluruh rilis v23.x, menurut riwayat rilis resmi:

• v23.0 (Oktober 2025), Memperbarui default model AI di keempat penyedia. Integrasi API Ahrefs v3 menggantikan konektor v2 lama. Embedding kesamaan semantik untuk pemetaan pengalihan, alat ini sekarang menyarankan pengalihan berdasarkan kesamaan konten, bukan hanya pola URL.

• v23.1-v23.3 (November 2025 - Februari 2026), Perbaikan bug untuk kasus tepi rendering JavaScript, penanganan memori yang ditingkatkan untuk crawling 1M+ URL, dan fitur penghapusan crawling otomatis (atur crawling untuk dihapus otomatis setelah X hari untuk mengelola ruang disk).

Fitur kesamaan semantik untuk pemetaan pengalihan adalah yang paling menonjol. Selama migrasi situs, Anda sekarang dapat mengunggah daftar URL lama dan Screaming Frog akan menyarankan URL baru yang paling cocok berdasarkan konten halaman aktual, bukan hanya struktur URL. Menurut blog rilis v23, ini menggunakan embedding lokal, tidak ada data yang meninggalkan mesin Anda.

Apakah Screaming Frog Lebih Baik daripada Sitebulb, Lumar, atau Ahrefs Site Audit?

Screaming Frog adalah pilihan terbaik untuk pengguna mahir yang menginginkan kontrol penuh, integrasi AI, dan ekstraksi kustom, tetapi Sitebulb unggul dalam visualisasi, Lumar cocok untuk tim perusahaan, dan Ahrefs Site Audit bekerja paling baik jika Anda sudah membayar untuk Ahrefs.

Kami telah menggunakan Screaming Frog dan Sitebulb pada situs yang sama, berikut temuan kami:

Kesimpulan: Screaming Frog menang untuk pengguna mahir yang menginginkan kontrol penuh dan integrasi AI. Sitebulb lebih baik jika Anda menginginkan visualisasi yang lebih menarik tanpa kurva pembelajaran yang curam. Lumar masuk akal hanya pada skala perusahaan dengan tim SEO khusus. Dan jika Anda sudah membayar untuk Ahrefs, Site Audit mereka sudah cukup baik untuk analisis crawling situs web dasar.

Untuk pandangan yang lebih dalam tentang kemampuan Ahrefs di luar audit situs, lihat deep-dive Ahrefs kami. Untuk perbandingan lengkap semua alat SEO, cek rangkuman alat SEO lengkap kami.

FAQ

Untuk apa Screaming Frog digunakan?

Screaming Frog SEO Spider digunakan untuk audit SEO teknis. Alat ini merayapi situs web Anda dan mengidentifikasi tautan rusak, tag meta yang hilang atau duplikat, rantai pengalihan, masalah tag kanonik, kesalahan data terstruktur, dan masalah rendering JavaScript. Versi v21+ juga mendukung analisis konten bertenaga AI menggunakan OpenAI, Gemini, Anthropic, atau Ollama.

Apakah Screaming Frog gratis atau berbayar?

Versi gratis merayapi hingga 500 URL per sesi dengan fitur dasar. Lisensi berbayar berharga £199/tahun (~$259) dan membuka kunci crawling tanpa batas, rendering JavaScript, ekstraksi kustom, integrasi AI, crawling terjadwal, perbandingan crawling, serta kemampuan untuk menyimpan dan membuka kembali file crawling. Sebagian besar profesional memerlukan versi berbayar.

Bagaimana cara melakukan audit situs dengan Screaming Frog?

Masukkan URL Anda di bilah atas dan klik Start. Setelah crawling selesai, tinjau tab Response Codes untuk halaman rusak dan pengalihan, periksa Page Titles dan Meta Descriptions untuk duplikat atau tag yang hilang, dan periksa tab Directives untuk masalah noindex. Ekspor laporan di bawah File > Export untuk tim Anda.

Bagaimana cara menemukan tautan rusak dengan Screaming Frog?

Setelah crawling, buka tab Response Codes dan filter berdasarkan "Client Error (4xx)." Ini menampilkan setiap halaman rusak di situs Anda. Klik kanan URL yang rusak dan pilih "Inlinks" untuk melihat halaman mana yang menautkannya. Ekspor daftar tersebut dan atur pengalihan 301 ke halaman aktif yang paling relevan.

Apa perbedaan antara Screaming Frog gratis dan berbayar?

Versi gratis membatasi Anda hingga 500 URL per crawling dan menonaktifkan penyimpanan crawling, rendering JavaScript, ekstraksi kustom, integrasi AI, koneksi API, crawling terjadwal, dan perbandingan crawling. Versi berbayar (£199/tahun) menghapus semua batas dan membuka kunci setiap fitur. Jika situs Anda memiliki lebih dari 500 halaman, Anda memerlukan versi berbayar.

Bisakah Screaming Frog merayapi situs web JavaScript?

Ya, dengan lisensi berbayar. Buka Configuration > Spider > Rendering dan pilih JavaScript. Screaming Frog menggunakan Chromium di balik layar untuk merender halaman persis seperti yang dilakukan browser. Harapkan waktu crawling meningkat 3-5x dibandingkan mode HTML-only. Pastikan untuk mengalokasikan memori ekstra untuk situs yang berat JavaScript.

Bagaimana cara menggunakan integrasi AI Screaming Frog dengan OpenAI?

Buka Configuration > AI > OpenAI. Masukkan kunci API Anda, pilih gpt-5-mini (default di v23), tulis prompt Anda di bidang prompt, dan jalankan crawling. Hasil muncul di tab AI dengan satu kolom per prompt. Anda dapat menjalankan hingga 100 prompt AI Screaming Frog per crawling untuk analisis konten massal.

Berapa banyak URL yang dapat dirayapi Screaming Frog?

Versi gratis dibatasi pada 500 URL per crawling. Versi berbayar tidak memiliki batas, tim telah berhasil merayapi situs dengan jutaan URL. Untuk situs besar (50K+), tingkatkan alokasi memori menjadi 8-16GB di file konfigurasi dan beralih ke mode penyimpanan database di bawah Configuration > System > Storage Mode.

Apakah Screaming Frog lebih baik daripada Sitebulb?

Screaming Frog menawarkan lebih banyak kekuatan dan fleksibilitas, integrasi AI dengan empat penyedia, ekstraksi kustom mendalam melalui selektor XPath dan CSS, otomatisasi CLI untuk crawling terjadwal, dan integrasi API yang lebih luas. Sitebulb menawarkan visualisasi yang lebih baik dengan laporan audit yang dibuat otomatis dan lebih mudah untuk pemula. Sebagian besar ahli SEO berpengalaman lebih memilih Screaming Frog.

Bagaimana cara menjadwalkan crawling otomatis di Screaming Frog?

Ini adalah fitur berbayar. Gunakan antarmuka baris perintah (CLI) Screaming Frog dengan Windows Task Scheduler atau cron di Mac/Linux. Atur perintah untuk menjalankan spider dengan file konfigurasi tertentu dan mengekspor hasil secara otomatis. Contoh: ScreamingFrogSEOSpiderCli --crawl https://example.com --output-folder /reports --export-tabs "Response Codes,Page Titles".