Pembuat Robots.txt Buat berkas robots.txt yang diformat dengan benar untuk mengontrol akses mesin pencari crawler.

🔍

Pembuat Robots.txt

Buat berkas robots.txt yang diformat dengan benar untuk mengontrol akses mesin pencari crawler.

Pilih Agen Pengguna

Pilih perayap mesin pencari mana yang akan Anda buat aturan untuknya (semua bot, Googlebot, Bingbot, dll.).

Atur Aturan Izinkan/Tolak

Tentukan jalur URL mana yang dapat dan tidak dapat diakses oleh perayap.

Tambahkan Peta Situs dan Salin

Tambahkan URL peta situs Anda dan salin konten robots.txt yang dihasilkan.

Loading tool...

What Is Pembuat Robots.txt?

Generator Robots.txt membantu Anda membuat file robots.txt yang diformat dengan benar yang memberi tahu mesin pencari crawler mana bagian dari situs web Anda yang dapat dan tidak dapat diakses. File robots.txt berada di akar domain Anda (example.com/robots.txt) dan merupakan file pertama yang diperiksa oleh crawler sebelum mengindeks situs Anda. Konfigurasi robots.txt yang salah dapat secara tidak sengaja memblokir halaman penting dari mesin pencari atau membuang anggaran crawl pada sumber daya yang tidak penting. Alat ini menghasilkan direktif standar yang sesuai dengan spesifikasi Robots Exclusion Protocol, termasuk User-agent, Disallow, Allow, Sitemap, dan Crawl-delay, sehingga file Anda mengikuti spesifikasi tersebut.

Why Use Pembuat Robots.txt?

Hasilkan sintaksis robots.txt yang valid tanpa harus mengingat spesifikasi protokol
Templat siap pakai untuk konfigurasi umum (WordPress, e-commerce, dll.)
Dukungan untuk beberapa blok agen pengguna dengan aturan yang berbeda
Deklarasi peta situs untuk membantu perayap menemukan peta situs XML Anda
Pratinjau dan validasi sebelum mengunggah ke server Anda

Common Use Cases

Peluncuran Situs Baru

Buat robots.txt dari awal yang mengontrol akses perayap dengan benar.

Manajemen Anggaran Merayap

Blokir perayap agar tidak membuang sumber daya pada halaman admin, hasil pencarian, dan URL parameter.

Perlindungan Situs Staging

Mencegah mesin pencari mengindeks lingkungan staging atau pengembangan.

SEO WordPress

Buat robots.txt yang dioptimalkan untuk situs WordPress dengan memblokir wp-admin, umpan, dan halaman tag.

Technical Guide

File robots.txt mengikuti Protokol Penghapusan Robot (REP). File ini harus ditempatkan di akar domain Anda pada /robots.txt. Setiap blok dimulai dengan direktif User-agent yang menentukan crawler mana aturan tersebut berlaku (* berarti semua). Disallow memblokir jalur, Allow secara eksplisit mengizinkan akses (berguna sebagai pengecualian dalam blokir yang lebih luas). Aturan didasarkan pada awalan jalur - Disallow: /admin memblokir /admin, /admin/users, /admin/settings, dan sebagainya. Direktif Sitemap dapat muncul di mana saja dalam file dan memberi tahu semua crawler di mana menemukan sitemap XML Anda. Catatan penting: robots.txt adalah permintaan, bukan penegakan - bot jahat dapat mengabaikannya. Juga, jika URL diblokir di robots.txt tetapi dilink dari situs eksternal, Google masih mungkin mengindeks URL tersebut (tanpa kontennya). Untuk sepenuhnya mencegah pengindeksan, gunakan tag meta noindex atau header HTTP X-Robots-Tag sebagai gantinya.

Tips & Best Practices

1
Jangan pernah memblokir file CSS, JavaScript, atau gambar - mesin pencari membutuhkannya untuk merender halaman Anda dengan benar
2
Gunakan robots.txt untuk efisiensi merayap, bukan untuk keamanan - itu dapat dibaca secara publik
3
Selalu sertakan URL Peta Situs Anda di robots.txt untuk penemuan perayap
4
Uji coba robots.txt Anda menggunakan Pengujian robots.txt Google Search Console
5
Ingat: Tolak tidak mencegah pengindeksan jika tautan eksternal menunjuk ke URL yang diblokir

Related Tools

Pembuat Tanda Meta

Buat tanda meta HTML lengkap termasuk tanda Open Graph dan Twitter Card.

🔍 SEO Tools

Pembuat Peta Situs XML

Buat peta situs XML yang valid dengan URL, tanggal terakhir dimodifikasi, dan frekuensi perubahan.

🔍 SEO Tools

Pemeriksa URL Kanonikal

Periksa dan buatkan tag URL kanonikal untuk mencegah masalah konten duplikat.

🔍 SEO Tools

Validator Peta Situs XML

Validasi sintaks, struktur, dan kepatuhan peta situs XML dengan Protokol Sitemaps.

🔍 SEO Tools

Frequently Asked Questions

Q Di mana saya harus meletakkan file robots.txt?

Itu harus berada di akar domain Anda: https://example.com/robots.txt. Subdomain memerlukan robots.txt mereka sendiri.

Q Apakah robots.txt memblokir pengindeksan?

Tidak sepenuhnya. Itu mencegah merayap, tetapi jika situs eksternal menautkan ke URL yang diblokir, Google masih dapat mengindeks URL tersebut (menampilkan cuplikan "Tidak ada informasi yang tersedia untuk halaman ini"). Gunakan tag meta noindex untuk pencegahan penuh.

Q Bisakah saya memiliki aturan yang berbeda untuk perayap yang berbeda?

Ya. Buat blok Agen Pengguna terpisah untuk setiap perayap (Googlebot, Bingbot, dll.) dengan aturan spesifik untuk masing-masing.

Q Apa itu Crawl-delay lakukan?

Crawl-delay memberitahu perayap untuk menunggu N detik antara permintaan. Google mengabaikan direktif ini - gunakan Search Console untuk mengatur laju merayap Googlebot sebagai gantinya. Bing dan lainnya menghormatinya.

Q Apakah saya harus memblokir /wp-admin di WordPress?

Ya, blokir /wp-admin/ tetapi izinkan /wp-admin/admin-ajax.php (dibutuhkan untuk banyak fitur WordPress). Pertimbangkan juga untuk memblokir /wp-includes/ dan URL umpan.

About This Tool

Pembuat Robots.txt is a free online tool by FreeToolkit.ai. All processing happens directly in your browser — your data never leaves your device. No registration or installation required.