Robots.txt Oluşturucu Arama motoru爬虫 erişimi kontrol etmek için uygun biçimde düzenlenmiş bir robots.txt dosyası oluşturun.

🔍

Robots.txt Oluşturucu

Arama motoru爬虫 erişimi kontrol etmek için uygun biçimde düzenlenmiş bir robots.txt dosyası oluşturun.

Kullanıcı aracılarını seçin

Hangi arama motoru tarayıcıları için kurallar oluşturacağınıza karar verin (tüm botlar, Googlebot, Bingbot vb.).

İzin ver/meşru olmayan kuralları ayarlayın

Tarayıcıların hangi URL yollarına erişebileceğini ve hangilerine erişemeyeceğini belirtin.

Site haritası ekleyin ve kopyalayın

Sitenizdeki site haritası URL'sini ekleyin ve oluşturulan robots.txt içeriğini kopyalayın.

Loading tool...

What Is Robots.txt Oluşturucu?

Robots.txt Oluşturucu, arama motoru tarayıcılarının web sitenizin hangi kısımlarına erişebileceğini ve hangilerine erişemeyeceğini belirten doğru bir şekilde biçimlendirilmiş robots.txt dosyası oluşturmanıza yardımcı olur. Robots.txt dosyası alan adınızın kökünde bulunur (örnek.com/robots.txt) ve tarayıcılar sitenizi dizine eklemadan önce kontrol ettikleri ilk dosyadır. Yanlış yapılandırılmış bir robots.txt, önemli sayfaları arama motorlarından yanlışlıkla engelleyebilir veya önemli olmayan kaynaklarda tarama bütçesini boşa harcayabilir. Bu araç, Kullanıcı-aracısı, Yasakla, İzin Ver, Site Haritası ve Tarama-gecikmesi dahil olmak üzere standarda uygun direktifler oluşturur, böylece dosyanız Robots Exclusion Protocol özelliklerine uyar.

Why Use Robots.txt Oluşturucu?

Robots.txt sözdizimi olmadan geçerlilik sağlamak için protokol belirtimini ezberlemeye gerek yok
WordPress, e-ticaret vb. gibi ortak yapılandırmalar için önceden hazırlanmış şablonlar
Farklı kuralları olan birden fazla kullanıcı aracı bloğu desteği
Tarayıcıların XML site haritanızı keşfetmesine yardımcı olmak için site haritası bildirimi
Sunucunuza dağıtmadan önce önizleme ve doğrulama

Common Use Cases

Yeni Web Sitesi Başlatma

Tarayıcı erişiminin düzgün bir şekilde kontrol edildiğinden emin olmak için sıfırdan bir robots.txt oluşturun.

Gezinme Bütçesi Yönetimi

Yönetim sayfaları, arama sonuçları ve parametre URL'leri gibi kaynak israfını önlemek için tarayıcıları engelleme.

Staging Sitesi Koruma

Arama motorlarının geliştirme veya staging ortamlarını dizine eklemesini engelleyin.

WordPress SEO

wp-admin, besleme ve etiket sayfalarını engellediği için WordPress siteleri için optimize edilmiş robots.txt oluşturun.

Technical Guide

Robots.txt dosyası, Robots Exclusion Protocol (REP) özelliğini takip eder. Alan adınızın kökünde /robots.txt konumunda yerleştirilmelidir. Her blok, hangi tarayıcıya uygulanacağını belirten bir Kullanıcı-aracısı direktifiyle başlar (* tümünü ifade eder). Yasakla, bir yolu engeller, İzin Ver ise erişimi açıkça izin verir (geniş bir Yasaklama içinde istisna olarak kullanılır). Kurallar yol-ön ekine dayanır - Yasakla: /admin, /admin, /admin/kullanıcılar, /admin/ayarlar vb. gibi erişimleri engeller. Site Haritası direktifi dosyanın herhangi bir yerinde görünebilir ve tüm tarayıcılara XML site haritanızın nerede bulunduğunu bildirir. Önemli uyarılar: robots.txt bir istektir, zorlama değildir - kötü amaçlı botlar bunu göz ardı edebilir. Ayrıca, robots.txt'de engellenen bir URL, dış sitelerden bağlantılıysa Google bu URL'yi (içeriği olmadan)仍 dizine ekleyebilir. Dizinlemeyi tamamen önlemek için noindex meta etiketini veya X-Robots-Tag HTTP başlığını kullanın.

Tips & Best Practices

1
CSS, JavaScript veya resim dosyalarını asla engellemeyin - arama motorlarının sayfalarınızı doğru bir şekilde 렌더 etmek için bunlara ihtiyacı vardır
2
Güvenlik yerine gezinme verimliliği için robots.txt kullanın - herkes tarafından okunabilir
3
Sitenizdeki Sitemap URL'sini her zaman robots.txt'de tarayıcı keşfi için ekleyin
4
Robots.txt'nizi Google Search Console'un robots.txt Test Aracını kullanarak test edin
5
Unutmayın: Engel, dış bağlantılar engellenen URL'ye işaret ediyorsa dizine eklemeyi engelmez

Related Tools

Meta Etiket Oluşturucu

Open Graph ve Twitter Card etiketleri dahil olmak üzere tam HTML meta etiketler oluşturun.

🔍 SEO Tools

XML Site Haritası Oluşturucu

URL'ler, son değiştirilme tarihleri ve değişiklik sıklığı ile geçerli bir XML site haritası oluşturun.

🔍 SEO Tools

Kanonical URL Denetleyici

Yinelenen içerik sorunlarını önlemek için kanonikal URL etiketlerini denetleyin ve oluşturun.

🔍 SEO Tools

XML Site Haritası Doğrulayıcı

XML site haritası sözdizimi, yapısı ve Sitemaps Protokolü ile uyumluluğunu doğrulayın.

🔍 SEO Tools

Frequently Asked Questions

Q robots.txt dosyasını nereye koyacağım?

Alan adınızın kökünde olmalıdır: https://örnek.com/robots.txt. Alt alan adları kendi robots.txt dosyalarına ihtiyaç duyar.

Q robots.txt dizine eklemeyi engeller mi?

Tam olarak değil. Gezinmeyi önler, ancak dış siteler engellenen URL'ye bağlantı sağlıyorsa Google仍然 dizine ekleyebilir ("Bu sayfa için hiçbir bilgi bulunamadı" parçasını gösterir). Tamamen engellemek için noindex meta etiketini kullanın.

Q Farklı tarayıcılar için farklı kurallar oluşturabilir miyim?

Evet. Her bir tarayıcı (Googlebot, Bingbot vb.) için özel User-agent blokları oluşturun ve her biri için belirli kurallar belirleyin.

Q Crawl-delay ne yapar?

Crawl-delay, tarayıcılara istekler arasında N saniye beklemesini söyler. Google bu yönergeyi görmezden gelir - bunun yerine Googlebot gezinme hızını Search Console'da ayarlayın. Bing ve diğerleri bunu dikkate alır.

Q WordPress'te /wp-admin'i engellemeli miyim?

Evet, /wp-admin/ engelleme ancak /wp-admin/admin-ajax.php (çoğu WordPress özelliğinin gerekli olduğu) izin verin. Ayrıca /wp-includes/ ve besleme URL'lerini engellemek de düşünülebilir.

About This Tool

Robots.txt Oluşturucu is a free online tool by FreeToolkit.ai. All processing happens directly in your browser — your data never leaves your device. No registration or installation required.