مُنشئ ملف Robots.txt انشئ ملفًا منسقًا بشكل صحيح لملف Robots.txt للتحكم في وصول زاحفات محركات البحث.

🔍

مُنشئ ملف Robots.txt

انشئ ملفًا منسقًا بشكل صحيح لملف Robots.txt للتحكم في وصول زاحفات محركات البحث.

اختر وكلاء المستخدم

اختر متى تريد إنشاء قواعد للزاحفين (جميع الزاحفين، Googlebot، Bingbot، إلخ).

ضبط قواعد السماح والمنع

حدد المسارات التي يمكن للزاحفين الوصول إليها أو عدم الوصول إليها.

أضف خريطة الموقع وانسخ المحتوى

أضف عنوان URL لخريطة موقعك وانسخ محتوى robots.txt المُنشئ.

Loading tool...

What Is مُنشئ ملف Robots.txt?

مُولد ملف Robots.txt يساعدك على إنشاء ملف robots.txt منسق بشكل صحيح يخبر متصفحات محركات البحث بأي أجزاء من موقعك الإلكتروني يمكنهم الوصول إليها وأي الأجزاء لا يمكنهم الوصول إليها. يوجد ملف robots.txt في جذور نطاقك (example.com/robots.txt) وهو أول ملف يتم فحصه قبل فهرسة موقعك. يمكن أن يؤدي إعداد ملف robots.txt بشكل خاطئ إلى حظر صفحات هامة من محركات البحث أو تبديد ميزانية الزحف على موارد غير مهمة. يتضمن هذا الأداة توجيهات متوافقة مع المعايير بما في ذلك User-agent و Disallow و Allow و Sitemap و Crawl-delay، مما يضمن أن يتبع ملفك مواصفات بروتوكول استبعاد الروبوت.

Why Use مُنشئ ملف Robots.txt?

توليد بناء جملة صحيح لملف robots.txt دون الحاجة إلى تذكر مواصفات البروتوكول
قوالب مُسبقة الصنع للتهيئة الشائعة (WordPress، التجارة الإلكترونية، إلخ)
دعم كتل متعددة لوكلاء المستخدم مع قواعد مختلفة
إعلان خريطة الموقع لمساعدة الزاحفين على اكتشاف سitemap XML الخاصة بك
معاينة وتحقق قبل النشر على الخادم الخاص بك

Common Use Cases

إطلاق موقع جديد

إنشاء ملف robots.txt من الصفر لتحكم بشكل صحيح في وصول الزاحفين.

إدارة ميزانية الزحف

منع الزاحفين من تبديد الموارد على صفحات الإدارة، نتائج البحث، والروابط المعلمة.

حماية موقع الاختبار

منع محركات البحث من فهرسة بيئات الاختبار أو التطوير.

تحسين WordPress لجوجل

إنشاء ملف robots.txt مُحسّن لمواقع WordPress التي تحظر wp-admin، والروابط والتسميات.

Technical Guide

يتبع ملف robots.txt بروتوكول استبعاد الروبوت (REP). يجب وضعها في جذور نطاقك في /robots.txt. يبدأ كل بلوك bằng توجيه User-agent الذي يحدد متصفح الويب الذي تنطبق عليه القواعد (* يعني جميعهم). يحظر Disallow مسارًا، ويسمح Allow بالوصول بشكل صريح (مفيد كاستثناء داخل حظر أوسع نطاقًا). تعتمد القواعد على بادئة المسار - Disallow: /admin يحظر /admin و /admin/users و /admin/settings إلخ. يمكن أن يظهر توجيه Sitemap في أي مكان من الملف ويخبر جميع متصفحات الويب بمكان العثور على خريطة الموقع XML الخاصة بك. تحذيرات مهمة: robots.txt هو طلب وليس تنفيذاً - يمكن للمتصفحات الخبيثة تجاهله. بالإضافة إلى ذلك، إذا كان URL محظوراً في ملف robots.txt ولكن مربوطًا من مواقع خارجية، قد يقوم جوجل بالفهرسة لاetheless (بدون المحتوى). لمنع الفهرسة بشكل كامل، استخدم علامة meta noindex أو رأس HTTP X-Robots-Tag بدلاً من ذلك.

Tips & Best Practices

1
لا تقم أبدًا بحظر الملفات CSS أو JavaScript أو الصور - تحتاج محركات البحث إليها لتحميل الصفحات بشكل صحيح
2
استخدم ملف robots.txt لتكفي الزحف، وليس للأمان - يمكن قراءته علنًا
3
أضف دائمًا عنوان URL لسitemap في ملف robots.txt للاكتشاف بواسطة الزاحفين
4
اجرب ملف robots.txt باستخدام أداة اختبار robots.txt من جوجل Search Console
5
تذكر: لا يمنع حظر الفهرسة إذا كانت الروابط الخارجية تشير إلى العنوان المحظور

Related Tools

مُحول وسوم ميتا

أنشئ وسوم ميتا HTML كاملة بما في ذلك وسوم Open Graph و Twitter Card.

🔍 SEO Tools

مُولِد خريطة الموقع XML

إنشاء خريطة موقع صالحة بالتنسيق XML مع عناوين URL وتواريخ التعديل الأخيرة وتواتر التغيير.

🔍 SEO Tools

مفحص عنوان المواقع الإلكترونية المعياري

تحقق من وعرض علامات العنوان المعياري لمنع مشاكل المحتوى المكرر.

🔍 SEO Tools

مُصَحِّح خريطة الموقع XML

تحقق من بنية وصياغة ومتطلبات بروتوكول الخريطة للموقع في ملف XML.

🔍 SEO Tools

Frequently Asked Questions

Q أين أضع ملف robots.txt؟

يجب أن يكون في الجذر من نطاقك: https://example.com/robots.txt. تحتاج النطاقات الفرعية إلى ملف robots.txt خاص بها.

Q هل يحظر ملف robots.txt الفهرسة؟

ليس بالكامل. يمنع الزحف، ولكن إذا كانت المواقع الخارجية ترتبط بURL محظور، قد تظهر جوجل العنوان المحظور (مع شريحة "لا تتوفر معلومات عن هذه الصفحة"). استخدم علامة meta noindex للحظر الكامل.

Q هل يمكنني أن أ有 قواعد مختلفة للزاحفين المختلفة؟

نعم. انشئ كتل وكلاء مستخدم منفصلة لكل زاحف (Googlebot، Bingbot، إلخ) مع قواعد محددة لكل منها.

Q ماذا يفعل Crawl-delay؟

يخبر Crawl-delay الزاحفين بالانتظار N ثانية بين الطلبات. ت忽ل جوجل هذا التوجيه - استخدم Search Console لت设 معدل زحف Googlebot بدلاً من ذلك. يحترمها Bing والمتصفحات الأخرى.

Q هل يجب أن أحظر /wp-admin في WordPress؟

نعم، احظر /wp-admin/ ولكن سمح ب/wr-admin/admin-ajax.php (الذي يحتاجه العديد من ميزات WordPress). فكر أيضًا في حظر /wp-includes/ والروابط التغذوية.

About This Tool

مُنشئ ملف Robots.txt is a free online tool by FreeToolkit.ai. All processing happens directly in your browser — your data never leaves your device. No registration or installation required.