रोबोट्स.टेक्स्ट जनरेटर सर्च इंजन क्रॉलर एक्सेस को नियंत्रित करने के लिए उचित रूप से प्रारूपित रोबोट्स.टेक्स्ट फ़ाइल बनाएं।

रोबोट्स.टेक्स्ट फ़ाइल रोबोट्स एक्सक्लूज़न प्रोटोकॉल (REP) का अनुसरण करती है। इसे आपके डोमेन के मूल (/robots.txt) पर रखा जाना चाहिए। प्रत्येक ब्लॉक User-agent निर्देश से शुरू होता है जो यह निर्दिष्ट करता है कि कौन से क्रॉलर के लिए नियम लागू होते हैं (* सभी के लिए मतलब है)। Disallow एक पथ को अवरुद्ध करता है, Allow विशेष रूप से पहुँच की अनुमति देता है (एक बड़े Disallow के भीतर एक अपवाद के रूप में उपयोगी)। नियम पथ-आधारित होते हैं - Disallow: /admin /admin, /admin/users, /admin/settings आदि को अवरुद्ध करता है। Sitemap निर्देश फ़ाइल में कहीं भी दिखाई दे सकता है और सभी क्रॉलरों को बताता है कि आपके XML साइटमैप को कहाँ ढूँढना है। महत्वपूर्ण सावधानियाँ: रोबोट्स.टेक्स्ट एक अनुरोध है, निष्पादन नहीं - दुर्भाग्यपूर्ण बॉट इसे अनदेखा कर सकते हैं। इसके अलावा, यदि एक यूआरएल रोबोट्स.टेक्स्ट में अवरुद्ध है लेकिन बाहरी साइटों से जुड़ा हुआ है, तो गूगल अभी भी यूआरएल (इसकी सामग्री के बिना) को अनुक्रमित कर सकता है। पूरी तरह से अनुक्रमणिका को रोकने के लिए, इसके बजाय noindex मेटा टैग या X-Robots-Tag HTTP हेडर का उपयोग करें।