استخدام ملف robots.txt

يعمل ملف robots كشرطي المرور في موقعك فهو يعطي التصاريح للعناكب الخاصه بمحركات البحث بالسماح او الرفض دخول صفحه معينه
ولا يلزم ملف robots।txt إلا إذا كان موقعك يتضمن محتوى لا تريد أن تفهرسه محركات البحث. أما إذا أردت أن تفهرس محركات البحث جميع محتوى موقعك، فلا يلزمك وجود ملف robots.txt (حتى ولو كان فارغًا).

(جميع برامج الروبوت حسنة السمعة تحترم الأوامر المضمنة في ملف robots.txt، إلا أن البعض قد يفسرها على نحو مختلف। ومع ذلك، ليس ملف robots.txt ملزمًا، وقد يتجاهله بعض مرسلي الرسائل غير المرغوب فيها ومثيري المتاعب الآخرين. ولهذا السبب، ننصح باستخدام كلمة مرور لحماية المعلومات السرية.)

لانشاء الملف يجب ان تملك صلاحيات اضافة ملفات علي موقعك في مجلد الجذر www ويجب ان تقوم بتسمية الملف robots.txt
وهذه بعض الامثله علي ملفات الريبوت
http://www.traidnt.net/robots.txt
http://www.blogger.com/robots.txt
http://www.googel.com/robots.txt
http://www.vip600.com/robots.txt
كما لاحظت فبعض الملفات حتوي علي روابط لخرائط الموقع وهذه مفيد لموقعك لكن عموما النص الافتراضي الذي يجب ان يتواجد في ملف الريبوت الخاص بك هو

User-agent: *Allow: /

وهو يعني السماح لكل عناكب البحث بدخول كل الصفحات لارشفتهاويمكنك التعديل علي الملف اذا كانت لديك الخبرهسيكون هناك شرح مفصل لاوامر المف بتفصيل في المستقبل




استخدام ملف robots.txt
استخدام ملف robots.txt
استخدام ملف robots.txt