دورة الـSEO اتش فى بى اس (5) : الملفات الهامة في الدخول الصحيح
السلام عليكم

هذا هو الدرس الخامس في سلسلة دورة تقنيات الـSEO الصحيحة للويب الرقمي
أتمنى أن ينال اعجابكم
لنبدأ بسم الله الرحمن الرحيم
تعريف :
روبوتات الويب (أو كما يعرفون بالزاحفين أو العناكب), هي برامج التي تتجول الويب تلقائياً, محركات البحث
كجوجل تستخدمهم لفهرسة محتوى الويب(صفحات,صور,فيديو....الخ) , و السبامرز والهاكرز يستخدمونهم
ليفحصوا و يحصوا ويأخذوا عناوين الايميلات ويتم استخدامهم لأغراض اخرى .
كيف يعملون ؟
هذه البرامج دائماً قبل أن تدخل صفحة ويب أولاً تتفحص ملف الروبوتس (robots.txt) وترى اذا كان
موضوعه الصفحة الذي سيزورونها ممنوعة أم مسموحة من قبل المدير .
كيف يعرفون اذا كانت الصفحة ممنوع الدخول اليها أم لا ؟
بعد أن يدخلوا ملف الروبوتس و يضعوا عنوان الصفحة سيظهر بجانبها احدة الخياران :
Allow
Disallow
Allow: يستخدم ليخبرهم أن الصفحة مسموحة ويمكنك الدخول اليها وفهرستها .
Disallow: يستخدم ليخبرهم أن الصفحة هذه ممنوع الدخول لها وممنوع فهرستها .
ملاحظة : اذا كانت الصفحة الذين سيزورونها مدخلة في ملف الروبوتس اذاً سيتم فهرستها بشكل افتراضي إلا اذا كان أمر منع الفهرسة موجود في وسوم الميتا بهيد الصفحة <head> .
تعيين الروبوتات المرغوبة :
لنفترض أنه لديك صفحة تتحدث فيها عن الاسلام و تريد هذه الصفحة أن يتم فهرستها في جوجل لكن لاتريد أن يتم فهرستها في محرك ياهو , ماذا تفعل ؟
يمكنك كخاصية اضافية تعيين عناوين الصفحات التي تريد محركات بحث محددة أن تفهرسها دون غيرها .
مثال :
عندي صفحة رابطها كالتالي :
www.mysiteomatic.com/islam.html
وتريد أن يفرسها جوجل لكن لا تريد أن يفرسها ياهو
اذاً تضع الكود التالي في أي مكان من ملف الروبوتس :
User-agent: yahoo-slurp
Disallow: /islam.html
أول سطر فيه User-agent: و هذه تعني عميل المستخدم بمعنى اّخر تعني الروبوت و نضع بعدها اسم الروبوت الذي تريد السماح أو منعه من فهرسة صفحة ما .
yahoo-slurp هو اسم روبوت الخاص بمحرك بحث ياهو وكل محرك بحث لروبوته اسم مخصص وسأذكر بعضها لاحقاً .
Disallow: و هذا الأمر تكلمت عنه في الأعلى وهذا أقصد فيه منع الروبوت المذكر أعلاه من فهرسة الصفحة التي سأذكر عنوانها بعد هذا الكود .
islam.html : هذه هي اسم الصفحة التي أريد روبوت محرك بحث ياهو أن لايفهرسها عنده و اذا لاحظتوا اني ذكرت فقط اسم الصفحة دون العنوان كاملاً وهذا لأن بما أن الصفحة موجودة بموقعك فالروبوت فورياً سيضع رابط موقعك كاملاً عنده بالإضافة لاسم هذه الصفحة .
ماذا لو أردت منع كل الروبوتات من فهرسة هذه الصفحة ؟؟
بكل بساطة بدل اسم روبوت الياهو (yahoo-slurp) إلى مابين القوسين (*) وهذه تعني الكل , أي أن كل الروبوتات مهما كانت ممنوعة من فهرسة هذه الصفحة .
ماذا لو أردت أن يفهرس هذه الصفحة ياهو و كل باقي محركات البحث ؟
كما ذكرت سابقاً ان الروبوتات تأخذ أمر مسبقاً بفهرسة الصفحة إلا اذا كانت ممنوعة من الفهرسة حسب ملف الروبوتس لذلك أقول بكل بساطة اذا اردت فهرس أي صفحة من جميع محركات البحث فقط لا تضع أمر Disallow في ملف الروبوتس ولا تضع وسم عدم الفهرسة في هيد الموقع والذي سنتحدث عنه لاحقاً .
وأود من الكل بعد قراءة موضوعي الحصري ان يقرأ المواضيع التالية لأنها مشروحة أكتر و أنا كل مايهمني هو افادتكم :
http://www.swalif.net/softs/swalif55/softs241364/
http://www.google.com/support/webmas...&answer=156449
http://www.traidnt.net/vb/showthread.php?t=1712659
من هذا الرابط تدخلون عنوان ملف الروبوتس الخاص بكم كاملاً ويفحصه من وجود أخطاء :
http://tool.motoricerca.info/robots-checker.phtml
الصورة 1
نقره لتكبير أو تصغير الصورة ونقرتين لعرض الصورة في صفحة مستقلة بحجمها الطبيعي
نقره لتكبير أو تصغير الصورة ونقرتين لعرض الصورة في صفحة مستقلة بحجمها الطبيعي


الصورة 2 .
نقره لتكبير أو تصغير الصورة ونقرتين لعرض الصورة في صفحة مستقلة بحجمها الطبيعي
نقره لتكبير أو تصغير الصورة ونقرتين لعرض الصورة في صفحة مستقلة بحجمها الطبيعي




الصورة 3
نقره لتكبير أو تصغير الصورة ونقرتين لعرض الصورة في صفحة مستقلة بحجمها الطبيعي
نقره لتكبير أو تصغير الصورة ونقرتين لعرض الصورة في صفحة مستقلة بحجمها الطبيعي





وهذه قائمة بأشهر العناكب والروبوتات :


googlebot لجوجل
msnbot لمحرك ام اس ان
yahoo-slurp لمحرك ياهو
teoma لمحرك بحث أسك/تيوما
gigabot لجيجا بلاست
scruby لسكرب ذا ويب
robozilla لدليل دموز
nutch لـ ناتش
ia_archiver لأليكسا
baiduspider لـ بايدو
googlebot-image لجوجل صور
googlebot-mobile لجوجل موبايل
psbot لمحرك بحث ام اس ان / بينج للصور
asterias لمحرك بحث سينغ انغ فيش
yahoo-blogs لمحرك بحث ياهو للمدونات


و اذا عندكم أي طلب لأجيب لكم اسم روبوت أو عنكبوت لأي محرك بحث انا جاهز , من عيوني , تكرموا .



وشكراً
أتمنى الدعاء لي ولأهلي
ولأبو فرسان على مجهوده