شرح ملف robots.text بالتفصيل

0 16

ملف Robot.txt: من الملفات المهمه للموقع وهو اول ملف تذهب اليه عناكب البحث عندما تدخل الي موقعك وهو ملف يقوم بإعطاء توجيهات واوامرللعناكب (robots) بما يمكنهم الدخول إليه و ما لا يمكنهم الدخول إليهملف الروبوتس في الغالب بيتكون من بعض الاوامر البسيطة مثل
User-agent وهو امر لعناكب البحث ممكن تخصصه لكل عناكب البحث او لعناكب محرك بحث معين
User-agent: * امر لجميع عناكب البحث سواء جوجل او بينج وغيرهما
النجمه تعني كل الزواحف او عناكب البحث لكل محركات البحث
User-agent: Googlebot امر لعناكب بحث جوجل
Disallow: /seo/‎ امر منع عناكب البحث من الدخول الى مجلد seo
Allow: / seo/‎ السماح لعناكب البحث بالدخول الى مجلد seo
مثال 1 للتوضيح , هنمنع كل الزواحف او عناكب البحث من الدخول على الموقع
User-agent: *
Disallow: /
مثال 2 هنسمح لكل عناكب البحث للدخول على اي مجلد في الموقع = عدم وجود ملف روبوتس
User-agent: *
Allow: /
مثال 3 امر لعناكب البحث بالدخول الى كل مجلدات وصفات الموقع الى مجلد seo
User-agent: *
Disallow: /seo/
مثال 4 امر لزواحف بينج بعدم الدخول الى مجلد seo
User-agent: Bingbot
Disallow: /seo/

كيفية تركيب ملف Robot txt الأفضل على بلوجر

الخطوات التي يجب عليك اتباعها لي انشاء ملف Robots.txt :

1- فتح لوحة تحكم بلوجر الخاص بك.
2- انتقل إلى إعدادات > تفضيلات البحث > برامج الزحف والفهرسة > ملف robots.txt مخصص > تحرير>ثم تحديد نعم.
3- لصق كود robots.txt أدناه في نص المحتوى.كما بالصورة التالية :

ارشاد عناكب البحث لخريطة الموقع وتقدر تحط اكثر من رابط للخريطة
Sitemap: http:// www. website .com /sitemap.xml
طريقة عمل خريطة لموقعك اضغط هنا
ملفات افتراضية تصلح لجميع المواقع وذلك لان الملف يحتوي علي الافتراضيات التي تصلح لاي موقع
ملف افتراضي robots لمواقع بلوجر

ملف افتراضي robots لمواقع الووردبريس : اضغط هنا
ملف افتراضب robots لمواقع vb الفيبوليتين : اضغط هنا