طريقة انشاء ملف robots.txt 

ملف robots.txt هو ملف نصي يتم وضعه في جذر موقع الويب، ويحتوي على تعليمات لمحركات البحث حول الصفحات والملفات التي يسمح لها بالوصول إليها على الموقع والصفحات التي يجب أن تحظر عنها. يتم استخدام هذا ملف لتحسين تجربة المستخدمين من خلال توجيه محركات البحث إلى المحتوى الأساسي على الموقع وتحديد الأولويات في الوصول إلى المحتوى، وبالتالي تحسين ترتيب الموقع في نتائج محركات البحث.

يعد ملف robots.txt أحد أهم الأدوات في السيو (SEO)، حيث يمكن استخدامه لتحديد الصفحات والملفات التي يجب تفاديها أو حظرها عندما يتم الوصول إلى الموقع من قبل محركات البحث. ويمكن أن يؤدي استخدام ملف robots.txt بشكل صحيح إلى تحسين سرعة تحميل الموقع وتحسين تجربة المستخدم، حيث أنه يمكن تحديد الصفحات التي يجب تجاهلها أو عدم فحصها من قبل محركات البحث، مما يخفض الضغط على خوادم الموقع ويساعد في تحسين سرعة الأداء.

اقرا ايضا: 20 نصيحة لتحسين ترتيب صفحتك في نتائج البحث على جوجل

كيفية انشاء ملف robots.txt بشكل صحيح؟

1- قم بإنشاء ملف نصي جديد باسم robots.txt
2- أول سطر في الملف يجب أن يحتوي على معرف وكيل المستخدم (user-agent)، وهو عادة ما يكون اسم محرك البحث الذي تريد توجيهه.

3- بعد ذلك، يمكنك تحديد الصفحات التي تريد منع محركات البحث من الوصول إليها، باستخدام الأمر “Disallow:”، مع تحديد المسارات التي تريد منع الوصول إليها. على سبيل المثال، يمكنك كتابة:

Disallow: /admin/

وهذا يعني أنك تريد منع جميع محركات البحث من الوصول إلى أي صفحة تحت المسار /admin/ على موقعك.

4- يمكنك أيضًا استخدام الأمر “Allow:” لتحديد الصفحات التي يسمح بالوصول إليها بعد استخدام الأمر “Disallow:”. على سبيل المثال، يمكنك كتابة:

Disallow: /admin/
Allow: /admin/public/

وهذا يعني أنك تريد منع محركات البحث من الوصول إلى أي صفحة تحت المسار /admin/، ولكن يمكن الوصول إلى صفحات المسار /admin/public/.

5- يمكنك استخدام الأمر “Sitemap:” لإشارة إلى ملف خريطة الموقع (sitemap) الخاص بموقعك، والذي يحتوي على جميع الصفحات المتاحة لمحركات البحث.

على سبيل المثال، يمكن أن يكون ملف robots.txt لموقعك على النحو التالي:

User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: http://example.com/s

6- يمكن أيضًا استخدام المفاتيح الأخرى مثل “Crawl-delay:” لتحديد الفاصل الزمني بين طلبين متتاليين من المحركات لمنعها من الضغط على موقعك بشكل متكرر ومن الممكن استخدامه في بعض الأحيان في حالة وجود مواقع كبيرة.

أين يجب وضع ملف robots.txt في موقع الويب؟

يجب وضع ملف robots.txt في جذر موقع الويب، أي في نفس المجلد الذي يحتوي على ملف الصفحة الرئيسية (index.html أو index.php أو غيرها).

ويمكن الوصول إلى ملف robots.txt من خلال الرابط التالي:

http://example.com/robots.txt

حيث يجب استبدال example.com بعنوان الموقع الخاص بك.

اسم الملف هو “robots.txt” ولا يجب تغييره لأن المحركات البحث تعتمد على هذا الاسم للعثور على الملف.

يجب أيضًا التأكد من أن الملف ليس محظورًا من الوصول إليه، حيث أن هذا يمنع محركات البحث من قراءة التعليمات الموجودة في الملف وتطبيقها.

يمكن استخدام محرر النصوص لإنشاء ملف robots.txt وحفظه بشكل صحيح في جذر الموقع”root”.

بعد إنشاء ملف robots.txt، يجب التأكد من صحته باستخدام أدوات التحقق الخاصة بالمحركات البحث الذي تستخدمه عبر الرابط التالي: https://www.google.com/webmasters/tools/robots-testing-tool

وبهذا يكون قد تم شرح طريقة كتابة ملف robots.txt بشكل صحيح، والتي تساعد محركات البحث على فهم بنية وهيكل موقع الويب الخاص بك. واستخدامه لتحسين تجربة المستخدمين وزيادة ترتيب موقعك في نتائج محركات البحث.

وفي النهاية، يجب تحديث الملف بانتظام لتحديث أي تغييرات في هيكل الموقع والمحتوى. كما يجب الانتباه إلى أن ملف robots.txt لا يمنع محركات البحث من الوصول إلى الصفحات والملفات الموجودة في الموقع بشكل كامل، وإنما يساعد في توجيهها وتحديد الأولويات في الوصول إلى المحتوى.

إذا كنت تستخدم خدمة استضافة للمواقع الإلكترونية، مثل Wix أو Drupal أو Blogger، لن تحتاج على الأرجح إلى تعديل ملف robots.txt مباشرةً (أو لن تتمكن من ذلك). وبدلاً من ذلك، قد يعرض موفّر الخدمة صفحةً لإعدادات البحث أو آلية أخرى لتوجيه محركات البحث بالزحف إلى صفحتك أو عدم الزحف إليها.

اقرا ايضا : الإعلانات على الإنترنت انواعها المزايا والعيوب

مصادر 1, 2 , 3